인공지능 관련 정보를 다룹니다.
허깅페이스(HuggingFace) 플랫폼에서 모델을 GGUF 파일 형식으로 다운로드하는 방법을 알아보자. 이렇게 다운로드한 모델을 Ollama에 추가하는 방법에 대해서도 살펴보자. Llama-3-Open-Ko-8B-Instruct-preview 모델을 Ollama에 올려보자. GGUF 형식의 모델 파일 다운로드 허깅페이스에 GGUF 형식으로 업로드 된 모델을 다운로드한다. 이 글에서는 Llama-3-Open-Ko-8B-Instruct-preview-gguf 파일을 예시로 사용한다. 허깅페이스 저장소 접속 (방법 1) git lfs 이용 다운로드 git이 설치되어 있다면 다음과 같이 git clone … Read more
올라마(Ollama)로 모델을 서빙하고 있다면, 동일 환경이든 외부 환경이든 챗GPT와 유사한 웹 UI를 구현해서 연동할 수 있다. 깃허브 저장소에서 open-webui를 클론하고, 간단한 도커 명령으로 컨테이너를 실행하면 된다. Ollama Open WebUI를 실행하는 방법에 대해 알아보자. open-webui 저장소 클론 open-webui github 저장소를 다음과 같이 클론한다. 컨테이너 실행 에 서빙 중인 Ollama Model API URL을 입력하고 다음 명령을 실행한다. … Read more
올라마(Ollama)는 로컬 환경에서 여러 대규모 언어 모델(LLM)을 실행할 수 있도록 지원하는 오프소스 도구이다. REST API로 모델을 서빙할 수도 있다. 확장 기능을 사용하면 챗GPT와 유사한 웹 UI를 구현해 사용할 수도 있다. 윈도우 환경에서 올라마를 설치하고 라마3(llama3 모델을 실행하는 방법에 대해 알아보자. 올라마(Ollama) 설치 올라마 다운로드 페이지에 접속 후 윈도우 프리뷰(Windows Preview)를 다운로드한다. 라마3(llama3) 모델 실행 올라마 … Read more
NVIDIA Geforce RTX 3060 GPU를 윈도우 10에 설치하고, 오픈소스 AI 모델을 활용하기 위한 사전 준비 과정을 살펴보자. 먼저, 그래픽 드라이버, CUDA, cuDNN, 그리고 PyTorch를 차례대로 설치하는 방법을 알아보자. 이 모든 단계를 마쳐야만 GPU를 이용하여 HuggingFace 등에서 공개된 오픈소스 LLM 모델을 효과적으로 사용할 수 있다. NVIDA 그래픽 드라이버 설치 NVIDIA 드라이버 다운로드 사이트 접속하여 다음과 같이 … Read more
스테이블 디퓨전 웹UI에서 사용할 모델을 다운받을 수 있는 사이트를 확인해보자. 다운 받은 모델을 웹UI에서 사용하는 방법도 살펴보자. 이외에 Embedding, VAE 그리고 LoRA에 대해서도 간단히 알아보자. 모델 공유 사이트 Civitai HuggingFace 모델 파일 형식 종류 Checkpoints – 이미지 생성 모델 일반적인 실사 모델 아시아 실사 모델 Embedding=Textual Inversion – 프롬프트 추가 학습 모델 VAE=Variational Auto Encoder … Read more
PC에 이미지 생성 AI 모델인 스테이블 디퓨전(Stable Diffusion)을 설치하고 웹 브라우저를 통해 이를 사용하는 방법을 알아보자. 먼저, 깃허브(GitHub)에서 스테이블 디퓨전 웹UI(WebUI)를 설치하는 과정을 살펴본다. 그 다음 서버를 실행하고 클라이언트로 접속하는 방법, 서버와 클라이언트의 설정 방법에 대해서도 알아보자. 깃허브에서 스테이블 디퓨전 웹UI 설치하기 깃허브에서 스테이블 디퓨전 웹UI를 설치하는 방법을 알아보자. PC에 Git이 설치되어 있지 않은 경우와 … Read more