스테이블 디퓨전 웹UI에서 사용할 모델을 다운받을 수 있는 사이트를 확인해보자. 다운 받은 모델을 웹UI에서 사용하는 방법도 살펴보자. 이외에 Embedding, VAE 그리고 LoRA에 대해서도 간단히 알아보자.
모델 공유 사이트
Civitai
Civitai: The Home of Open-Source Generative AI
Explore thousands of high-quality Stable Diffusion models, share your AI-generated art, and engage with a vibrant community of creators
- 대표 이미지 클릭 시 세부 정보 확인 가능
HuggingFace
Hugging Face – The AI community building the future.
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
모델 파일 형식 종류
- .safetensors : .ckpt 파일에 있을 수도 있는 악성 바이러스 제거한 모델
권장 - .ckpt
Checkpoints – 이미지 생성 모델
일반적인 실사 모델
- PicX_real
- epiCPhotoGasm
아시아 실사 모델
- Majicmix Realistic
- Beautiful Realistic Asians
- Henmix Real
Embedding=Textual Inversion – 프롬프트 추가 학습 모델
- 모델에 영향을 주지 않은채 프롬프트를 추가 학습하는 방법
- Embedding 다운로드/적용 방법
- civitai 접속 → Models → Filters → 모델 유형:Embeddings, 기본 모델: SD1.5 선택
- 네거티브 프롬프트 뿐 아니라 다른 역할하는 임베딩도 많음
- 여러 임베딩을 조합해서 사용할 수도 있음
- 아래 경로에 다운로드
- stable-diffusion-webui\embeddings
- WebUI에서 Textual Inversion 탭 선택 → 네거티브 프롬프트 창 포커스 활성화
- 임베딩을 클릭하면 프롬프트에 자동으로 추가됨
VAE=Variational Auto Encoder – 이미지 보정 모델
- 이미지를 보정하는 필터 역할
- 생성된 이미지의 색상과 화질에 영향
- 설정 방법
- Settings → User interface → Quicksettings list → sd_vae 선택 → Apply settings 버튼 클릭
- 재시작 시 화면 상단에 VAE 설정 창 추가
- 다운로드
- 경로: stable-diffusion-webui\models\VAE
- 실사 VAE
- 애니 VAE
LoRA – 특정 그림체를 학습한 모델
- Low-Rank Adaptation of Large Language Models
- 특정 그림체를 학습시키거나 특정 인물, 특정 부위만 학습시킨 모델
- Checkpoint와 VAE가 전체적인 그림체와 보정처리를 담당한다면,
LoRA는 특정 부분에 영향을 주는 보조 모델임. - 일반적으로 가중치 0.3 ~ 0.5 수준이 적절
- e.g. 한국형 미인 로라 모델
- LoRA 모델 추천
- HF – KrakExlios 저장소 -> koreanDollLikeness_v15 다운로드 KrakExilios/koreandoll at main
- CIVITAI – Detail Tweaker LoRA Detail Tweaker LoRA (细节调整LoRA) – v1.0 | Stable Diffusion LoRA | Civitai
- stable-diffusion-webui\models\Lora 경로에 저장
- 프롬프트 영역 활성화 후 로라를 선택하면 프롬프트에 로라가 추가 됨