ComfyUI Stable Diffusion모델로 이미지 생성하기! | ComfyUI 03

ComfyUI 세번째 시간.

저번 글에 이어서 다음 튜토리얼을 진행해보자.

이번 글에서는 ComfyUI 템플릿 시작하기의 '이미지 생성'을 통해

Stable Diffusion v1.5 모델로 텍스트 → 이미지를 생성해본다.

이미지 생성

 

템플릿 > 시작하기 > 이미지 생성 을 클릭한다.

이번 튜토리얼도 저번과 마찬가지로 텍스트 프롬프트에서 이미지를 생성한다.

지난번과 마찬가지로 바로 모델을 다운받아주자.

 

1. 모델

이번 모델은 v1-5-pruned-emaonly-fp16.safetensors로 Z Image Turbo 모델보단 훨씬 용량이 작다.

v1-5-pruned-emaonly-fp16.safetensors는 Stable Diffusion 1.5모델로

꽤 오래된(2022년) 모델이지만 적은 VRAM 요구량과 빠른 생성 속도로

이미지 생성 모델 튜토리얼에 자주 등장하는 모델이다.

모델 이름에 pruned는 Pruning 처리된 모델이란 뜻이고

Pruning이란 모델에서 비교적 덜 중요한 파라미터 수를 제거하여 요구되는 VRAM 메모리가 줄고

추론 속도는 빨라지는 기법을 의미한다.

emaonly란 pruning의 한 방법으로 학습 과정의 평균 가중치(Exponential Moving Average)만 남겼다는 것으로,

학습에 필요한 가중치는 버리고 추론에 최적화된 모델이라는 뜻이다.

 

2. 구조

이번 노드 구조를 보면 지난 튜토리얼에 비해 훨씬 복잡하다.

하나하나 어떤 노드가 있고 어떻게 연결되 있는 지 확인해보자.

 

2-1. 체크포인트 로드

 

체크포인트 로드에서는 말 그대로 체크포인트(모델)을 로드한다.

체크포인트란 모델을 학습 시킬 때 특정 시점을 저장한 것을 의미하며,

Model, CLIP, VAE 세 가지가 하나의 패키지로 존재한다.

체크포인트 로드 오른쪽에 모델, CLIP, VAE가 연결되는 것을 확인할 수 있다.

 

CLIP: 텍스트 프롬프트를 Model이 이해할 수 있도록 바꾸는 인코더

VAE: 모델 결과물(숫자)를 이미지로 변환하는 디코더

 

2-2. 프롬프트(Prompt)

 

CLIP 텍스트 인코딩 (프롬프트) 노드가 2개인 것을 볼 수 있다.

프롬프트 노드가 두개인 이유는 긍정 프롬프트 (Positive Prompt)와 부정 프롬프트 (Negative Prompt) 때문이다.

긍정 프롬프트에는 모델이 보여줬으면 하는 사항을 쓰고

부정 프롬프트에는 모델이 보여주면 안되는 사항을 작성한다.

튜토리얼 예시를 보면 긍정 프롬프트에는 "아름다운 자연 풍경, 보라색 은하수 병"을 적고,

부정 프롬프트에는 "텍스트, 워터마크"를 적어서 방지하도록 했다.

긍정 프롬프트를 보니 어떤 이미지가 나올지 매우 궁금해졌다.

 

2-3. KSampler

 

KSampler는 실제 이미지가 만들어지는 단계로 여러 설정값에 따라

이미지의 스타일과 퀄리티가 결정된다.

• 시드(Seed): 랜덤 시드로 이 값에 따라 같은 모델, 같은 프롬프트에도 다른 이미지가 나온다.
• 스텝 수(Steps): Diffusion 모델의 노이즈를 몇 단계에 걸쳐 이미지로 만들 것인가.
• cfg: 얼마나 프롬프트에 충실할 것인가. 높을수록 프롬프트를 잘 지키고 낮을수록 자연스럽게 그린다.
• 샘플러 이름 & 스케줄러: 이미지 처리 방법 이름과 속도 조절 방식
• 노이즈 제거량: Denoise 값으로 텍스트 이미지 생성에서는 큰 의미 없는 값

이 설정값을 정확히 이해하려면 Stable Diffusion 모델을 어느정도 이해해야 한다.

다음에 언젠가 Stable Diffusion을 이해하기 쉽게 설명하도록 하겠다.

오늘은 이만 여기까지만 이해하고 넘어가도록 하자.

 

노드 연결을 보면 KSampler에서 잠재 데이터가 나오고

VAE 디코드를 통해서 이 잠재 데이터가 우리가 보고싶어하는 이미지로 변환된다.

 

이제 우상단의 실행 버튼을 클릭하여 어떤 이미지가 생성되는지 확인해보자.

 

3. 결과

보라색 은하수 유리병

 

재밌는 이미지가 단 3초만에 나왔다.

확실히 Z Image Turbo의 결과물보다 퀄리티는 떨어져보인다.

 

 

KSampler의 시드값을 변경하면 같은 프롬프트에서도 다른 이미지가 생성되는 것을 확인할 수 있다.

 

 

긍정 프롬프트를 "Pikachu traveling in space, beautiful Earth"로 바꾸고 결과물을 보았다.

기괴한 피카츄가 나온다.

 

 

같은 프롬프트의 Gemini의 나노 바나나 결과물...

엄청난 차이를 확인할 수 있다.

 

사실 Stable Diffusion v1.5 모델은 2022년에 출시된 모델이며

이번 튜토리얼에서 사용한 모델은 경량화된 모델이라 큰 차이가 날 수 밖에 없다.

고작 4년도 안되는 세월에 정말 많이 발전한 이미지 생성 인공지능이다.

---

4. 정리

이미지 생성  튜토리얼에서 체크포인트 로드를 사용하여 이미지를 생성하였다.

Stable Diffusion v1.5 모델을 사용해보았다.

다음 튜토리얼도 어서 해보자!