[스테이블디퓨전] ComfyUI-FLUX-GGUF 설치(2) (Lora 사용하기)

#푸푸놀이터

 

 

GGUF 설치에 이어서 LORA를 사용해보겠습니다. Lora를 사용하게 되면 더욱 다양하고 정확한 표현력을 가지고 이미지를 생성할 수 있습니다. 그럼 로라를 사용하기 위한 노드부터 설치해보겠습니다.

 

---

 

1. 추가 노드 설치하기

 

1) ComfyUI 를 실행시키고 Manager 를 열어줍니다.

 

2) Manager 에서 Custom Nodes Manager를 열어줍니다.

 

 

3) 검색창에 ' custom Scripts ' 검색하면, pythongosssss/comfyUI-Custom-Scripts 라는 노드가 검색됩니다. 이 노드를 설치 합니다. 

 

4) 설치가 완료되면, ComfyUI 를 재시작 합니다.

 

 

---

 

 

2. 워크플로 설정하기

 

1) 바탕을 더블 클릭해서 노트 검색란에 "Lora Loader" 라고 입력하고 노드를 추가합니다.

---

Model 연결

   - Lora Loader의 왼쪽 model 을 Unet Loader (GGUF)의 MODEL과 연결합니다.

   - Lora Loader의 오른쪽 MODEL 을 KSampler의 model과 연결합니다.

 

Clip 연결

   - Lora Loader의 왼쪽 clip 을 Dual CLIP Loader (GGUF)의 CLIP과 연결합니다.

   - Lora Loader의 오른쪽 CLIP 을 CLIP Text Encoder (Prompt)의 clip과 연결합니다. (포지티브 프롬프트)

   - Lora Loader의 오른쪽 CLIP 을 CLIP Text Encoder (Prompt)의 clip과 연결합니다. (네거티브 프롬프트)

 

---

 

2) Lora Loader 의 lora_name 을 눌러보시면, ComfyUI  > Models  > loras 폴더 안에 들어 있는 폴더를 보여줍니다.

 

   - Lora 를 다운로드 받을 때, 폴더를 만들어 종류 별로 구분해 놓으면, 편하게 사용할 수 있습니다.

 

---

 

 

3. Flux - GGUF + Lora 를 사용하여 이미지 생성하기

 

1) 로라를 다운로드 합니다. 저는 CIVITAI 사이트를 사용합니다. 아래 링크를 참고해주세요.

 

https://civitai.com/models/650743?modelVersionId=728041

Midjourney Whisper FLUX LoRA - v01 | Flux LoRA | Civitai

 

 

 

2) 링크로 들어가면 Midjourney Whiper FLUX LoRA 를 다운 받을 수 있습니다.

 

 

 

3) 다운로드 받은 Lora를 ComfyUI 가 설치된 Lora 폴더에 넣어 줍니다. (폴더 이름은 아무거나 해도 상관없습니다)

 

 

 

 

4) ComfyUI를 재실행하고 로라를 선택합니다.

   - 재실행은, Manager 로 들어가서 중앙 하단에 있습니다. 클릭 후 잠시 기다리면 새 창이 열리면서 재실행 됩니다.

 

 

 

   - Lora Loader 에서 Lora_name 을 클릭하고 다운로드 받은 Lora를 선택합니다.

 

   - Clip text encode (Prompt) 노드에 아래와 같이 입력합니다.

 

filmic photo of a group of three women on a street downtown, they are holding their hands up the camera

 

 

5) Queue Prompt 를 실행합니다.

 

---

 

 

이렇게 생성되었습니다. 

 

 

이전에 생성했던, 이미지와 비교해 보겠습니다.

(FLUX - GGUF _ dev - Q8)	(FLUX - GGUF _ dev - Q8) + (Lora : Midjourney_whi..)

 

 

차이가 보이시나요? 여러가지 로라를 사용해보고 차이를 느껴보세요.

Flux 모델만 사용할 때보다 더 다양하고 정확한 이미지를 생성할 수 있습니다.