[스테이블디퓨전] ComfyUI-FLUX-GGUF 설치(3) (두 개의 Lora를 사용해서 이미지 비교하기)

#푸푸놀이터

 

 

FLUX - GGUF 에서 LoRA를 사용할 때, 같은 이미지(seed)에 다른 유형의 로라를 비교해 보고싶을 때가 있습니다. 예를 들면 비슷한 유형의 Lora 결과물을 비교하거나, 하나는 실사사진 Lora, 또 하나는 애니메이션 캐릭터 느낌의 Lora를 사용하여 결과물을 얻고 비교해 보면서 이미지를 생성해야하는 경우가 종종 발생합니다. 이때, 유용하게 쓸 수 있는 워크플로우 제작 방법을 알려드리겠습니다. 추가적인 노드 설치가 필요하니 천천 따라하시면서 워크플로를 만들어보세요.

 

---

 

1. 추가 노드 설치하기

 

1) ComfyUI 를 실행시키고 Manager 를 열어줍니다.

 

2) Manager 에서 Custom Nodes Manager를 열어줍니다.

 

 

3) 검색창에 ' venture ' 검색하면, comfyUI-art-venture 라는 노드가 검색됩니다. 이 노드를 설치 합니다. 

 

4) 이어서 다음 노드도 설치 합니다.

---

 

5) 검색창에 ' rgthree ' 검색하면, rhthree's comfyUI Nodes 라는 노드가 검색됩니다. 이 노드를 설치 합니다. 

 

6) 설치가 완료되면, ComfyUI 를 재시작 합니다.

 

 

 

---

 

 

2. 워크플로 설정하기

 

이전에 만들어 놓았던 [스테이블디퓨전] ComfyUI-FLUX-GGUF 설치(2) (Lora 사용하기) 에서 만들어 놓았던 워크플로를 이어서 사용하겠습니다. 혹시 처음이시라면, 아래 링크를 통해 이전 포스팅을 확인해주세요.

 

[스테이블디퓨전] ComfyUI-FLUX-GGUF 설치(1) (강력한 Flux 모델을 낮은 사양 PC에서 사용 가능)

https://poohpoohplayground.tistory.com/14

[스테이블디퓨전] ComfyUI-FLUX-GGUF 설치(1) (강력한 Flux 모델을 낮은 사양 PC에서 사용 가능)

 

[스테이블디퓨전] ComfyUI-FLUX-GGUF 설치(2) (Lora 사용하기) 

https://poohpoohplayground.tistory.com/15

[스테이블디퓨전] ComfyUI-FLUX-GGUF 설치(2) (Lora 사용하기)

 

---

 

 

1) 두 개의 로라를 사용하기 위하여, 노드는 두 가지로 구분해서 배치합니다. 하나는 공동으로 사용할 노드, 그리고 하나는 개인으로 사용할 노드 입니다. 아래는 두 가지 노드를 구분하였습니다. 참고하시고 따라하시면 됩니다.

 

 

2) 먼저, 개인으로 사용할 노드는 복사합니다. ( 물론, 검색하여 새로 꺼내셔도 됩니다. ) 복사하는 방법은 간단합니다.

  - ALT를 누루고 복사하려는 노드를 클릭하며 드래그하면 복사된 노드가 마우스를 따라 옵니다.

 

 

 

3) 이런 방법으로 개인으로 사용할 노드를 복사합니다. 그리고 기존 워크플로와 동일하게 연결합니다. 

 

 

 

4) 이제 공동으로 사용할 노드를 연결하겠습니다.

- Unet Loader (GGUF)의 MODEL을 위와 동일하게 아래 Lora Loader 의 model에도 연결합니다.   - Dual CLIP Loader (GGUF)의 CLIP도 위와 동일하게 아래 Lora Loader 의 clip에 연결합니다.

 

 

 

 

5) 다음은, Reroute 를 사용해보겠습니다. Reroute는 노드의 루트를 연장해주는 기능을 가지고 있습니다. 복잡한 워크플로를 정리할 때 매우 유용한 기능입니다. 방법은 간단합니다.

- Reroute 로 연장할 노드의 루트을 드래그하여 바탕에 놓습니다.   - 나오는 메뉴에서 Reroute 를 선택합니다.   - Reroute 에서 오른쪽 마우스를 누루고 Show Type 을 눌러주면, Reroute 가 연장된 루트의 이름을 볼 수 있습니다.

 

 

 

 

6) Reroute 를 사용해서 Flux Guidance 와 Empty SD3 Latant Image 노드를 아래쪽 KSampler 에 연결합니다.

- Flux Guidance 노드의 COMDITIONING 루트를 Reroute로 연장하여 아래쪽 KSampler의 positive에 연결합니다.   - Empty SD3 Latant Image 노드의 LATANT 루트를 Reroute로 연장하여 아래쪽 KSampler의 latant_image에 연결합니다.

 

 

 

 

7) 이번에는 두 개의 LoRA가 같은 이미지를 출력할 수 있도록 KSampler 의 seed 를 동일하게 출력하는 노드를 추가하겠습니다. 먼저 KSampler 에서 seed 루트를 꺼냅니다.

- KSampler 노드에서 오른쪽 마우스를 누루고, Convert Widget to Input 에서 Convert seed to input 을 선택합니다.   - KSampler 노드의 왼쪽 Input 라인에 Seed 가 추가된 것을 확인할 수 있습니다.

 

 

---

 

  - 바탕을 더블 클릭해서 노트 검색란에 "seed" 라고 입력하면 Seed Selector 노드가 있습니다. 이 노드를 추가합니다.

 

 

  - Seed Selector 노드의 seed 루트를 위, 아래 두 개의 KSampler의 seed 에 모두 연결합니다.

 

 

---

 

 

8) Load VAE 의 VAE 루트를 아래쪽 VAE Decode의 vae 루트와 연결합니다.

 

 

 

 

9) 마지막으로 생성된 두개의 이미지를 비교할 수 있도록 Image Comparer 노드를 연결하겠습니다. 먼저, 바탕을 더블 클릭해서 노트 검색란에 "rgthree" 라고 입력하고 스크롤을 내리면 Image Comparer (rgthree) 노드가 있습니다. 이 노드를 추가합니다.

 

 

 

  - 위쪽 VAE Decode 의 IMAGE 루트를 Image Comparer (rgthree) 노드의 image_a 에 연결합니다.

  - 아래쪽 VAE Decode 의 IMAGE 루트를 Image Comparer (rgthree) 노드의 image_b 에 연결합니다.

 

 

이제 준비가 끝났습니다. 

 

 

---

 

 

3. Flux - GGUF + (두 개의 Lora)를 사용하여 생성된 이미지 비교하기

 

1) 로라를 추가로 다운로드 합니다. 아래 링크를 참고해주세요.

 

https://civitai.com/models/404277/definitive-disney-studios-style-pony-and-flux-by-yeiyeiart

Definitive Disney Studios STYLE -PONY & FLUX- by YeiyeiArt - Flux V1 | Flux LoRA | Civitai

 

 

 

2) 링크로 들어가면 Definitive Disney Studios STYLE... 사이트에 연결됩니다. 여기서 Flux V1을 다운 받습니다.

 

 

 

3) 다운로드 받은 Lora를 ComfyUI 가 설치된 Lora 폴더에 넣어 줍니다.

 

 

 

 

4) ComfyUI를 재실행합니다.

   - 재실행은, Manager 로 들어가서 중앙 하단에 있습니다. 클릭 후 잠시 기다리면 새 창이 열리면서 재실행 됩니다.

 

---

 

 

5) 두 개의 Lora Loader 에서 Lora_name 을 클릭하고 LoRA를 선택합니다. 

(1) 상단 Lora Loader 에는, Midjourney Whiper FLUX LoRA  선택해 주시고,  (2) 하단 Lora Loader 에는, Definitive Disney Studios STYLE.. 를 선택해 주세요.

 

---

 

 

  - 두 개의 LoRA와 연결된 두 개의 Clip text encode (Prompt) 노드에 아래와 같이 똑같이 반복하여 입력합니다.

 

photo film noise styel, a beautiful woman with blue eyes, blue dress, white pantyhose, apron, black bow, blonde

 

5) Seed Selector 노드에서 seed 값을 아무거나 입력해주시고, Queue Prompt 눌러서 실행합니다.

---

 

 

이렇게 생성되었습니다.  이미지 생성은 위쪽 로라부터 생성을 시작하고 이미지 생성이 끝나면 아래 로라로 이어서 생성을 진행합니다. 생성 시간은 약 2~3분정도 소요됩니다.

 

 

 

완성된 이미지 입니다. 

Midjourney Whiper FLUX LoRA	Definitive Disney Studios STYLE.. LoRA

 

 

 

  - LoRA에 따라 다른 느낌에 이미지가 생성되는 것을 알 수 있습니다. Comparer 의 장점은 이미지를 겹치고 같은 위치를 비교하면서 볼 수 있다는 점입니다. 비슷하지만 약간의 차이를 느끼거나 디테일한 부분을 확인할 때 좋습니다. 

 

 

 

 

  - 이미지는 ComfyUI 안에서도 볼 수 있지만 Output 폴더에 자동 저장되기 때문에, 이미지를 매번 다운 받지 않아도 폴더에서 꺼내서 사용할 수 있습니다. 

---

 

이렇게 LoRA에 따라 다른 느낌에 이미지가 생성되는 것을 알 수 있습니다. 만들려고 하는 최종 이미지의 느낌을 상상하고 LoRA들을 조합하여 결과물을 만드는 것이 스테이블디퓨전에 매력인 것 같습니다. 마치 레고에 블록을 조합하여 형태를 만들 듯, 체크포인트와 로라 그리고 다른 요소들을 더해가면서, 최종적으로 내가 원하는 이미지가 만들어졌을 때, 그 즐거움은 말로 표현하기 어렵습니다 : )

다른 로라들도 직접 사용해보시면서 본인이 상상하는 이미지를 만들어보세요 : )