[스테이블디퓨전] ComfyUI-FLUX (최고의 AI생성 모델 Flux 설치하기)
#푸푸놀이터
FLUX는 Black Forest Labs. 에서 개발한 생성형 AI 모델로, 현재 가장 좋은 결과물을 낼 수 있는 모델입니다.
기존 Text to Image 형식의 생성형 AI는 이미지 생성의 정확도가 낮습니다. 특히 손가락 같은 경우 여러 개의 손가락을 만들거나 부족하게 만들고 어색하게 만드는 경우가 많았습니다. 하지만 Flux 모델은 손가락의 표현이 더 정확해지고 구조와 완성도가 높아졌습니다. 또한 이미지 안에 넣는 텍스트도 틀리지 않고 잘 표현합니다. 장점과 강점이 많은 Flux는 현재 WebUI forge와 ComfyUI 에서 사용할 수 있습니다.
이번 포스팅은 ComfyUI에서 Flux 를 사용하기 위한 설치 방법에 대해 설명하였습니다. 자세하게 설명했으니 천천히 따라 하면서 설치를 진행해 보세요.
-- Flux 설치하기 --
1. FLUX 사이트 접속
- 하단 링크를 통해 사이트에 접속합니다.
Black Forest Labs - Frontier AI Lab
Amazing AI models from the Black Forest.
blackforestlabs.ai
- 블랙 포레스트 랩의 홈페이지가 나오고 스크롤을 내리면 Flux를 통해 제작한 이미지가 보입니다.
- 더 아래로 내리면 Get FLUX.1 이라는 페이지를 볼 수 있습니다.
여기서 두번째 'FLUX.1[dev]' 에서 'Visit our GitHub repository' 를 클릭하여 GirHub 사이트로 이동합니다.
바로 이동하시려면 하단 링크를 클릭해주세요.
https://github.com/black-forest-labs/flux
2. ComfyUI 에서 사용할 FLUX 설치 파일 다운 받기
- 먼저 하단의 링크로 들어갑니다. 링크는 ComfyUI에서 만들 자체 커뮤니티사이트 입니다. 이 곳에서 ComfyUI의 정보를 확인 할 수 있습니다.
Comfy Org
Creators of ComfyUI. We are a team dedicated to iterate and improve ComfyUI, support the ComfyUI ecosystem with tools like node manager, node registry, cli, automated testing, and public documentation.
www.comfy.org
- 오른쪽 상단의 Blog 로 접속합니다.
- 페이지에서 Flux Support, New Frontend, For Loops, and more! 를 클릭합니다.
- 페이지를 조금 내리면 Release Versions 설명과 Flux 설명이 보입니다 여기서 'BFL's HF page' 를 눌러 줍니다.
- Hugging Face의 Black Forest Labs 페이지로 연결 됩니다. 하단 링크를 누루면 바로 연결 됩니다.
https://huggingface.co/black-forest-labs?ref=blog.comfy.org
black-forest-labs (Black Forest Labs)
Running on Zero
huggingface.co
- FLUX 는 간단한 프롬프트 입력만으로 굉장히 좋은 결과를 만들어 줍니다. 하지만 그 만큼 많은 리소스 자원을 소모합니다. 만약 자신의 로컬PC 환경이 좋지 못하다면 Hugging Face 환경에서 Spaces 를 통해 Flux를 사용할 수 있습니다.
> FLUX.1 [dev] 은 속도가 느리고 더 많은 리소스 자원을 소모하지만 더 좋은 이미지 결과물을 얻을 수 있고,
> FLUX.1 [Schnell] 은 속도가 빠르고 리소스 자원을 덜 소모하지만 이미지 결과물이 다소 떨어집니다.
- 하단 Models 의 'black-forest-labs/FLUX.1-dev' 를 클릭하여 이동합니다.
- 자신의 로컬PC 사양이 높지 않다면, 'black-forest-labs/FLUX.1-schnell' 를 클릭하여 이동합니다.
- dev 사이트 주소는 하단 링크를 이용해주세요.
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
- 로컬 사양에 맞는 사이트로 이동하여 'files and versions' 탭을 눌러 줍니다.
- 이동 후 하단 파일에서 'flux1-dev.safetensors' 파일을 다운 받아 줍니다. 파일 용량(23.8GB)이 커서 다운로드에 시간이 오래 걸립니다.
- 파일 다운이 완료되면, 다운된 파일을 ComfyUI 폴더로 이동 시켜줍니다. 이동 시킬 폴더의 위치는,
(Comfyui 가 설치된 폴더에서) > ComfyUI > models > unet (폴더 안에 저장합니다.)
* 혹시 다운로드가 안시는 경우에는 Hugging Face 사이트에 가입(or로그인) 후 다시 시도해보세요 *
- 다음은 vae 폴더 안으로 들어갑니다.
- diffusion_pytorch_model.safetensors 파일은 다운로드 합니다.
- 파일 다운이 완료되면, 다운된 파일을 ComfyUI 폴더로 이동 시켜줍니다. 이동 시킬 폴더의 위치는,
(Comfyui 가 설치된 폴더에서) > ComfyUI > models > vae (폴더 안에 저장합니다.)
- 다음은 Encoder 파일 다운로드 입니다. Comfyanonymous 의 Hugging Face 사이트로 이동합니다.
하단 링크를 이용해주세요.
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
comfyanonymous/flux_text_encoders at main
huggingface.co
- Flux 모델은 Text Enders 파일을 사용하여 실행이 됩니다. 파일은 두가지가 있습니다.
> t5xxl_fp16.safetensors : fp16은 결과물 이미지가 잘 나옵니다. 대신 파일 용량 크고 로컬PC 사양이 높아야 합니다.
> t5xxl_fp8_e4m3fn.safetensors : 로컬 PC의 사양이 낮다면 fp8을 이용합니다.
- t5xxl_fp16.safetensors 파일을 다운 받습니다. 나중에 쓸 수 있으니 t5xxl_fp8_e4m3fn.safetensors 도 다운 받습니다.
- clip_l.safetensors 파일도 함께 다운 받습니다.
- 파일 다운이 완료되면, 다운된 파일을 ComfyUI 폴더로 이동 시켜줍니다. 이동 시킬 폴더의 위치는,
(Comfyui 가 설치된 폴더에서) > ComfyUI > models > clip (폴더 안에 저장합니다.)
- 파일 다운로드는 완료하였습니다. 다음은 ComfyUI를 실행 후 진행하겠습니다.
3. FLUX 실행하기
- Flux 를 사용하기 전 ComfyUI 를 최신버전으로 업데이트 해줍니다.
- ComfyUI Manager 를 실행 후 Update All 를 눌러서 최신버전으로 업데이트 후 ComfyUI를 재 실행 해줍니다.
- ComfyUI 가 최신 버전일 때는 그냥 시작하셔도 됩니다.
- 먼저 FLUX 를 간단히 사용할 수 있는 Workflows를 제공 받을 수 있습니다. 처음 접속했던 사이트로 들어가줍니다.
- 하단 링크로 이동합니다.
https://blog.comfy.org/august-2024-flux-support-new-frontend-for-loops-and-more/
August 2024: Flux Support, New Frontend, For Loops, and more!
Team Focus We've spent a good part of the last couple months here at Comfy Org speaking with the community online and at events, as well as discussing internally with our team, about our most important priorities and focuses for advancing ComfyUI. We're ha
blog.comfy.org
- 사이트의 Flux 설명란 아래에 있는 workflows here 로 들어갑니다.
- 샘플로 제공된 Workflow 를 사용하기 위해 사이트의 Flux Dev 이미지를 드래그하여 ComfyUI 작업창으로 불러옵니다.
- 드래그해서 이미지를 가져오면 다음과 같은 다소 복잡한 Workflow를 확인할 수 있습니다.
4. FLUX 설정 알아보기 (샘플 워크플로)
- 왼쪽 상단 Load Diffusion Model 은 Unet 폴더에 넣었던, flux1-dev.safetensors 파일을 선택합니다.
- Schnell 파일을 받았다면 Schnell 파일을 선택해 줍니다.
- 아래 쪽에 Dual CLIP Loader 가 있습니다. 이 노드는 두개의 Clip 을 넣을 수 있는 데,
- 한 곳에는 t5xxl_fp16.safetensors 를 넣어주고,
- 다른 한 곳에는 Clip_l.safetensors 를 넣어 줍니다.
- 그 다음 아래에 있는 Load VAE 노드에는 vae 파일을 넣어줍니다. 좀 전에 다운 받았던 flux_vae 파일을 넣어줍니다.
- 설정을 확인하였으면, Queue Prompt 눌러서 이미지를 생성합니다.
- 로컬 PC 사양에 따라 상당히 오래 걸릴 수 있습니다.
- 이렇게 이미지가 생성된 것을 확인 할 수 있습니다.
***** 에러가 발행한다면 *****
- 여기서 Queue Prompt 를 눌렀는데 에러가 발생되며 실행이 되지 않는다면, 우선 에러가 발생된 노드가 빨간색으로 표시 됩니다.
- 표시된 노드는 문제가 되는 노드이기 때문에 아래 노트를 참고하여 다운 받았던 파일의 위치들이 올바르게 들어갔는지 확인해 줍니다.
여기까지 ComfyUI 에서 FLUX1 을 사용하기 위한 설치 방법에 대해 알아보았습니다.
다들 설치 잘 하시고 문제되는 부분은 댓글에 남겨주세요.