[스테이블디퓨전] ComfyUI-MimicMotion 챌린지 댄스 동영상 만들기

 

 

#푸푸놀이터

 

이번 포스팅은 영상 속 캐릭터의 움직임을 내가 원하는 캐릭터가 움직일 수 있게 만드는 MimicMotion 에 대해 알아보겠습니다. 

우선, ComfyUI 에서 사용할 수 있도록 MimicMotion 의 설치 방법에 대해 알아보고 설치 중에 발생할 수 있는 문제도 해결해보겠습니다. 컴퓨터를 능숙하게 다루지 못하는 문들은 조금 어려울 수 있지만, 천천히 따라 하시면 설치할 수 있습니다.

영상보다는 글이 보기 편하니까요. 두 번, 세 번, 보시면서 설치해 보세요~ 

 

 

---

 

 

 

1. Mimic Motion 노드 설치

 1) ComfyUI 를 실행합니다.

 2) Manager  >  Install Custom Nodes 누루고 검색에서 ' mimic ' 을 검색합니다.

 3) Tile 중 ' ComfyUI-MimicMotionWrapper ' 설치합니다. (Author : Kijai)

 

 4) 설치 완료 후 ComfyUI를 재실행합니다.

 

 

---

 

 

 

2. 파일 설치하기 (1/3)

파일에 관한 모든 부분은 하기 링크를 통해 이동되는 사이트에 자세히 나와있습니다. 문제가 있을 시 사이트에서 알려주는 방법을 참고하여 해결해 보시면 좋을 것 같습니다.

 

https://github.com/kijai/ComfyUI-MimicMotionWrapper

GitHub - kijai/ComfyUI-MimicMotionWrapper

 

 

그럼 파일 설치를 시작해 보겠습니다.

파일 설치는 총 3단계로 나눠서 진행됩니다. 1단계는 CMD를 이용한 설치, 2단계 필요한 추가 노드 설치, 3단계

파일을 다운로드하여 각각 폴더에 넣기, 이렇게 3단계를 거쳐 최종 설치가 완료됩니다.

조금 복잡할 수 있으니 천천히 잘 따라와 주세요.

 

 

 1) 다음 경로를 찾아 들어갑니다. 

 

     (ComfyUI 가 설치된 폴더)  >  ComfyUI  >  custom nodes  > ComfyUI-MimicMotionWrapper  >

 

 2) 경로가 보이는 주소창을 클릭하고 ' CMD ' 를 입력합니다. 

 

 3) CMD 창이 나오면, 현재 경로가 표시된 입력창을 보실 수 있습니다. 입력창에 다음 내용을 복사하여 붙여 넣습니다.

 

pip install -r requirements.txt

 

 

 4) 엔터를 치면 자동으로 파일을 설치합니다.  (설치가 되지 않는다면 아래 5~8번을 따라합니다)

 

 

 

 ** 혹시 ComfyUI 를 포터블로 사용하신다면, 아래를 따라서 설치 합니다. **

 

 5) 다음 경로를 찾아 들어갑니다. 

 

     (ComfyUI 가 설치된 폴더)  >  ComfyUI_windows_portable  >

 

 6) 경로가 보이는 주소창을 클릭하고 ' CMD ' 를 입력합니다. 

 

 7) CMD 창이 나오면, 현재 경로가 표시된 입력창을 보실 수 있습니다. 입력창에 다음 내용을 복사하여 붙여 넣습니다.

 

python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-MimicMotionWrapper\requirements.txt

 

 

 8) 엔터를 치면 자동으로 파일을 설치합니다. 

 

 9) 설치가 완료되면 처음 CMD를 실행했던 것처럼 경로 메세지가 나옵니다.

 

 

 

---

 

 

 

3. 파일 설치하기 (2/3)

 

 1) 먼저 ComfyUI가 실행된 상태로 아래 경로에 들어갑니다.

 

(ComfyUI 가 설치된 폴더)   >  ComfyUI_windows_portable  >  ComfyUI  >  custom_nodes  >  ComfyUI-MimicMotionWrapper  >  examples  >

 

 

 2) Mimic Motion을 사용할 수 있는 workflow 가 있습니다. 이 workflow 파일을 Drag 하여 ComfyUI 창으로 가져옵니다. 

 

 

 3) Workflow 가 실행되고 빠진 노드가 있다면 빨간색으로 표시됩니다. 

 

 4) Manager 를 누루고 Install Missing Custom Nodes 를 눌러서 빠진 노드들을 확인하고 설치해 줍니다.

 

 

 5) 설치가 끝나면 ComfyUI를 재 실행합니다.

 

 6) 아래와 같이 빨간 노드들이 없다면 설치가 끝났습니다. 

 

 

 

---

 

 

 

4. 파일 설치하기 (3/3)

 1) 이제 Queue Prompt 를 눌러서 MimicMotion을 실행합니다.

    - 실행 전, 사용할 이미지와 동영상 파일을 준비합니다.

    - 이미지 파일은 Workflow 의 왼쪽편에 있는 Load Image 노드에서 Choose file to Upload 를 눌러서 넣어 줍니다.

 

   - 동영상 파일은  Workflow 의 왼쪽편, Load Image 노드의 아래에 있는 Load Video (Upload) 노드에서 Choose video to Upload 를 눌러서 넣어 줍니다.

 

 

   * 당장 사용할 이미지와 동영상이 없다면, 아래 위치에 샘플 이미지와 영상이 있습니다. 이 파일로 대체합니다.

 

     - 이미지 위치 : (ComfyUI 설치된 폴더) 

>  ComfyUI  >  custom_nodes  >  ComfyUI-MimicMotionWrapper  >  assets  >  example_data  >  images

 

     - 동영상 위치 : (ComfyUI 설치된 폴더) 

>  ComfyUI  >  custom_nodes  >  ComfyUI-MimicMotionWrapper  >  assets  >  example_data  >  videos

 

 

 

 2) 사진과 비디오가 업로드되었다면, Queue Prompts 를 눌러서 동영상을 생성합니다.

   - 첫 실행은 추가 파일을 다운로드하면서 진행되기 때문에 상당히 오랜 시간이 소요됩니다. 

 

 

 

 3) 만약 실행에 문제가 발행했다면, 오류 메세지가 팝업됩니다. 보통 경로상에 파일이 없을 때 발생합니다.

   - 아래는 각 폴더에 들어가야하는 파일들을 보여줍니다. 각각의 폴더 위치에 파일들이 다 있는지 확인합니다.

 

 

   - 확인해야하는 폴더 위치는 여기입니다!!

 

(ComfyUI 가 설치된 폴더)   > 

 ComfyUI_windows_portable  >  ComfyUI  >  models  >  diffusers  >  stable-video-diffusion-img2vid-xt-1-1  >

 

 

 

 

 4) 파일들이 비어있다면 아래 다운로드 링크를 통해 파일을 추가로 다운 받아 폴더에 넣어 줍니다.

 

 

* MimicMotion -model (3.05 GB), to ComfyUI\models\mimicmotion:

https://huggingface.co/Kijai/MimicMotion_pruned/tree/main

Kijai/MimicMotion_pruned at main

 

* This needs Fp16 version (4.19 GB) diffusers version of SVD XT 1.1 to ComfyUI/models/diffusers:

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1/tree/main

stabilityai/stable-video-diffusion-img2vid-xt-1-1 at main

 

 

  - 저도 설치 중 '파일 없음' 문제가 발생하였는데, 저 같은 경우 vae 폴더에 diffusion_pytorch_model.fp16.safetensors 가 없어서 문제가 발생하였습니다. 그래서 상단 링크를 통해 파일을 다운로드 받아 해당 폴더에 넣어주니 문제가 해결되었습니다.  : )

 

 

 

 

   - 이렇게 파일들을 넣고, Queue Prompt 를 눌러 실행하면 Mimic Motion이 동작하게 됩니다. 로컬의 사양에 따라 작업 시간이 길어 질 수 있습니다.

 

 

5) 정상적으로 작업이 완료되었다면 아래와 같은 영상을 확인할 수 있습니다.

 

 

 

---

 

 

 

설치 과정에서 조금 복잡하고 어려운 부분이 있었지만, 성공적으로 영상이 만들어졌습니다. 자신이 가진 동영상과 사진을 가지고 다른 영상도 만들어보세요 ㅎ