Motion2MixamoRig 사용법, 춤 영상 하나로 3D 캐릭터 춤추게 하기 (RTX 5090 실측 후기)

얼마 전 스레드에서 재미있는 도구 소개 글을 봤습니다. 사람이 춤추는 영상을 넣었더니 Blender(무료 3D 프로그램) 안의 흰 3D 캐릭터가 같은 춤을 따라 추는 데모였습니다. 3D 캐릭터에 춤을 입히려면 원래 모션캡처 슈트(몸에 센서를 달고 움직임을 기록하는 옷)를 입고 찍거나, 애니메이터가 관절을 한 프레임씩 움직여야 합니다. 그걸 영상 한 편으로 대신한다니 궁금해졌습니다.

이번 글에서는 그 도구인 Motion2MixamoRig를 제 PC에 직접 설치해서 15초짜리 춤 영상을 3D 캐릭터 동작으로 바꿔본 과정을 공유하겠습니다. 3D 프로그램을 한 번도 안 열어본 분도 "이게 뭘 해주는 도구인지, 나한테 쓸모가 있는지"를 판단할 수 있는 높이로 쓰려고 합니다. 설치하다 막힌 곳, 실제로 걸린 시간, 잘된 것과 아쉬운 것도 그대로 적겠습니다.

글 뒷부분에는 덤으로 해본 실험이 하나 있습니다. 3D 캐릭터 영상을 MiniMax H3(내 PC에서 돌리는 영상 생성 AI)에 넣어서 애니메이션 캐릭터로 겉모습을 바꿔봤습니다. 이건 Motion2MixamoRig의 기능이 아니라 제가 뒤에 붙여본 단계라서 따로 나눠 설명하겠습니다.

(작성일 2026-10-13 기준입니다. 테스트 환경은 Windows 11, RTX 5090(그래픽카드 메모리 32GB), Blender 4.5.9, Motion2MixamoRig 0.1.0입니다.)

Motion2MixamoRig란?

한 줄로 말하면 영상 속 사람의 움직임을 3D 캐릭터에 옮겨주는 무료 프로그램입니다. GitHub(개발자들이 코드를 공개하는 사이트)에 올라온 오픈소스이고 작성일 기준 별(즐겨찾기) 693개를 받았습니다. 아직 0.1.0 버전이고 개발자도 README(프로젝트 소개 문서)에서 실험 단계라고 밝히고 있습니다.

원리는 춤을 "받아 적고, 다른 사람이 그 메모대로 추게 하는 것"에 가깝습니다. 안무가가 춤을 보면서 "왼팔 위로, 오른발 앞으로, 몸 반 바퀴"처럼 적어두고, 다른 무용수가 그 메모를 보고 똑같이 추는 장면을 떠올리시면 됩니다. Motion2MixamoRig는 영상 속 사람의 관절 위치를 매 프레임 3D 좌표로 받아 적고 그 메모를 3D 캐릭터의 관절에 하나씩 옮겨 넣습니다.

여기서 알아두면 좋은 단어가 세 개 있습니다.

• Mixamo: 어도비(Adobe)가 운영하는 무료 3D 캐릭터 사이트입니다. 캐릭터마다 관절 뼈대(rig, 리그)가 미리 심어져 있어서 움직임만 넣으면 바로 움직입니다. 어도비 계정만 있으면 무료로 받을 수 있고 도구 이름의 "MixamoRig"가 여기서 왔습니다.
• Blender: 무료 3D 프로그램입니다. 3D 캐릭터를 불러와서 돌려보고, 조명과 카메라를 놓고, 영상으로 뽑을 수 있습니다.
• GLB: 3D 캐릭터와 움직임을 한 파일에 담는 형식입니다. 사진의 JPG처럼 3D에서 널리 쓰는 파일이라 Blender나 Unity(게임 제작 프로그램)에서 바로 열립니다.

준비물은 아래 네 가지입니다. 이 저장소에 들어 있지 않아서 직접 받아와야 합니다.

돌리고 나면 결과 폴더에 GLB 캐릭터 파일, 뽑아낸 뼈대 데이터, 그리고 확인용 미리보기 영상 4개(사람 뼈대, Mixamo 뼈대, 캐릭터, 이 셋과 원본을 한 화면에 모은 2×2 비교)가 생깁니다.

하나 먼저 짚고 가겠습니다. 이 저장소 코드 자체는 Apache-2.0이라 자유롭게 쓸 수 있습니다. 그런데 안에서 쓰는 동작 추출 엔진(GVHMR)과 SMPL-X 몸 모델이 비상업·연구용이라서, 개발자 안내(NOTICE)에도 파이프라인 전체로 보면 비상업·연구용이라고 적혀 있습니다. 돈 받는 영상에 쓸 생각이면 이 부분부터 확인하시는 게 좋습니다.

설치하다 막힌 곳

README의 설치 방법은 명령 몇 줄입니다. 그런데 제 Windows에서는 그대로 되지 않았습니다.

첫 시도는 34.9초 만에 실패했습니다. 에러 메시지는 "Microsoft Visual C++ 14.0 이상이 필요하다"였습니다. 안에 들어가는 부품 하나(cython-bbox)가 설치되면서 C++ 컴파일(사람이 쓴 코드를 컴퓨터가 실행할 수 있는 파일로 바꾸는 작업)을 해야 하는데, 그 도구가 제 PC에 없었던 겁니다.

그래서 WSL2(Windows Subsystem for Linux)로 옮겼습니다. WSL2는 Windows 안에서 리눅스를 하나 더 돌리는 기능입니다. 내 컴퓨터 안에 작은 리눅스 컴퓨터를 하나 빌려 쓴다고 생각하시면 됩니다. 제 WSL2 우분투에는 컴파일 도구가 이미 있었고 그래픽카드(RTX 5090)도 잘 잡혀서 같은 설치가 통과했습니다. Blender는 그대로 Windows에 두었습니다.

설치부터 첫 실행까지 막혔던 곳을 표로 모으면 이렇습니다.

설치가 끝나면 실제로 쓰는 명령은 세 개뿐입니다. 첫 줄은 준비물 점검, 둘째 줄은 영상을 넣어 실행, 셋째 줄은 이미 뽑아둔 뼈대로 캐릭터만 바꾸는 명령입니다.

m2mr doctor
m2mr run --video assets/video/dance.mp4
m2mr run --skeleton outputs/<이전 실행 폴더>/skeleton_motion.npz --rig assets/mixamo/X_Bot.fbx

m2mr doctor는 빠진 파일이 있으면 어디서 받아서 어느 폴더에 넣으라고 알려줍니다. 처음 쓰는 분은 이것부터 돌리면 됩니다.

춤 영상 넣고 돌려보기

입력 영상은 무료 영상 사이트 Mixkit에서 받은 밤 농구장 스트리트 댄스 영상을 썼습니다(상업·개인 무료 라이선스, 제가 찍은 영상은 아닙니다). 받은 파일은 1280×720, 약 22초였고 그중 앞 15초만 잘라 넣었습니다.

첫 실행은 바로 거부당했습니다. "사람이 두 명 이상 보인다"는 이유였는데, 영상에는 댄서 한 명뿐입니다. 범인은 배경 벽화였습니다.

왼쪽 원본을 보면 큰 인물 벽화와 골대 옆 덩크하는 농구선수 그림이 있습니다. 프로그램은 영상을 받으면 먼저 사람이 몇 명인지 세는데, 이 그림들을 사람으로 센 겁니다. 그래서 오른쪽처럼 벽화 두 곳만 검게 가린 사본을 만들었습니다. 댄서가 벽화 앞을 지나가는 순간에는 댄서를 가리지 않도록 사람 부분은 남겼습니다(360프레임 전부 확인).

재미있는 건 한 번에 안 끝났다는 점입니다. 처음엔 큰 벽화 하나만 가렸는데 점검(m2mr doctor)은 통과했습니다. 그런데 실제 실행에서 다시 거부당했습니다. 점검할 때는 작은 사람 찾기 모델을 쓰고, 모델 파일을 다 받은 뒤에는 더 큰 모델을 쓰는데, 큰 모델이 작은 농구선수 그림까지 찾아낸 것 같습니다. 배경에 사람 그림, 포스터, 마네킹이 있는 영상은 처음부터 피하시는 게 편합니다.

벽화를 가린 영상으로 다시 돌리니 이번에는 끝까지 갔습니다. 15초 영상이 3D 동작이 되기까지 걸린 시간은 이렇습니다.

(측정 조건: RTX 5090, WSL2, 1회 실행. 모델 파일 다운로드 155초는 따로입니다. 결과 동작은 450프레임, 15.015초였습니다.)

README에는 그래픽카드 없이 CPU로 돌리면 30초 영상 첫 추출에 8~15분이 걸린다고 적혀 있습니다. 영상 길이가 달라서 바로 비교하긴 어렵지만 그래픽카드가 있으면 커피 한 잔 내리기 전에 끝나는 정도라고 보시면 될 것 같습니다. 참고로 그래픽카드를 쓰라고 지정해도 2D 자세를 찾는 단계 하나는 로그상 CPU에서 돌았습니다. 전 과정이 그래픽카드로 도는 건 아닙니다.

결과는 아래처럼 나옵니다. 왼쪽 위가 원본, 오른쪽 위가 Mixamo 뼈대, 왼쪽 아래가 영상에서 받아 적은 사람 뼈대, 오른쪽 아래가 그 동작을 입은 Y Bot입니다.

처음 봤을 때 꽤 신기했습니다. 팔을 드는 타이밍, 몸 방향, 회전, 무릎 드는 동작 같은 큰 흐름은 잘 따라갑니다.

아쉬운 부분도 분명히 보입니다. 손가락과 손목의 세세한 모양은 원본과 다르고 발이 바닥에서 살짝 뜨거나 미끄러지는 구간이 있습니다. README와 릴리스 노트에도 발 미끄러짐이나 방향 오류가 나올 수 있다고 적혀 있습니다. 게임에 바로 넣을 완성 동작이라기보다 Blender에서 손볼 초안에 가깝다고 보는 게 맞는 것 같습니다.

하나 더 조심할 게 있습니다. 프로그램이 기본으로 만들어주는 2×2 비교 영상(compare.mp4)만 보면 타이밍을 잘못 판단할 수 있습니다.

13초 지점인데 원본 칸만 까맣습니다. 원본 영상은 1초에 24장, 뽑은 동작은 1초에 약 30장인데, 기본 비교 영상은 이 둘을 "몇 번째 장"끼리 붙여서 원본이 12초쯤에 먼저 끝나버립니다. 이걸 보고 "동작이 점점 밀린다"고 판단하면 틀립니다. 그래서 같은 초끼리 맞춘 비교 영상을 따로 만들었고 위의 움직이는 비교 이미지가 그 버전입니다.

캐릭터 바꾸기와 Blender 확장

한 번 뽑은 뼈대는 다른 캐릭터에 그대로 다시 쓸 수 있습니다. 이게 이 도구에서 제일 편한 부분입니다. Mixamo에서 두 번째 캐릭터로 X Bot을 받았습니다.

검색해서 캐릭터를 고르고 Download를 누른 뒤 형식은 FBX Binary, 자세는 T-pose를 골랐습니다. 받은 파일을 assets/mixamo 폴더에 넣고 위의 세 번째 명령(--skeleton)을 돌리면 끝입니다.

체형이 다른 X Bot도 같은 춤을 춥니다. 시간을 재보니 명령 전체는 143.6초였는데, 이 중 실제로 동작을 캐릭터에 옮기고 파일로 저장하는 계산은 약 2.2초였습니다. 나머지는 프로그램이 켜지면서 점검하는 시간과 미리보기 영상을 렌더링하는 시간(약 62초)입니다. README가 "몇 분이 몇십 초가 된다"고 한 게 이 부분인 것 같습니다. 무거운 동작 추출을 다시 안 하니 캐릭터 열 개를 바꿔 끼워도 부담이 적습니다.

이제 Blender입니다. 이 저장소에는 Blender 확장(add-on)이 같이 들어 있습니다. Blender 4.2 이상에서 3D 화면 오른쪽 사이드바(N키)에 "Motion2MixamoRig" 탭이 생기고, 영상을 고른 뒤 "모션 생성" 버튼을 누르면 위의 과정을 대신 돌려줍니다. 끝나면 캐릭터를 장면에 불러오고, 관절 표시 구슬을 숨기고, 타임라인 속도와 길이까지 영상에 맞춰줍니다. 한국어 화면도 들어 있습니다.

제 PC에서 확인한 결과는 이렇습니다.

• 환경 확인: 65.9초 걸려 "준비 완료(READY)"
• 모션 생성부터 Blender로 자동 불러오기까지: 91.5초 (미리보기 영상 생성은 끔)
• 불러온 장면: 1초 29.97프레임, 450프레임으로 원본과 일치

그런데 "버튼 하나면 끝"이라고 쓰기는 어렵습니다. 확장은 Python, AI 모델 파일, SMPL-X를 설치해주지 않습니다. 앞 장의 설치가 먼저 끝나 있어야 합니다. 제 경우는 Blender가 Windows에, 프로그램이 WSL2 안에 있어서 둘을 잇는 작은 연결 프로그램을 따로 만들어야 했습니다(공식 기능이 아닙니다). WSL이 쉬고 있으면 위 표의 8초 제한에도 걸립니다. 제가 센 준비 작업은 12묶음이었습니다. 준비가 끝난 뒤에는 버튼 한 번으로 불러오기까지 가는 게 맞습니다.

(솔직하게 밝혀두면, 이 확인은 Blender를 화면 없이 띄워서 버튼과 같은 기능을 호출하는 방식으로 했습니다. 실제 패널 버튼을 마우스로 누르는 화면은 창 전환 문제로 캡처하지 못해서 이 글에 패널 캡처는 없습니다.)

불러온 캐릭터는 Blender에서 영상으로도 뽑았습니다. 928×544 크기, 124프레임(5.17초)을 EEVEE(Blender의 빠른 렌더 방식)로 렌더하는 데 20.95초 걸렸습니다.

여기까지가 Motion2MixamoRig가 해주는 일입니다. 정리하면 "사람 춤 영상이 Blender에서 손볼 수 있는 3D 캐릭터 동작이 된다"입니다.

덤 실험: H3로 겉모습 바꾸기

여기부터는 Motion2MixamoRig 기능이 아닙니다. 흰 로봇이 춤추는 영상은 신기하지만 보여주기엔 심심해서 이 영상을 로컬 영상 AI에 넣어 겉모습을 바꿔봤습니다.

쓴 모델은 MiniMax H3입니다. 참고 영상의 움직임을 보면서 새 영상을 그려주는 영상 생성 모델이고 제 PC에서 ComfyUI(AI 모델을 블록처럼 이어 붙여 돌리는 프로그램)로 돌렸습니다. 유료 API는 쓰지 않았습니다. H3를 제 PC에서 처음 재본 내용은 로컬 AI 모델 4종 실측 글에 있습니다.

점토 스타일 시험

처음엔 같은 조건에서 세 가지를 돌려봤습니다.

(측정 조건: 5.17초, 928×544, 1초 24프레임, 8단계 빠른 생성, 같은 시드, 매번 모델을 비우고 시작해서 로딩 시간 포함. 그래픽카드 메모리 최고값은 약 30GB였는데 PC 전체를 잰 값입니다.)

B에 사진을 더했는데 옷 색이 안 옮겨진 건 사진 입력이 실패해서가 아닙니다. 사진은 제대로 들어갔고, 제가 설명문에서 "점토로 바꿔라"를 세게 지정해서 그쪽이 이긴 것 같습니다. C는 옷 없는 사람 모양 점토상으로 나와서 이미지는 넣지 않았습니다. 셋 중에는 A가 가장 깔끔했습니다.

그런데 점토는 보여줄 의미가 없었습니다. 원본도 어둡고 초록 조명이라 분위기가 안 살았습니다. 그래서 애니메이션 캐릭터 설정화 한 장과 밝은 옥상 정원 배경으로 다시 만들었습니다.

애니메이션 캐릭터 + 옥상 정원 시험

순서는 이렇습니다. 먼저 Blender 장면에 크림색 바닥, 낮은 난간, 화분을 넣어 다시 렌더했습니다. 설정화에는 여러 각도의 그림이 같이 있어서 한 명으로 인식하도록 정면 전신만 잘라 참고 이미지로 넣었습니다. 그리고 H3에 이렇게 요청했습니다(설명문 일부).

[video editing + reference generation] The target video is an edited version of <Video 1>. Replace the white humanoid dancer with <Subject 1> from <Picture 1>, performing the same dance in a bright sunlit rooftop garden. The character image defines all appearance; the reference video defines movement.

(번역) [영상 편집 + 참고 생성] 결과 영상은 <영상 1>을 고친 버전이다. 흰 사람형 댄서를 <그림 1>의 <인물 1>로 바꾸고, 햇살 밝은 옥상 정원에서 같은 춤을 추게 하라. 겉모습은 캐릭터 그림이 정하고, 움직임은 참고 영상이 정한다.

생성에 474.8초(약 7분 55초) 걸렸고 결과는 이렇습니다.

보라색 머리, 흰 블라우스와 검정 리본, 검정 반바지, 긴 양말이 들어갔고 배경도 밝은 옥상 정원으로 바뀌었습니다. 교차 스텝, 팔 펼치기, 회전 같은 큰 춤 흐름도 Blender 영상을 따라갑니다. 여기서 헷갈리기 쉬운 점이 있는데, 캐릭터를 3D로 만든 게 아닙니다. Blender 안에는 여전히 흰 Y Bot이 있고 애니메이션 캐릭터의 겉모습은 H3가 그린 겁니다.

처음엔 "됐다"고 생각했습니다. 그런데 다시 보니 몸이 각목처럼 뻣뻣하고 얼굴이 뭉개져 있었습니다.

얼굴을 확대하면 눈과 입 윤곽이 흐리고 모은 두 손은 손가락이 구분되지 않습니다. 캐릭터와 배경을 바꾸는 데는 성공했지만 완성 영상 품질로는 불합격입니다. 이 둘은 나눠서 봐야 합니다.

원인은 두 가지로 보고 있습니다(따로 떼어 실험한 건 아니라서 추정입니다).

1. 뻣뻣함: 앞에서 본 3D 동작은 손목·손가락·발 접촉이 덜 다듬어진 초안이고 머리카락이나 옷이 흔들리는 움직임도 없습니다. H3가 이 경직된 움직임을 그대로 따라 그린 것 같습니다.
2. 얼굴: 928×544 전신 구도라 얼굴이 원래 작게 그려집니다. 게다가 제가 설정화에서 전신만 잘라 넣고 함께 있던 큰 얼굴 그림은 참고로 넣지 않았습니다. 이건 제 선택 실수였습니다. 8단계 빠른 생성 설정의 영향도 있을 수 있지만 비교를 안 해서 단정하진 않겠습니다.

개인적인 생각

처음에 저는 "춤 영상을 넣으면 애니메이션 캐릭터 춤 영상이 나오겠지"를 상상하고 시작했습니다. 그런데 돌려보고 나니 그건 이 도구가 약속한 게 아니었습니다. Motion2MixamoRig의 핵심은 사람 영상을 Blender에서 손볼 수 있는 3D 동작으로 바꿔주는 것이고 그 일은 꽤 잘합니다. 완성 영상의 품질은 그 뒤에 무엇을 붙이느냐의 문제였습니다. 도구가 되는지와 최종 결과물이 쓸 만한지를 나눠 보는 게 맞는 것 같습니다.

본인 상황에 맞춰 정리하면 이렇습니다.

1. 3D 애니메이션이나 게임을 만드는 경우

추천합니다. 모션캡처 장비 없이 영상 한 편으로 동작 초안을 얻고, 캐릭터를 바꿔 끼우는 데 몇 초면 됩니다. 발 접촉과 손 모양은 Blender에서 다듬어야 한다고 생각하고 쓰시면 됩니다.

2. 숏폼용 캐릭터 춤 영상만 필요한 경우

이 경로는 돌아가는 길입니다. 3D를 거치면서 생긴 경직이 최종 영상에 남습니다. 저라면 다음엔 Blender를 빼고 원본 영상, 캐릭터 전신 그림, 얼굴 클로즈업을 영상 AI에 바로 넣는 쪽부터 비교해볼 것 같습니다(아직 해보지 않은 방법이라 나아질지는 모릅니다).

3. 그래픽카드 없는 노트북뿐인 경우

CPU로도 돌아가지만 README 기준 30초 영상 첫 추출에 8~15분이고 위에서 봤듯 설치도 순탄하지 않습니다. 맛만 보고 싶다면 유료 서비스의 무료 플랜이 편할 수 있습니다. 예를 들어 Rokoko Vision은 무료 플랜에서 월 30초를 처리해줍니다(2026-10-13 가격 페이지 확인).

4. 돈 받는 영상에 쓰려는 경우

앞에서 말한 대로 파이프라인 전체가 비상업·연구용입니다. Mixamo 캐릭터 자체는 상업적으로 써도 되지만 동작 추출 엔진과 몸 모델 라이선스가 걸립니다. 이 부분은 꼭 직접 확인하시길 권합니다.

개인적으로는 0.1.0 버전에서 이 정도면 충분히 써볼 만한 도구라고 봅니다. 무거운 동작 추출을 한 번만 하고 캐릭터를 몇 초 만에 갈아 끼우는 구조가 특히 마음에 들었습니다.

이 글을 마치며 & Reference

여기까지가 춤 영상 하나를 3D 캐릭터 동작으로 바꾸고, 덤으로 영상 AI로 겉모습까지 바꿔본 기록입니다. 다음 글에서는 위에서 말한 비교, Blender를 빼고 원본 영상과 캐릭터 그림을 영상 AI에 바로 넣었을 때 뻣뻣함과 얼굴이 나아지는지를 다뤄볼 예정입니다.

관련 글

• 로컬 AI 모델 4종, 콘텐츠 자동화에 쓸 수 있을까? - 이 글에서 쓴 MiniMax H3를 처음 재본 글
• 로컬 숏폼·릴스 자동화 - 로컬 모델로 숏폼을 만드는 흐름 전체

Reference

• Motion2MixamoRig GitHub - 이 글의 주인공. README에 준비물, 결과 파일 설명, CPU 기준 소요 시간이 잘 정리되어 있습니다. 한국어 README도 있습니다
• Motion2MixamoRig 소개 스레드 (@monokernnn) - 이 도구를 처음 알게 된 글. 사람 춤 영상과 Blender 캐릭터를 나란히 보여주는 데모가 짧고 직관적입니다
• Mixamo - 어도비 무료 3D 캐릭터 사이트. 테스트에 쓴 Y Bot, X Bot을 여기서 받았습니다
• SMPL-X - 사람 몸 모델. 회원가입 후 받을 수 있고 기본은 비상업 라이선스입니다
• Mixkit 무료 영상: 농구장 스트리트 댄스 - 입력으로 쓴 영상. 상업·개인 무료 라이선스
• MiniMax H3 (Hugging Face) - 덤 실험에 쓴 영상 생성 모델

(최대한 작성 시점 기준으로 확인했지만 틀린 부분도 있을 수 있습니다.)

긴 글 읽어주셔서 감사합니다 :)