Ditto: AI를 활용한 실시간 토킹 헤드 합성 완벽 가이드 2025

가상 비서, 화상 회의 개선 또는 디지털 아바타를 위한 콘텐츠를 만들고 있지만, 기존의 토킹 헤드 생성 모델은 실시간 상호 작용에 너무 느리고, 표정에 대한 세밀한 제어가 부족하며, 부자연스러운 결과를 생성합니다. 오디오와 단일 초상화 이미지만으로 시선, 자세, 감정을 정밀하게 제어하면서 실시간으로 포토리얼리스틱 토킹 헤드 비디오를 생성할 수 있다면 어떨까요?

간단한 답변: Ditto는 ACM MM 2025에 채택된 확산 기반 토킹 헤드 합성 프레임워크로, 오디오 입력과 정지 초상화 이미지에서 포토리얼리스틱 애니메이션 얼굴을 실시간으로 생성할 수 있습니다. 기존 VAE 접근 방식보다 10배 낮은 차원성을 가진 혁신적인 정체성 무관 모션 공간을 사용하여, 낮은 첫 프레임 지연으로 실시간 추론 속도를 달성하면서 시선, 자세, 감정에 대한 세밀한 제어를 가능하게 합니다. 이 시스템은 AI 비서 및 화상 회의와 같은 대화형 애플리케이션을 위해 모션 생성과 포토리얼리스틱 신경 렌더링을 연결합니다.

Ditto란 무엇이며 어떻게 작동하나요?

Ditto는 토킹 헤드 합성에서 중요한 발전을 나타내며, 이전 확산 기반 접근 방식이 실시간 성능을 달성하지 못하게 했던 근본적인 제한 사항을 해결합니다. Ant Group의 연구원들이 개발하고 ACM MM 2025에 채택된 이 프레임워크는 대화형 애플리케이션을 위한 고품질의 제어 가능한 실시간 토킹 헤드 생성의 필요성에서 탄생했습니다.

핵심 혁신은 기존의 변분 오토인코더 표현을 명시적인 정체성 무관 모션 공간으로 대체하는 것입니다. 전통적인 접근 방식은 얼굴 모션과 외모를 함께 고차원 잠재 공간에 인코딩하여 정체성 정보와 움직임을 혼합합니다. 이러한 얽힘은 정밀한 제어를 어렵게 만들고 생성을 위해 상당한 계산 리소스를 필요로 합니다.

Ditto의 모션 공간은 정체성 특성과 완전히 독립적으로 유지하면서 토킹 헤드 애니메이션과 관련된 얼굴 및 머리 움직임만 포함합니다. 이러한 분리를 통해 동일한 모션 패턴을 다른 개인, 스타일 및 예술 형식에 적용할 수 있습니다. 모션 공간의 차원성은 기존 VAE 공간의 10분의 1이며, 계산 요구 사항을 극적으로 줄입니다.

아키텍처는 함께 작동하는 여러 상호 연결된 구성 요소로 구성됩니다. 외모 추출기는 입력 초상화 이미지를 처리하여 정체성 특성, 피부 질감, 얼굴 구조 및 시각적 스타일을 캡처합니다. 이 표현은 생성 전체에 걸쳐 정적으로 유지되어 일관된 정체성 보존을 제공합니다.

모션 추출기는 훈련 중 참조 비디오에서 얼굴 랜드마크와 모션 패턴을 분석하여 오디오 특징과 해당 얼굴 움직임 간의 매핑을 학습합니다. 이 구성 요소는 발화 소리가 입술 움직임과 어떻게 대응하는지, 감정적 톤이 얼굴 표정에 어떻게 영향을 미치는지, 자연스러운 머리 움직임이 대화를 어떻게 보완하는지 이해합니다.

잠재 모션 확산 모듈은 생성 핵심을 형성하며, HuBERT 임베딩을 통해 인코딩된 오디오 특징을 받아 정체성 무관 공간에서 모션 표현을 생성합니다. 이 확산 프로세스는 오디오와 동기화되는 부드럽고 자연스러운 얼굴 움직임을 생성하면서 조건화를 통한 세밀한 제어를 허용합니다.

워프 및 스티치 네트워크는 정적 외모 표현과 생성된 모션을 결합하여 최종 비디오 프레임을 합성합니다. 워핑 작업은 모션 벡터에 따라 소스 초상화를 변형하고, 스티칭은 워프된 영역과 안정적인 배경 요소의 원활한 통합을 보장합니다.

얼굴 감지 및 랜드마크 감지 모듈은 공간적 접지를 제공하여 생성된 모션이 얼굴 특징과 올바르게 정렬되고 해부학적 타당성을 유지하도록 합니다. 이러한 구성 요소는 정렬되지 않은 입술이나 부자연스러운 변형과 같은 일반적인 아티팩트를 방지합니다.

오디오 특징 추출, 모션 생성 및 비디오 합성의 시스템 공동 최적화는 Ditto를 이전 접근 방식과 구별하는 실시간 성능을 가능하게 합니다. 구성 요소를 독립적으로 처리하는 대신 전체 파이프라인을 함께 최적화함으로써 프레임워크는 각 단계에서 대기 시간을 최소화합니다.

복잡한 합성 프레임워크를 관리하지 않고 AI 기반 비디오 제작을 원하는 사용자를 위해 Apatero.com과 같은 플랫폼은 최적화된 인터페이스를 통해 다양한 AI 모델에 대한 간소화된 액세스를 제공합니다.

토킹 헤드 생성에 Ditto를 사용해야 하는 이유는?

Ditto를 채택하기로 한 결정은 토킹 헤드 합성에 대한 특정 요구 사항에 따라 달라집니다. 아바타 생성 및 비디오 합성 환경에서 대안과 비교하여 여러 요인이 이를 매력적으로 만듭니다.

실시간 추론 기능은 다른 확산 기반 토킹 헤드 모델과 Ditto의 주요 차별화 요소를 나타냅니다. 이 프레임워크는 낮은 첫 프레임 지연으로 스트리밍 처리를 달성하여 사용자가 수 초의 생성 대기 시간을 허용할 수 없는 대화형 애플리케이션에 적합합니다. 이전 확산 접근 방식은 프레임당 수 초 또는 수 분이 필요하여 오프라인 비디오 제작으로 제한되었습니다.

단순한 오디오 기반 립싱크를 넘어선 세밀한 제어는 창의적 가능성을 확장합니다. 아바타가 특정 화면 위치를 바라보도록 시선 방향을 명시적으로 지정하고, 자연스러운 움직임 다양성을 위해 머리 자세를 제어하며, 발화 내용과 독립적으로 감정 표현을 조절할 수 있습니다. 이러한 제어 세분성은 정밀한 아바타 동작이 필요한 애플리케이션을 가능하게 합니다.

스타일 유연성은 포토리얼리스틱 사진과 예술적 초상화를 모두 수용합니다. 정체성 무관 모션 공간은 모션 패턴이 렌더링 미학과 독립적이기 때문에 다른 시각적 스타일로 동등하게 잘 전환됩니다. 이러한 다재다능함은 양식화된 외모를 가진 가상 인플루언서부터 사실적인 아바타를 사용한 전문 화상 회의에 이르기까지 다양한 애플리케이션에 중요합니다.

효율적인 모션 표현은 전체 차원 VAE 접근 방식에 비해 계산 요구 사항을 줄입니다. 10배 차원 감소는 더 빠른 추론, 더 낮은 메모리 사용량 및 감소된 전력 소비로 직접 변환됩니다. 이러한 효율성 향상은 엣지 디바이스, 모바일 애플리케이션 또는 확장된 클라우드 서비스에 배포하는 데 중요합니다.

모션 공간과 얼굴 움직임 간의 의미론적 대응은 해석 가능한 제어를 가능하게 합니다. 효과가 불분명한 추상적 차원을 조작하는 블랙박스 잠재 공간과 달리, Ditto의 모션 공간 차원은 인식 가능한 얼굴 행동에 해당합니다. 이러한 해석 가능성은 광범위한 시행착오 없이 원하는 결과를 달성하는 것을 단순화합니다.

사전 학습된 모델, 구현 코드 및 문서가 포함된 GitHub를 통한 오픈 소스 릴리스는 연구 사용과 실용적 배포를 모두 가능하게 합니다. 최대 성능을 위한 TensorRT, 이식성을 위한 ONNX, 연구 유연성을 위한 PyTorch를 포함한 여러 추론 옵션이 다양한 배포 요구 사항을 수용합니다.

애플리케이션은 다양한 도메인에서 혜택을 받습니다. 가상 비서는 더 매력적이고 반응성이 높은 아바타 표현을 얻습니다. 화상 회의 도구는 대역폭 효율적인 아바타 스트림을 만들 수 있습니다. 콘텐츠 크리에이터는 촬영 없이 아바타 기반 비디오를 제작합니다. 교육 플랫폼은 대화형 가상 강사를 개발합니다. 고객 서비스 시스템은 AI 기반 대표자를 배포합니다.

GAN 기반 접근 방식과의 비교는 절충안을 드러냅니다. GAN은 종종 더 빠른 추론을 달성하지만 세밀한 제어가 적고 모드 붕괴 또는 훈련 불안정성을 겪을 수 있습니다. Ditto의 확산 기반은 아키텍처 최적화를 통해 경쟁력 있는 속도를 달성하면서 더 안정적인 훈련과 더 나은 품질-다양성 절충안을 제공합니다.

NeRF 기반 토킹 헤드와 같은 신경 복사 필드 방법은 우수한 뷰 합성 및 3D 일관성을 제공하지만 훨씬 더 많은 계산 리소스가 필요하고 실시간 성능에 어려움을 겪습니다. Ditto는 다중 뷰 일관성보다 실시간 응답이 더 중요한 정면 애플리케이션에 최적화된 단일 뷰 합성을 우선시합니다.

합성 프레임워크를 관리하지 않고 전문 비디오 콘텐츠를 원하는 사용자를 위해 Apatero.com과 같은 플랫폼은 일반적인 사용 사례에 최적화된 간소화된 인터페이스를 통해 품질 결과를 제공합니다.

Ditto를 로컬에서 설치하고 실행하는 방법은?

Ditto를 설정하려면 특정 하드웨어 및 소프트웨어 전제 조건이 필요하지만, 릴리스된 구현에는 요구 사항이 충족되면 비교적 간단한 배포를 위한 상세한 문서와 사전 학습된 모델이 포함되어 있습니다.

하드웨어 요구 사항은 전문가급 NVIDIA GPU에 중점을 둡니다. 테스트된 환경은 Ampere 아키텍처가 있는 A100 GPU를 사용하지만, 프레임워크는 충분한 VRAM이 있는 다른 CUDA 지원 카드에서 실행할 수 있습니다. TensorRT 구현은 하드웨어 가속 추론 최적화를 통해 최적의 성능을 위해 특히 Ampere 이상의 아키텍처를 대상으로 합니다.

소프트웨어 전제 조건에는 Python 3.10, CUDA 지원이 있는 PyTorch, 최적화된 추론을 위한 TensorRT 8.6.1 및 다양한 유틸리티 라이브러리가 포함됩니다. 종속성 목록에는 오디오 처리를 위한 librosa, 이미지 및 비디오 처리를 위한 OpenCV, 미디어 I/O를 위한 imageio 및 이미지 작업을 위한 scikit-image가 포함됩니다.

설치는 github.com/antgroup/ditto-talkinghead에서 GitHub 저장소를 복제하는 것으로 시작됩니다. 저장소에는 추론 코드, 모델 변환 스크립트 및 HuggingFace에 호스팅된 사전 학습된 체크포인트가 포함되어 있습니다. 복제 후 제공된 요구 사항 파일을 통해 종속성을 설치합니다.

TensorRT 설정에는 제공된 모델에서 최적화된 엔진을 구축해야 합니다. 저장소에는 적절한 최적화 플래그를 사용하여 ONNX 모델을 TensorRT 형식으로 변환하는 스크립트가 포함되어 있습니다. 빌드 프로세스는 GPU 아키텍처에 특별히 모델을 컴파일하여 추론 성능을 최대화합니다.

모델 다운로드는 HuggingFace에서 사전 학습된 체크포인트를 가져옵니다. 저장소는 세 가지 구현 변형을 제공합니다. TensorRT 모델은 저수준 GPU 최적화를 통해 최대 성능을 제공하지만 아키텍처별 컴파일이 필요합니다. ONNX 모델은 다른 배포 대상 간의 이식성을 제공합니다. 2025년 7월에 추가된 PyTorch 모델은 연구 실험 및 미세 조정을 가능하게 합니다.

입력 준비에는 초상화 이미지와 오디오 파일 선택이 포함됩니다. 초상화는 잘 조명되고 정면을 향하며 피사체의 얼굴이 명확하게 보여야 합니다. 지원되는 이미지 형식에는 JPEG 및 PNG와 같은 표준 유형이 포함됩니다. 오디오 입력은 일반적인 형식을 허용하며 시스템은 HuBERT 임베딩을 사용하여 음성 특징을 인코딩합니다.

추론 워크플로는 HuBERT 인코더를 통해 오디오를 처리하고, 잠재 확산 모듈을 통해 모션 시퀀스를 생성하며, 생성된 모션과 소스 외모를 결합하여 비디오 프레임을 합성합니다. 출력은 동기화된 오디오와 애니메이션 비주얼이 포함된 MP4 비디오 파일을 생성합니다.

오프라인 및 온라인 스트리밍 파이프라인은 배포 유연성을 제공합니다. 오프라인 처리는 콘텐츠 제작 워크플로에 적합한 배치 모드로 완전한 비디오를 생성합니다. 온라인 스트리밍은 증분 프레임 출력으로 실시간 생성을 가능하게 하여 화상 통화 또는 가상 비서와 같은 대화형 애플리케이션을 지원합니다.

구성 옵션은 생성 품질 대 속도 절충안을 제어합니다. 확산 샘플링 단계는 품질과 계산 시간에 영향을 미치며, 더 많은 단계는 더 부드러운 결과를 생성하지만 더 긴 처리가 필요합니다. 모션 스케일링 매개변수는 애니메이션 강도를 조정하며 미묘하거나 과장된 표현을 만드는 데 유용합니다.

제어 매개변수는 시선 방향, 머리 자세 및 감정 표현의 세밀한 사양을 가능하게 합니다. 이러한 입력은 확산 프로세스를 조건화하여 원하는 특성을 향해 생성을 유도합니다. 시스템은 명시적 제어 신호를 수락하거나 오디오 콘텐츠에서 파생된 기본값을 사용합니다.

TensorRT를 통한 성능 최적화는 PyTorch 추론에 비해 상당한 속도 향상을 제공합니다. FP16 또는 INT8로의 양자화는 최소한의 품질 영향으로 메모리 사용량을 줄이고 처리량을 증가시킵니다. 특정 GPU 아키텍처를 위한 모델 컴파일은 하드웨어별 최적화를 가능하게 합니다.

배포 복잡성을 관리하지 않고 토킹 헤드 기능을 원하는 사용자를 위해 호스팅된 AI 플랫폼은 더 쉬운 액세스를 제공하지만, Apatero.com과 같은 플랫폼은 현재 특히 토킹 헤드 합성이 아닌 이미지 생성에 중점을 둡니다.

Ditto의 모션 공간 아키텍처가 특별한 이유는?

Ditto의 아키텍처 혁신을 이해하면 이전 접근 방식에서 사용할 수 없었던 기능을 달성하는 이유가 드러납니다. 모션 공간 설계는 효율성과 제어를 모두 가능하게 하는 핵심 기여를 나타냅니다.

정체성 무관 표현은 "무엇이 움직이는가"와 "어떻게 보이는가"를 분리하여 아바타 애니메이션의 근본적인 과제를 해결합니다. 이전 접근 방식은 외모와 모션을 통합 잠재 코드에 얽혀 모션을 변경하면 의도치 않게 외모에 영향을 미치고 정체성 변형이 모션 패턴에 영향을 미쳤습니다. Ditto의 분리는 다른 개인에게 적용 가능한 보편적인 모션 패턴을 가능하게 합니다.

기존 VAE 공간의 10분의 1로의 차원 감소는 구체적인 계산상의 이점을 제공합니다. 더 낮은 차원 표현은 더 적은 메모리를 필요로 하고, 더 빠른 확산 샘플링을 가능하게 하며, 제어 사양을 단순화합니다. 모션 패턴이 명시적 모델링이 활용할 수 있는 고유한 구조와 중복성을 가지고 있기 때문에 감소가 가능해집니다.

모션 차원과 얼굴 행동 간의 의미론적 대응은 해석 가능한 제어를 가능하게 합니다. 효과가 불분명한 추상 잠재 변수를 조작하는 대신, 사용자는 "눈썹 올리기 강도" 또는 "머리 기울기 각도"와 같은 의미론적으로 의미 있는 매개변수를 조정합니다. 이러한 해석 가능성은 원하는 결과를 달성하는 것을 극적으로 단순화합니다.

이미지 공간이 아닌 모션 공간에서의 확산 프로세스는 효율성 및 품질 이점을 제공합니다. 컴팩트한 모션 표현에 대한 확산은 고해상도 이미지 픽셀에 대한 확산보다 훨씬 적은 계산 단계를 필요로 합니다. 훈련 중에 학습된 모션 사전은 자연스럽고 그럴듯한 얼굴 움직임을 향해 생성을 안내합니다.

HuBERT 오디오 임베딩은 음성 내용, 운율 및 화자 특성을 포함한 음성 특징을 캡처합니다. 이러한 풍부한 표현은 오디오 기반 모션 생성의 기초를 제공합니다. 시스템은 쌍을 이룬 오디오-비디오 데이터에 대한 훈련을 통해 오디오 패턴과 해당 얼굴 움직임 간의 상관 관계를 학습합니다.

외모 추출기 네트워크는 특정 표현이나 자세와 독립적으로 정체성 특성을 인코딩합니다. 이 인코딩은 생성 중에 일정하게 유지되어 모션이 변하는 동안 프레임 전체에서 정체성 일관성을 보장합니다. 추출 프로세스는 피부 질감, 얼굴 구조, 머리카락, 액세서리 및 전체 시각적 스타일을 캡처합니다.

워프 기반 비디오 합성은 기하학적 변환을 통해 생성된 모션과 정적 외모를 결합합니다. 모션 벡터는 각 픽셀이 소스 초상화에서 애니메이션 프레임으로 이동해야 하는 방법을 지정합니다. 워핑 작업은 이러한 벡터에 따라 이미지를 변형하여 움직임의 환상을 만듭니다.

스티치 네트워크는 워핑만으로 품질을 유지할 수 없는 영역을 처리합니다. 배경 영역, 폐색 및 인페인팅이 필요한 부분은 아티팩트를 방지하기 위해 특별한 처리를 받습니다. 이 구성 요소는 워프된 전경 요소와 안정적인 배경 간의 원활한 통합을 보장합니다.

랜드마크 기반 공간 접지는 립싱크 드리프트 또는 해부학적으로 불가능한 변형과 같은 일반적인 실패 모드를 방지합니다. 얼굴 랜드마크는 모션 생성을 안내하는 명시적 공간 앵커를 제공합니다. 시스템은 생성된 모션이 얼굴 해부학을 존중하고 적절한 공간 관계를 유지하도록 보장합니다.

공동 최적화 전략은 모든 구성 요소를 격리되지 않고 엔드투엔드로 훈련합니다. 이 전체론적 접근 방식은 파이프라인 단계 전체에 걸친 누적 오류를 최소화하고 구성 요소가 전체 시스템에서의 역할에 특화되도록 합니다. 경사도는 훈련 중 전체 파이프라인을 통해 흐르며 최적의 집단 성능을 위해 각 구성 요소를 자동으로 조정합니다.

스트리밍 파이프라인 설계는 최소한의 버퍼링으로 온라인 처리를 가능하게 합니다. 전통적인 비디오 생성 접근 방식은 완전한 시퀀스를 배치로 처리하여 실시간 사용을 방지합니다. Ditto의 아키텍처는 오디오가 스트리밍될 때 프레임이 생성되는 증분 처리를 지원하여 대화형 애플리케이션에 적합한 낮은 대기 시간을 달성합니다.

Ditto를 효과적으로 사용하기 위한 모범 사례

Ditto에서 품질 결과를 얻으려면 적절한 입력, 구성 선택 및 시스템의 강점과 제한 사항을 이해해야 합니다. 이러한 관행은 프레임워크의 기술적 특성에서 나타납니다.

초상화 선택은 생성 품질에 크게 영향을 미칩니다. 피사체의 얼굴이 프레임의 상당 부분을 차지하는 명확하고 잘 조명된 정면 이미지를 사용하십시오. 극단적인 각도, 무거운 그림자 또는 얼굴 특징을 덮는 폐색을 피하십시오. 더 높은 해상도의 소스 이미지는 일반적으로 더 나은 결과를 생성하지만 시스템은 중간 해상도 입력으로 작동할 수 있습니다.

오디오 품질은 모션 생성 품질에 영향을 미칩니다. 최소한의 배경 소음이 있는 깨끗한 오디오는 HuBERT 인코딩을 위한 최상의 기반을 제공합니다. 시스템은 합리적인 오디오 변형에 강건하지만 극도로 시끄럽거나 왜곡되거나 저충실도 오디오는 결과를 저하시킬 수 있습니다. 현대 마이크의 표준 녹음 품질은 잘 작동합니다.

제어 매개변수 조정은 자연스러움과 표현력의 균형을 맞춥니다. 오디오에서 파생된 기본 설정은 일반적으로 대화에 적합한 자연스러운 결과를 생성합니다. 명시적 제어 매개변수를 사용하면 특정 측면을 향상시킬 수 있습니다. 미묘한 조정 (기본값의 10-20%)은 일반적으로 충분하며 극단적인 값은 부자연스러운 외모를 만들 수 있습니다.

시선 제어는 대화형 애플리케이션의 참여를 향상시킵니다. 카메라를 향한 직접적인 시선은 화상 통화 또는 가상 비서에서 연결을 만듭니다. 더 긴 콘텐츠 중 다양한 시선 패턴은 "응시" 효과를 방지합니다. 시스템은 명시적 시선 대상을 지원하거나 음성 패턴과 동기화된 기본값을 사용할 수 있습니다.

자세 변화는 더 긴 시퀀스에 역동성을 추가합니다. 고개 끄덕임, 기울임 또는 회전과 같은 때때로의 머리 움직임은 아바타를 살아있게 만듭니다. 모션 공간은 음성을 강조하거나 비언어적 의사소통 단서를 제공할 수 있는 자세 사양을 지원합니다. 지나치게 빈번하거나 큰 자세 변화는 떨리는 것처럼 보이므로 피하십시오.

감정 표현 조건화는 콘텐츠에 맞게 아바타 감정을 조정합니다. 긍정적인 콘텐츠에 대한 긍정적인 감정 편향, 정보 전달에 대한 중립, 민감한 주제에 대한 우려 표현은 의사소통 효과를 향상시킵니다. 시스템의 감정 제어는 립싱크와 독립적으로 작동하여 미묘한 표현을 허용합니다.

확산 샘플링 단계 구성은 품질과 속도를 절충합니다. 더 많은 샘플링 단계는 일반적으로 모션 부드러움을 개선하고 아티팩트를 줄이지만 생성 시간을 증가시킵니다. 프레임워크의 최적화는 품질을 유지하면서 비교적 적은 단계를 허용합니다. 애플리케이션에 최적의 균형을 찾기 위해 10-50 사이의 단계 수로 실험하십시오.

배치 처리는 대기 시간보다 처리량이 더 중요한 오프라인 콘텐츠 제작에 적합합니다. 여러 오디오 세그먼트를 함께 처리하면 순차적 단일 세그먼트 생성에 비해 GPU 활용도를 향상시킬 수 있습니다. 배치 구성은 사용 가능한 VRAM 및 원하는 총 처리량에 따라 달라집니다.

실시간 스트리밍 구성은 절대 품질보다 낮은 대기 시간을 우선시합니다. 최소 버퍼링, 최적화된 샘플링 일정 및 효율적인 네트워크 인코딩은 반응성이 높은 상호 작용을 보장합니다. 첫 프레임 지연 최적화는 초기 응답이 즉각적으로 느껴지게 합니다.

합성 프레임워크를 마스터하지 않고 전문 비디오 콘텐츠를 원하는 사용자를 위해 Apatero.com과 같은 플랫폼은 다양한 AI 모델에 대한 간소화된 인터페이스를 제공하지만 현재 토킹 헤드가 아닌 이미지 생성에 중점을 둡니다.

제한 사항과 향후 방향은 무엇인가요?

Ditto에 제약이 있는 위치를 이해하면 적절한 기대치를 설정하고 향후 개선을 위한 영역을 식별하는 데 도움이 됩니다. 연구 프리뷰 상태는 활발한 개발이 계속됨을 의미합니다.

정면 뷰 제한은 단일 뷰 훈련 패러다임을 반영합니다. 시스템은 정면 또는 거의 정면 뷰에 대해 고품질 결과를 생성하지만 임의의 뷰 각도를 합성할 수 없습니다. 프로필 뷰, 오버헤드 각도 또는 동적 카메라 위치가 필요한 애플리케이션에는 NeRF 기반 방법과 같은 대체 접근 방식이 필요합니다.

전신 애니메이션은 Ditto의 범위를 벗어납니다. 프레임워크는 얼굴 및 머리 움직임에 특화되어 있으며 몸통, 손 또는 전신 제스처는 아닙니다. 완전한 아바타 애니메이션이 필요한 애플리케이션에는 신체 생성을 위한 보완 시스템이 필요합니다. 초점을 맞춘 범위는 특히 얼굴 합성을 위한 최적화를 가능하게 합니다.

조명 조건 민감도는 까다로운 입력에 대한 강건성에 영향을 미칩니다. 조명이 좋지 않은 소스 초상화, 극단적인 그림자 또는 비전통적인 조명은 외모 추출기를 혼란스럽게 할 수 있습니다. 시스템은 얼굴 구조를 명확하게 드러내는 표준 초상화 조명에서 가장 잘 작동합니다. 조명 정규화와 같은 전처리 기술이 도움이 될 수 있지만 복잡성을 추가합니다.

머리카락과 액세서리 처리는 워프 기반 합성에 대한 지속적인 과제를 나타냅니다. 복잡한 헤어스타일, 귀걸이, 안경 및 기타 비강체 또는 폐색 요소는 아티팩트를 도입할 수 있습니다. 스티치 네트워크는 일부 문제를 해결하지만 모든 액세서리의 완벽한 처리는 여전히 어렵습니다. 더 간단한 초상화는 일반적으로 더 깨끗한 결과를 생성합니다.

하드웨어 요구 사항은 효율성 향상에도 불구하고 접근성을 제한합니다. 실시간 성능에는 전문 GPU가 필요하여 서버, 워크스테이션 또는 고급 시스템에 배포를 제한합니다. 소비자 하드웨어는 Ditto를 실행할 수 있지만 실시간 속도를 달성하지 못할 수 있습니다. 클라우드 배포는 로컬 하드웨어가 없는 사용자를 위한 대안을 제공합니다.

훈련 코드 가용성은 추론 코드 릴리스와 다릅니다. 공개 저장소에는 사전 학습된 모델 및 추론 파이프라인이 포함되어 있지만 훈련 스크립트는 포함되어 있지 않습니다. 이는 사용자 정의 데이터로 재훈련하거나 훈련 절차를 수정하려는 연구원을 제한합니다. 그러나 추론 릴리스는 여전히 상당한 실험 및 배포를 허용합니다.

다국어 지원은 HuBERT의 인코딩 기능에 따라 달라집니다. HuBERT는 언어별 토큰이 아닌 음향 특징을 인코딩하기 때문에 시스템은 언어 전반에 걸쳐 일반화해야 합니다. 그러나 주로 특정 언어로 훈련하면 편향이 도입될 수 있습니다. 다양한 언어에 걸친 평가는 강건성을 명확히 할 것입니다.

향후 개선 사항은 이러한 제한 사항을 해결하고 기능을 확장할 수 있습니다. 다중 뷰 합성은 3D 인식 생성을 통해 임의의 카메라 각도를 허용할 것입니다. 전신 통합은 완전한 아바타 애니메이션을 제공할 것입니다. 주의 기반 메커니즘을 통한 개선된 액세서리 처리는 아티팩트를 줄일 수 있습니다. 효율성 최적화는 소비자 하드웨어에서 실시간 성능을 가능하게 할 수 있습니다.

대규모 언어 모델과의 통합은 흥미로운 가능성을 제시합니다. Ditto를 LLM과 결합하면 텍스트 입력이 음성 오디오와 동기화된 아바타 비디오를 모두 생성하는 텍스트-투-토킹 헤드 생성이 가능할 것입니다. 이 통합은 콘텐츠 제작 워크플로를 간소화할 것입니다.

감정 및 개성 모델링은 확장된 훈련 데이터 및 제어 매개변수를 통해 더욱 정교해질 수 있습니다. 미묘한 감정적 뉘앙스, 개별 개성 특성 및 문화적 표현 차이를 포착하면 아바타 신뢰성과 의사소통 효과가 향상될 것입니다.

자주 묻는 질문

Ditto를 실시간으로 실행하려면 어떤 하드웨어가 필요한가요?

Ditto는 A100, A40, RTX A6000, RTX 3090 및 RTX 4090을 포함한 Ampere 아키텍처 이상의 전문 NVIDIA GPU에서 실시간 성능을 달성합니다. TensorRT 구현은 이러한 아키텍처에 특별히 최적화되어 있습니다. RTX 3080과 같은 소비자 카드는 Ditto를 실행할 수 있지만 실시간 속도에 도달하지 못할 수 있습니다. 클라우드 GPU 인스턴스는 로컬 하드웨어 투자에 대한 대안을 제공합니다.

Ditto는 오디오 대신 텍스트에서 토킹 헤드를 생성할 수 있나요?

현재 구현은 시스템이 모션 생성을 구동하기 위해 HuBERT 오디오 임베딩을 사용하므로 오디오 입력이 필요합니다. 그러나 Ditto를 텍스트 음성 합성 시스템과 결합하여 텍스트-투-토킹 헤드 파이프라인을 만들 수 있습니다. 먼저 TTS를 사용하여 텍스트에서 오디오를 생성한 다음 해당 오디오를 Ditto와 함께 사용하여 토킹 헤드 비디오를 만듭니다. 이 2단계 접근 방식은 효과적으로 텍스트 입력을 가능하게 합니다.

Ditto는 상용 토킹 헤드 서비스와 어떻게 비교되나요?

Ditto는 세밀한 제어, 오픈 소스 접근성 및 실시간 성능의 이점을 제공하면서 많은 상용 서비스와 비교 가능하거나 우수한 품질을 제공합니다. 상용 서비스는 더 쉬운 웹 인터페이스를 제공하고 에지 케이스를 더 강건하게 처리할 수 있지만, Ditto의 학술적 기반과 오픈 릴리스는 폐쇄형 플랫폼으로는 불가능한 사용자 정의를 가능하게 합니다. 절충안에는 설정 복잡성 대 호스팅 편의성이 포함됩니다.

사진 대신 양식화되거나 예술적인 초상화를 사용할 수 있나요?

예, Ditto는 포토리얼리스틱 사진과 양식화된 예술적 초상화 모두에서 작동합니다. 정체성 무관 모션 공간은 모션 패턴이 렌더링 미학과 독립적이기 때문에 다른 시각적 스타일로 모션 패턴을 전송합니다. 애니메이션 초상화, 일러스트레이션, 그림 또는 기타 예술적 스타일을 입력으로 사용할 수 있습니다. 그러나 외모 추출기는 소스 이미지에서 얼굴 특징이 명확하게 인식 가능할 때 가장 잘 작동합니다.

Ditto는 어떤 오디오 형식을 지원하나요?

시스템은 WAV, MP3, FLAC 및 OGG를 포함한 일반적인 형식을 지원하는 librosa를 통해 오디오를 처리합니다. 오디오는 내부적으로 HuBERT 임베딩으로 변환되므로 특정 입력 형식은 오디오 품질보다 덜 중요합니다. 파일 형식에 관계없이 최소한의 배경 소음이 있는 명확한 음성이 최상의 기반을 제공합니다. 현대 마이크의 표준 녹음 품질은 잘 작동합니다.

얼굴 표정을 얼마나 제어할 수 있나요?

Ditto는 명시적 조건화 매개변수를 통해 시선 방향, 머리 자세 및 감정 표현에 대한 세밀한 제어를 제공합니다. 오디오 콘텐츠와 독립적으로 이를 지정할 수 있어 음성에 직접 연결되지 않은 미묘한 표현이 가능합니다. 모션 공간의 의미론적 대응은 제어를 해석 가능하게 만들며, 매개변수가 추상 잠재 변수가 아닌 인식 가능한 얼굴 행동에 매핑됩니다.

Ditto는 한 이미지에서 여러 사람을 처리할 수 있나요?

Ditto는 한 사람의 얼굴에 초점을 맞춘 단일 초상화 입력용으로 설계되었습니다. 소스 이미지의 여러 사람은 외모 추출기와 모션 생성을 혼란스럽게 할 것입니다. 다중 인물 시나리오의 경우 각 사람의 초상화를 개별적으로 분리하고 토킹 헤드 비디오를 독립적으로 생성한 다음 최종 결과를 위해 합성해야 합니다.

Ditto는 연구용일 뿐만 아니라 프로덕션 애플리케이션에 적합한가요?

ACM MM 2025 채택 및 사전 학습된 모델이 포함된 오픈 소스 릴리스는 Ditto를 연구 및 프로덕션 애플리케이션 모두에 적합하게 만듭니다. 실시간 성능, 세밀한 제어 및 품질 결과는 대화형 애플리케이션, 콘텐츠 제작 워크플로 및 상용 제품에 실용적인 배포를 가능하게 합니다. 그러나 모든 AI 시스템과 마찬가지로 특정 사용 사례에 대한 철저한 테스트가 필수적입니다.

모션 공간은 어떻게 10배 차원 감소를 달성하나요?

모션 공간은 정체성별 외모 정보를 제외하면서 토킹 헤드 애니메이션과 관련된 얼굴 및 머리 움직임만 명시적으로 모델링하여 차원 감소를 달성합니다. 개인 전반에 걸쳐 공유된 구조를 가진 모션 패턴에만 초점을 맞추고 얼굴 행동과의 의미론적 대응을 활용함으로써, 공간은 외모와 모션을 얽는 VAE보다 훨씬 적은 차원에서 필요한 변형을 캡처합니다.

오디오와 비디오가 몇 초 이상 길어야 하는 경우 어떻게 되나요?

Ditto는 오디오 스트림을 증분적으로 처리하여 임의 길이의 비디오 생성을 지원합니다. 스트리밍 파이프라인은 오디오가 진행됨에 따라 프레임을 생성하여 장시간 콘텐츠를 처리하며, 사전에 완전한 오디오를 요구하지 않습니다. 이를 통해 짧은 클립부터 확장된 프레젠테이션에 이르기까지 실용적인 모든 길이의 비디오가 가능하며 전체적으로 실시간 성능을 유지합니다.

실시간 토킹 헤드 합성의 미래

Ditto는 확산 기반 토킹 헤드 생성을 실시간 대화형 애플리케이션에 실용적으로 만드는 중요한 이정표를 나타냅니다. 프레임워크의 모션 공간 확산 아키텍처, 정체성 무관 표현 및 공동 최적화는 실시간 속도에서 이전에 불가능했던 품질과 제어를 가능하게 합니다.

이 기술은 세밀한 제어를 통한 반응성 있는 아바타 생성이 필요한 애플리케이션에 탁월합니다. 가상 비서는 더 매력적이고 정밀하게 제어 가능한 표현을 얻습니다. 화상 회의 도구는 대역폭 효율적인 아바타 스트림을 만들 수 있습니다. 콘텐츠 크리에이터는 촬영 없이 아바타 기반 비디오를 제작합니다. 교육 플랫폼은 대화형 가상 강사를 배포합니다.

프레임워크의 아키텍처를 이해하면 그 기능과 제한 사항을 이해하는 데 도움이 됩니다. 정면 뷰 최적화, 얼굴 초점 및 하드웨어 요구 사항은 적절한 사용 사례를 정의합니다. 오픈 소스 릴리스는 연구 발전과 실용적 배포를 모두 가능하게 하여 접근 가능하고 제어 가능한 아바타 기술의 발전을 가속화합니다.

합성 프레임워크를 관리하지 않고 AI 기반 콘텐츠 제작을 원하는 사용자를 위해 Apatero.com과 같은 플랫폼은 최적화된 인터페이스를 통해 다양한 AI 모델에 대한 간소화된 액세스를 제공하지만, 토킹 헤드 합성 기능은 호스팅된 플랫폼 생태계에서 계속 등장하고 있습니다.

토킹 헤드 합성 기술이 성숙함에 따라 대규모 언어 모델과의 통합, 감정 모델링 개선 및 다중 뷰 기능은 애플리케이션을 확장할 것입니다. Ditto의 효율적이고 제어 가능한 실시간 생성 기여는 디지털 커뮤니케이션, 교육 및 엔터테인먼트를 향상시키는 점점 더 정교한 아바타 상호 작용의 기반을 확립합니다.