AnyTalk, 애니메이션 데이터 없이 음성 애니메이션 생성
이 방법은 비디오 확산 모델을 활용해 입 모양이 맞는 3D 캐릭터 음성 애니메이션을 만든다.
왜 중요한가
이 연구는 캐릭터 음성 애니메이션을 더 적은 데이터로 구현할 수 있는 가능성을 보여주며, 캐릭터별 학습 세트나 리깅, 리메싱에 대한 의존도를 낮춘다. 실제 제작 환경에서 검증된다면, 확산 기반 모션 사전지식은 다양한 메시와 블렌드셰이프 시스템 전반에서 입 모양이 맞는 3D 아바타를 더 쉽게 배포하게 만들 수 있다.
핵심 포인트
- 1.임의의 캐릭터를 대상으로 입 모양이 맞는 3D 음성 애니메이션을 생성한다.
- 2.애니메이션 데이터 없이 캐릭터 미세조정을 사용한다.
- 3.증류 버전 AnyTalk_RT는 실시간 성능을 목표로 한다.
연구진은 애니메이션 데이터 없이 임의의 캐릭터를 위한 3D 음성 애니메이션을 생성하는 방법인 AnyTalk를 공개했다. 이 접근법은 대상 3D 캐릭터의 렌더링 이미지와 0으로 처리한 오디오 임베딩을 짝지어 사전 학습된 비디오 확산 모델을 미세조정한 뒤, 생성된 토킹헤드 영상을 3D 음성 애니메이션으로 변환하기 위해 블렌드셰이프 파라미터를 추정한다. 저자들은 실시간 성능을 목표로 한 증류 버전 AnyTalk_RT도 설명했다.
⚡ 오늘 바로 활용
애니메이션 데이터나 무거운 리깅이 필요한 캐릭터별 립싱크 파이프라인을 구축하기 전에 이 논문을 읽어볼 만하다.
출처 및 원본 보도
이 브리핑은 아래 매체의 보도를 요약하고 링크합니다.
이 브리핑이 유용했나요? 다음 소식을 메일로 받아보세요.
관련: 연구
연구
감사-수정 맥락이 LLM 검증기를 더 관대하게 만든다는 연구 결과
arXiv 논문은 모델 맥락에 앞선 감사-수정 사례가 있을 때 오탐이 줄어든다고 보고했다.
arXiv cs.AI+1 outlet·22h ago
연구
AlphaEvolve, 행렬 곱셈 상한 낮추는 데 기여
새 arXiv 노트가 행렬 곱셈 지수의 개선된 상한을 보고했다.
arXiv cs.AI+1 outlet·22h ago
연구
InternLM, Mobius 모델 아키텍처 제안
arXiv 논문은 압축률과 추론 효율을 높이기 위해 메모리와 추론을 분리했다.
r/LocalLLaMA+1 outlet·1d ago