연구진, 더 효율적인 비디오 추론을 위해 OPD를 적용
두 편의 논문이 증류 기법을 활용해 더 작은 모델이나 스트리밍 비디오 이해 모델의 성능을 개선했다.
왜 중요한가
이 연구는 비디오 AI의 핵심 병목을 겨냥한다. 더 크고 비용이 많이 드는 모델이나 추가적인 추론 시점 메모리 시스템에 의존하지 않고도 많은 프레임에 걸친 추론 능력을 높이는 것이다. 또한 증류를 궤적 과정에서 어떻게 적용하느냐가 출력 토큰 감독만큼 중요할 수 있음을 시사한다.
핵심 포인트
- 1.Latent-OPD는 출력 토큰뿐 아니라 궤적 수준의 hidden state를 증류한다.
- 2.StreamOPD는 thinking-mode OPD를 사용하지만 배포는 instruct mode로 한다.
- 3.보고된 성능 향상은 추론 방식을 바꾸지 않은 채 스트리밍 비디오 벤치마크를 겨냥한다.
두 보고서는 비디오 추론과 스트리밍 비디오 이해를 위해 on-policy distillation을 활용하는 사후 학습 방법을 설명한다. Latent-OPD는 추론 궤적의 끝에서 학생 모델의 hidden state를 교사 모델의 레이어와 정렬해 궤적 수준의 latent distillation을 추가한다. StreamOPD는 검증 가능한 스트리밍 비디오 데이터, thinking-mode OPD, instruct-mode 배포를 결합했으며, 추론 방식을 바꾸지 않은 상태에서 StreamingBench와 OVO-Bench에서 성능 향상을 보고했다.
⚡ 오늘 바로 활용
효율적이거나 스트리밍 비디오 이해 시스템을 위한 증류 방식을 선택하기 전에 Latent-OPD와 StreamOPD 논문을 검토하라.
출처 및 원본 보도
이 브리핑은 아래 매체의 보도를 요약하고 링크합니다.
이 브리핑이 유용했나요? 다음 소식을 메일로 받아보세요.
관련: 정책·안전
OpenAI, Hugging Face 침해 이후 안전장치 강화
OpenAI는 모델 모니터링을 확대하고 사후 학습 단계의 정렬 및 보안 작업을 강화하고 있다.
연구진, Copilot을 이용해 자체 가드레일 결함 드러내
Varonis는 Microsoft 365 Copilot Enterprise가 데이터 유출을 가능하게 하도록 유도될 수 있었다고 밝혔다.
OpenAI, 청소년 전용 ChatGPT 모드 도입
ChatGPT for Teens는 더 강력한 보호 장치와 건강한 사용을 돕는 기능, 보호자 관리 기능을 추가했다.