DRIFT 공격, flow-matching VLA의 취약성 드러내
이 적대적 패치는 denoising 과정에서 pi0와 pi0.5 로봇 정책을 겨냥한다.
왜 중요한가
이번 연구는 flow-matching VLA 모델이 적대적 교란에 견고하다는 주장에 의문을 제기한다. multi-step denoising dynamics를 고려하지 않는 평가는 embodied AI 시스템의 안전성을 과대평가할 수 있음을 시사한다.
핵심 포인트
- 1.DRIFT는 그리퍼에 장착하는 universal adversarial patch다.
- 2.첫 번째 denoising step만 공격하는 방식이 더 강력하고 비용도 낮았다.
- 3.테스트는 네 가지 LIBERO suite에서 pi0와 pi0.5를 대상으로 진행됐다.
연구진은 flow-matching vision-language-action 모델의 denoising velocity field를 공격하기 위해 로봇 그리퍼에 부착하는 test-time universal adversarial patch인 DRIFT를 소개했다. 논문에 따르면 DRIFT는 pi0와 pi0.5를 대상으로 네 가지 LIBERO suite에서 작은 단일 패치만으로 원래 해결 가능했던 과제 거의 전부를 무너뜨렸으며, action-space 및 embedding-space 공격 기준선을 앞섰다.
⚡ 오늘 바로 활용
로봇 환경에 배포하기 전에 flow-matching VLA 정책을 denoising-step 공격에 대해 점검해야 한다.
출처 및 원본 보도
이 브리핑은 아래 매체의 보도를 요약하고 링크합니다.
이 브리핑이 유용했나요? 다음 소식을 메일로 받아보세요.
관련: 연구
DistilVDR, 시각 문서 검색을 압축하다
5억2400만 매개변수 규모의 검색 모델이 80억 매개변수 비전-언어 교사 모델로부터 양방향 증류를 활용한다.
연구진, Power Law Graph Attention 제안
PLGA는 scaled dot-product attention을 일반화하며, 정확한 불변성 조건에서 추론 붕괴가 발생한다고 보고했다.
장문 문서 VLM 추론을 겨냥한 새 논문들
InSight-doc, DocAtlas, DocMemo가 복잡한 문서 전반에서 근거를 찾아내는 에이전트형 접근법을 제안했다.