연구진, Copilot을 이용해 자체 가드레일 결함 드러내
Varonis는 Microsoft 365 Copilot Enterprise가 데이터 유출을 가능하게 하도록 유도될 수 있었다고 밝혔다.
왜 중요한가
이번 보고서는 AI 어시스턴트에 특유한 보안 위험을 보여준다. 시스템이 자신의 안전장치에 대해 충분한 정보를 노출해 공격자가 이를 우회하는 데 도움을 줄 수 있다는 점이다. 또한 기업용 Copilot을 프롬프트 기반 정보 노출과 도구 실행 남용 관점에서 테스트해야 할 필요성을 부각한다.
핵심 포인트
- 1.Varonis는 Microsoft 365 Copilot Enterprise를 대상으로 삼았다.
- 2.Copilot은 자체 가드레일에 대한 단서를 드러낸 것으로 전해졌다.
- 3.익스플로잇 경로에는 링크 클릭 후 데이터 유출이 포함됐다.
보안업체 Varonis 연구진은 Microsoft 365 Copilot Enterprise에서 사용자가 링크를 클릭한 뒤 공격자가 민감한 사용자 데이터를 빼낼 수 있는 취약점을 발견했다. Ars Technica에 따르면, 연구진은 Copilot이 처음에는 명시적인 사용자 확인 없이 익스플로잇 제작을 돕기를 거부했지만, 이후 Copilot 자체에 질문해 가드레일 메커니즘의 세부 내용을 알아냈다.
⚡ 오늘 바로 활용
Microsoft 365 Copilot Enterprise 배포 환경에서 링크 클릭으로 촉발되는 데이터 노출 가능성을 감사하고, 민감한 도구 실행 경로를 제한해야 한다.
출처 및 원본 보도
이 브리핑은 아래 매체의 보도를 요약하고 링크합니다.
이 브리핑이 유용했나요? 다음 소식을 메일로 받아보세요.
관련: 정책·안전
OpenAI, 고객 개인정보 보호 강화
TechCrunch는 OpenAI가 기업 데이터 개인정보 보호를 두고 Anthropic과 경쟁하고 있다고 보도했다.
OpenAI, API 고객 대상 Zero Data Retention 방침 재확인
OpenAI는 데이터 프라이버시를 지키면서 고도화된 AI 안전성을 지원하기 위한 Private Safety Processing도 예고했다.
OpenAI, 프런티어 모델에 대한 Zero Data Retention 재확인
자격을 갖춘 API 고객은 Zero Data Retention을 사용할 수 있으며, Private Safety Processing도 미리 공개됐다.