논문, 에이전트 안전에는 런타임 계약이 필요하다고 주장
arXiv 논문은 자율 에이전트에 훈련 시점의 정렬만으로는 충분하지 않다고 말한다.
왜 중요한가
이 논문은 코드를 실행하고, 파일을 변경하고, 메시지를 보내고, 데이터베이스를 수정할 수 있는 도구의 에이전트 안전을 운영 시스템 문제로 재정의한다. 이 접근법이 채택되면 에이전트 개발자들은 모델 수준의 정렬뿐 아니라 하네스 수준의 강제 집행과 증거 수집에 더 무게를 두게 될 것이다.
핵심 포인트
- 1.안전 계약은 에이전트 하네스 안에 있어야 한다.
- 2.통제 수단에는 샌드박스, 권한 게이트, 궤적 모니터가 포함된다.
- 3.증거 확인에는 테스트, 로그, diff, 인용 근거 확인이 포함된다.
새 arXiv 논문은 AI 에이전트의 안전을 모델 훈련 과정에서 주로 학습되는 속성으로 볼 것이 아니라, 에이전트 하네스가 런타임 계약으로 강제해야 한다고 주장한다. 저자들은 샌드박스, 권한 게이트, 출력 필터, 궤적 모니터 같은 예방적 통제와 함께, 작업 제출 전에 테스트 실행, 로그 캡처, 파일 diff, 인용 근거 확인 같은 증거 요건을 제안한다. 이 입장은 문서화된 AI 에이전트 및 LLM 안전 사고 52건, 논쟁의 여지가 없는 허위 완료 사례 31건, 공개 에이전트 시스템과 하네스 12개, 2023~2025년 NeurIPS, ICML, ICLR에 채택된 논문 28,560편을 포괄한 감사에 근거한다.
⚡ 오늘 바로 활용
작업 완료를 허용하기 전에 에이전트 하네스에 권한 게이트, 샌드박싱, 증거 확인 절차가 갖춰져 있는지 감사하라.
출처 및 원본 보도
이 브리핑은 아래 매체의 보도를 요약하고 링크합니다.
이 브리핑이 유용했나요? 다음 소식을 메일로 받아보세요.
관련: 연구
감사-수정 맥락이 LLM 검증기를 더 관대하게 만든다는 연구 결과
arXiv 논문은 모델 맥락에 앞선 감사-수정 사례가 있을 때 오탐이 줄어든다고 보고했다.
AlphaEvolve, 행렬 곱셈 상한 낮추는 데 기여
새 arXiv 노트가 행렬 곱셈 지수의 개선된 상한을 보고했다.
InternLM, Mobius 모델 아키텍처 제안
arXiv 논문은 압축률과 추론 효율을 높이기 위해 메모리와 추론을 분리했다.