연구진, 더 약한 모델을 위한 AI 제작 하네스 테스트

새 논문은 더 강한 ‘빌더’ 모델이 약한 모델의 파라미터를 바꾸지 않고, 추론 시점에 쓰는 하네스를 구성해 테스트 단계에서 성능을 개선할 수 있는지 살펴봤다. 네 가지 Theory-of-Mind 벤치마크에서 빌더는 데이터의 5%를 검증용으로 사용해 하네스를 다듬은 뒤, 전체 테스트 세트에서 평가했다. 이 접근법은 대상 모델의 평균 성능을 0.49에서 0.91로 거의 두 배 높였으며, 성능 향상은 주로 결정론적 코드, 벤치마크별 라우팅, 엄격한 답변 형식 지정에서 비롯된 것으로 분석됐다.