Ai2、AIチューター評価用のTutorMomentsを公開
このベンチマークは、LLMチューターが生徒を支援すべき場面と、あえて介入を控えるべき場面を検証する。
なぜ重要か
この取り組みは、AIチュータリングの中心的な弱点に焦点を当てている。つまり、有用であることを最適化されたモデルが、学習を支える「生産的な苦闘」を弱めてしまう可能性だ。また、研究者やEdTechチームに対し、回答の正しさや一般的なヒント出しを超えてチューターの振る舞いを評価するためのオープンな手段を提供する。
要点
- 1.TutorMomentsは、実際の数学チュータリングの書き起こしと、教師がラベル付けした判断ポイントを使用している。
- 2.7つのLLMは、支援と厳密さのトレードオフを明示したプロンプトで改善した。
- 3.スコアが測定するのはチューターの振る舞いであり、実際の生徒の学習成果ではない。
Ai2は、LLMチューターが生徒の学習をどこまで足場かけすべきか、またより厳密な思考を促すためにいつ踏みとどまるべきかを適切に判断できているかを測定する、リプレイベースの評価手法TutorMomentsのプレビュー版を発表した。今回の公開には、米国の小学2年から中学1年相当の数学個別指導セッションから得た462件の匿名化済み書き起こし、教師が注釈した1,500件超の重要場面、リプレイ・パイプライン用コード、モデルチューターのリプレイが含まれる。Ai2によると、7つのLLMは通常のチュータリング用プロンプトでは過度に手助けする傾向があり、評価を意識したプロンプトによって性能は向上したものの、モデル間の大きな差は残った。
⚡ 今日から使える
学生に展開する前に、公開されたTutorMomentsのデータセットとリプレイ・パイプラインを使って、自社のチュータリング用プロンプトが過度に足場かけしていないかを検証すべきだ。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
研究者ら、トラックとドローンの配送経路問題「TTP-D」を提案
新たなベンチマークは、品目選択、積載量に応じた経路設計、ドローンとの同期を組み合わせたものだ。
監査・修復の文脈でLLMチェッカーがより寛容になるとの研究結果
arXiv論文は、モデルの文脈内に過去の監査・修復エピソードがあると誤警報が減ると報告している。
AlphaEvolve、行列乗算の上界を引き下げ
新たなarXivノートが、行列乗算指数の上界を改善したと報告した。