研究者ら、多言語の数学推論でOPD²を検証
Qwen3を用いた実験で、英語、韓国語、日本語の数学タスクにおいてOPDを上回る成果が示された。
なぜ重要か
この結果は、蒸留ベースのポストトレーニングが、強化学習だけに依存せずに多言語推論を改善できる可能性を示している。同時に、対象言語での出力の忠実性が重要な場合、多言語の訓練データが不可欠であることも浮き彫りにしている。
要点
- 1.OPD²は、teacherとbaseの確率差を学習シグナルとして用いる。
- 2.Qwen3の実験では、韓国語と日本語でより大きな改善が示された。
- 3.英語のみのOPDは、非英語の回答を英語寄りにする可能性がある。
新たなarXiv論文が、英語、韓国語、日本語の数学推論を対象に、On-Policy DistillationとOn-Policy Delta Distillation（OPD²）を検証した。著者らはQwen3を使い、OPD²が標準的なOPDを一貫して上回り、特に韓国語と日本語で大きな改善が見られ、英語と韓国語の性能差もおおむね縮小したと報告している。また、英語のみのOPDでも韓国語と日本語の性能は向上し得る一方、回答が英語寄りになる可能性があるとしている。
⚡ 今日から使える
非英語の推論タスクにOPD系のポストトレーニングを適用する際は、多言語の訓練データを使うべきだ。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
研究
MiLMMTチーム、参照訳不要の翻訳モデルを公開
MiLMMT-46-v1.0はGRPOとチェックポイント補間により、オープンな多言語翻訳を改善する。
arXiv cs.CL+1 outlet·22h ago
研究
DistilVDR、視覚文書検索を圧縮
5億2400万パラメータの検索器は、80億パラメータの視覚言語教師モデルから双方向蒸留を行う。
arXiv cs.CL+1 outlet·22h ago
研究
研究者ら、Power Law Graph Attentionを提案
PLGAはscaled dot-product attentionを一般化し、厳密な不変性の下で推論が崩壊すると報告している。
arXiv cs.LG+1 outlet·22h ago