MiLMMTチーム、参照訳不要の翻訳モデルを公開
MiLMMT-46-v1.0はGRPOとチェックポイント補間により、オープンな多言語翻訳を改善する。
なぜ重要か
この研究は、あらゆる言語ペアで人手による参照訳に依存しなくても、参照訳不要の報酬によって多言語翻訳を改善できる可能性を示している。また、RLベースの翻訳ポストトレーニング手法を検証するためのオープンなモデルとコードを研究者に提供する。
要点
- 1.参照訳不要のGRPOにより、MiLMMTは46言語全体で改善した。
- 2.この研究では、チェックポイント補間がオンポリシー蒸留を上回った。
- 3.モデルとコードは研究用途向けに公開された。
研究チームは、MiLMMT-46-v0.1をベースに参照訳を使わないポストトレーニングで構築した、オープンな多言語機械翻訳モデル群「MiLMMT-46-v1.0」を公開した。この手法は、言語識別で制御した2つの参照訳不要の品質推定モデルから得た報酬を用いてGRPOを適用し、その後SFTとRLのチェックポイントを線形補間する。46言語全体で、各モデルはSFT版を上回り、Seed-X、HY-MT2、TranslateGemmaなど論文で比較対象とされたオープンなベースラインを超え、評価対象のプロプライエタリシステムに対しても参照訳不要のスコアでトップ水準を記録した。
⚡ 今日から使える
オープンな多言語翻訳のベースラインを選ぶ前に、MiLMMT-46-v1.0と公開コードを評価したい。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
- arXiv cs.AIWhen the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool UseAug 13, 12:00 PM↗
- arXiv cs.CLWhen the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool UseAug 13, 12:00 PM↗
- arXiv cs.AIReference-Free Post-Training of Open Large Language Models for Multilingual Machine TranslationAug 12, 12:00 PM↗
- arXiv cs.CLReference-Free Post-Training of Open Large Language Models for Multilingual Machine TranslationAug 12, 12:00 PM↗
- arXiv cs.CLReference-Free Post-Training of Open Large Language Models for Multilingual Machine TranslationAug 12, 12:00 PM↗
- arXiv cs.CLEmbedding Initialization for Unseen Low-resource Languages in Multilingual NMT: A Case Study on Limbum-English TranslationAug 11, 12:00 PM↗
- arXiv cs.LGEmbedding Initialization for Unseen Low-resource Languages in Multilingual NMT: A Case Study on Limbum-English TranslationAug 11, 12:00 PM↗
- HF Daily PapersReference-Free Post-Training of Open Large Language Models for Multilingual Machine TranslationAug 11, 4:00 AM↗
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
研究
Google、準同型暗号でプライベートAIを前進
Googleは、準同型暗号を活用してプライベートAIをより実用的にしようとしていると説明している。
Hacker News+8 outlets·5h ago
研究
Google、プライベートAIの実用化を進めていると説明
Google Securityの投稿がHacker Newsで議論を呼び、AI全般への批判とも並んだ。
Hacker News+5 outlets·5h ago
研究
研究者ら、LLMを制御下で研究するためのLittleLearnerを公開
50億パラメータのモデルは、小学5年生以下のカリキュラムに基づく880億トークンのコーパスで訓練された。
r/LocalLLaMA+1 outlet·11h ago