LG AI Research、K-EXAONE 2.0のレポートを公開
オープンウェイトの多言語MoEモデルは総パラメータ数750Bで、256Kトークンのコンテキストに対応する。
なぜ重要か
K-EXAONE 2.0は、大規模なオープンウェイト多言語モデルの選択肢をさらに広げる存在であり、長文コンテキスト検索、コーディング、韓国の社会文化的安全性に重点を置いている。Apache 2.0での公開により、研究者や開発者はフロンティア規模のMoEシステムを評価・適応する余地をより広く得られる。
要点
- 1.750BパラメータのMoEは、トークンごとに約37Bパラメータを有効化する。
- 2.コンテキスト対応は256Kトークンまで拡張された。
- 3.Apache 2.0ライセンスにより、幅広い評価と適応が可能になる。
LG AI Researchは、K-EXAONEをアップサイクルして開発したオープンウェイトの多言語基盤モデル、K-EXAONE 2.0の技術レポートを公開した。同モデルはMixture-of-Expertsアーキテクチャを採用し、総パラメータ数は750B、トークンごとに有効化されるパラメータは約37B。最大256Kトークンのコンテキスト長に対応し、対応言語は6言語から10言語へ拡大した。レポートによると、K-EXAONE 2.0は9つの評価カテゴリで前モデルを上回り、特にエージェント型コーディングと長文コンテキスト理解で大きな改善を示した。
⚡ 今日から使える
本番利用を検討する前に、K-EXAONE 2.0を長文コンテキスト検索、多言語、コーディングのワークロードで評価すべきだ。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。
関連： モデル
LiquidAI、LFM2.5-VL-3BをHugging Faceで公開
3Bクラスのマルチモーダルモデルは、テキスト、画像、OCR、グラウンディングに対応し、エッジ環境での視覚タスクを狙う。
MiLMMTチーム、参照訳不要の翻訳モデルを公開
MiLMMT-46-v1.0はGRPOとチェックポイント補間により、オープンな多言語翻訳を改善する。
ローカルテスター、Muse Glimmer 30BをQwenと比較ベンチマーク
r/LocalLLaMAの初期報告では、Muse Glimmer 30Bのコーディング性能は評価が分かれる一方、トークン効率の高さが示された。