研究者ら、ギリシャ語RAG向けにNemotron検索スタックを適応
専門分野向けに、ギリシャ語の検索学習、リランキング、リーダー調整、HERAベンチマークを追加した。
なぜ重要か
この研究は、現代ギリシャ語向けの多言語検索システムに残るギャップを浮き彫りにし、言語やドメインに特化した適応がRAGパイプラインを大きく改善し得ることを示している。また、一部の専門領域の検索では、単純な語彙ベースのベースラインが依然として競争力を持つことも改めて示した。
要点
- 1.HERAは、専門領域をまたいで現代ギリシャ語検索をベンチマークする。
- 2.BM25は、既製の多言語密検索モデル数種を上回った。
- 3.ファインチューニングにより、Nemotron 1BのnDCG@10は0.835に向上した。
研究者らは、NVIDIAのNemotron検索スタックを現代ギリシャ語向けにエンドツーエンドで適応させた成果を発表した。対象には、コーパスマイニング、合成教師データ、検索学習、リランカー適応、リーダーのファインチューニング、新ベンチマーク「HERA」が含まれる。専門的なギリシャ語コーパスでは、BM25が既製の多言語密検索モデル数種を上回った。65,773件のギリシャ語検索ペアでファインチューニングした結果、Nemotron 1B埋め込みモデルのnDCG@10は0.362から0.835に向上し、Nemotron 30B-A3BリーダーをLoRAチューニングすると、判定された回答正答率は29.4%から66.9%に上昇した。
⚡ 今日から使える
専門的なギリシャ語RAGに密検索を導入する前にBM25をベンチマークし、追加の複雑さに見合う効果がある場合に埋め込みモデルとリランカーをファインチューニングすべきだ。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
- arXiv cs.CLTeaching Nemotron Greek: Mining a Corpus, Adapting Retrieval, and Grounding Generation for Modern Greek across Specialist DomainsAug 6, 12:00 PM↗
- arXiv cs.AITeaching Nemotron Greek: Mining a Corpus, Adapting Retrieval, and Grounding Generation for Modern Greek across Specialist DomainsAug 6, 12:00 PM↗
- HF Daily PapersTeaching Nemotron Greek: Mining a Corpus, Adapting Retrieval, and Grounding Generation for Modern Greek across Specialist DomainsAug 5, 4:00 AM↗
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
研究者ら、トラックとドローンの配送経路問題「TTP-D」を提案
新たなベンチマークは、品目選択、積載量に応じた経路設計、ドローンとの同期を組み合わせたものだ。
監査・修復の文脈でLLMチェッカーがより寛容になるとの研究結果
arXiv論文は、モデルの文脈内に過去の監査・修復エピソードがあると誤警報が減ると報告している。
AlphaEvolve、行列乗算の上界を引き下げ
新たなarXivノートが、行列乗算指数の上界を改善したと報告した。