Prime Agentが公開、コーディングエージェントの評価は長期タスクへ
Prime Intellectがオープンソースのエージェントを公開し、LoopsBenchは長期的なコーディング評価を狙う。
なぜ重要か
これらの報告は、単発のコーディングベンチマークから、継続的なエージェント実行の評価へと焦点が移りつつあることを示している。オープンなハーネスや長期ベンチマークにより、最終結果だけでなく、コーディングエージェントの性能をより検証しやすくなる可能性がある。
要点
- 1.Prime Agentは、オープンライセンスのオープンソースとして説明されている。
- 2.LoopsBenchは、112タスクを通じて長期的なコーディング作業をテストする。
- 3.LoopsBenchで報告された最良の構成は、25.00%のタスクを解決した。
Redditの投稿によると、Prime Intellectは長時間の自律的な作業に向けたオープンソースのコーディング・研究エージェント「Prime Agent」を公開した。投稿はGitHubとブログにリンクしている。投稿では、Prime Agentはプログラムによるツール呼び出し、変数としてのコンテキスト、マルチエージェント間メッセージング、自己変更可能なハーネス状態を使うとされ、ARC-AGI-3で95.5%のスコアを報告している。これとは別に、arXivの論文は、8つのプログラミング言語と9つの領域にまたがる112タスクで構成される長期ベンチマーク「LoopsBench」を発表した。評価された中で最も強力な構成であるOpus-4.7とClaude Code、外部継続を組み合わせた設定では、25.00%のタスクを解決した。
⚡ 今日から使える
長時間の開発作業に関するコーディングエージェントのベンチマーク主張を鵜呑みにする前に、Prime AgentのコードとLoopsBenchを確認すべきだ。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。