SWE-Touch testet Coding-Agents in gemeinsamen Workspaces
Der Benchmark zeigt, dass Gegen-Edits von Nutzern die Lösungsraten von Coding-Agents auf SWE-bench Verified senken.
Warum es wichtig ist
Die Arbeit macht eine Lücke zwischen Coding-Benchmarks für allein arbeitende Agents und realer kollaborativer Entwicklung sichtbar, bei der sich Code ändern kann, während ein Agent arbeitet. Sie legt nahe, dass Coding-Agents ein stärkeres Bewusstsein für sich verändernde Workspaces benötigen, bevor sie verlässlich in gemeinsamen Repositories eingesetzt werden können.
Die Kernpunkte
- 1.SWE-Touch zielt auf Nutzeränderungen während Coding-Agent-Aufgaben ab.
- 2.Counter-Edits senkten die durchschnittliche Lösungsrate um 7,7 Punkte.
- 3.Fehlschläge wurden mit begrenztem Bewusstsein für sich verändernde Workspaces in Verbindung gebracht.
Forscher haben SWE-Touch vorgestellt, ein Framework zum Benchmarking von Coding-Agents, während Nutzer laufende Aufgaben prüfen und den Code dabei ändern. Es fügt validierte Counter-Edits ein, beschrieben als plausible, aufgabenrelevante Codeänderungen, die mit dem Abschluss der Aufgabe in Konflikt stehen, ergänzt durch kontextbezogene Nutzernachrichten. In Tests mit neun Coding-Modellen senkte Counter-Edit die durchschnittliche Lösungsrate auf SWE-bench Verified um 7,7 Prozentpunkte; Rückgänge wurden auch bei SWE-Bench Pro und DeepSWE berichtet.
⚡ Heute ausprobieren
Nutzen Sie Tests im Stil von SWE-Touch, um Coding-Agents zu prüfen, bevor Sie sich in gemeinsamen Workspaces auf sie verlassen.
Quellen & Originalberichte
Dieser Brief fasst die Berichterstattung der folgenden Medien zusammen und verlinkt sie.
Hat dir dieses Briefing gefallen? Erhalte das nächste per Mail.
Mehr in Forschung
Forschende stellen TTP-D für die Routenplanung mit Lkw und Drohnen vor
Der neue Benchmark kombiniert Artikelauswahl, lastabhängige Routenführung und Drohnensynchronisierung.
Studie: Audit-Reparatur-Kontext macht LLM-Prüfer nachsichtiger
Das arXiv-Paper berichtet von weniger Fehlalarmen, wenn zuvor Audit-Reparatur-Episoden im Modellkontext standen.
AlphaEvolve senkt Schranke für Matrixmultiplikation
Eine neue arXiv-Notiz meldet eine verbesserte obere Schranke für den Exponenten der Matrixmultiplikation.