Die Harness Scorecard

Wie man es misst

Legen Sie das Aufgabenset und den Verifizierer fest, bevor Sie etwas ausführen. Summieren Sie die Kosten des gesamten Sets, einschließlich fehlgeschlagener Versuche. Teilen Sie durch die vom Verifizierer freigegebenen Ergebnisse, nicht durch die abgeschlossenen Runs.

Wie man es misst

Versuche im Nenner, verifizierte Ergebnisse im Zähler. Ein wegen eines Timeouts abgebrochener Versuch ist immer noch ein Versuch, und ein Run, den der Agent aufgegeben hat, ist ebenfalls ein Versuch.

Wie man es misst

Erfassen Sie für jeden Run, was der Agent behauptet hat und was der Verifizierer festgestellt hat, und subtrahieren Sie dies dann. Geben Sie das Vorzeichen an: Ein Harness, das zu wenig meldet, hat ein anderes Problem als eines, das zu viel meldet, kein kleineres.

Wie man es misst

Zählen Sie die Token für das gesamte Run-Set – einschließlich Wiederholungen und abgebrochener Versuche. Geben Sie das Modell und seine Version mit an; ohne diese lässt sich mit der Zahl nichts vergleichen.

Wie man es misst

Zählen Sie jedes Ereignis, das eine menschliche Aktion erforderte, bevor das Ergebnis gültig war. Reine Formsache-Freigaben zählen mit: Gemessen wird die Beanspruchung der Personen, nicht die Qualität ihrer Aufmerksamkeit.

Wie man es misst

Geben Sie den Median und das 95. Perzentil an, oder lassen Sie es ganz bleiben: Ein langer Tail von feststeckenden Runs ist genau das, was ein Mittelwert verbirgt.

Wie man es misst

Führen Sie das gesamte Set mindestens fünfmal aus und deklarieren Sie N. Ein Fall liegt innerhalb des Bands, wenn jede Wiederholung zum selben Ergebnis führt – nicht, wenn der Durchschnitt gut ist.

Wie man es misst

Der Fehler muss im Trace sichtbar sein, bevor er gezählt werden kann. Daher kann dies nicht ohne einen korrelierten Run-Trace berechnet werden. Niemals fehlgeschlagen zu sein, ist keine Recovery und darf nicht als solche gezählt werden.

Wie man es misst

Listen Sie die Aktionen aus dem Tool-Katalog auf, nennen Sie die Kontrolle, die die jeweilige Aktion stoppt, und lesen Sie die beiden Achsen dieser Kontrolle aus der Agentic Control Matrix ab. Durch Ermessensentscheidungen bestimmte Gates zählen hier nicht – diese werden durch die Quote menschlicher Eingriffe erfasst.

Wie man es misst

Wählen Sie stichprobenartig Runs aus, die niemand gezielt ausgesucht hat, und rekonstruieren Sie diese, ohne das Team zu fragen und ohne dass der ursprüngliche Operator anwesend ist. Ein Run, der eine Person zur Erklärung benötigt, hat nicht bestanden.

Wie man es misst

Bauen Sie nacheinander genau die Arten von Fehlern ein, die Sie tatsächlich befürchten, und führen Sie die Suite für jeden einzelnen aus. Eine Suite, bei der noch nie ein Fehlschlag beobachtet wurde, hat eine unbekannte Erkennungsrate, keine perfekte.