Scorecard do harness

O scorecard do harness

Uma fórmula e onze métricas, para que dois harnesses possam ser comparados por algo que não sejam adjetivos. A unidade principal é o custo por resultado corretamente verificado, não as execuções bem-sucedidas: isso é uma autodeclaração, e é justamente a única coisa que um harness quebrado ainda produz bem.

Versão 1.0 · Atualizado 2026-08-27 · 11 métricas

JSONLegível por máquina

A unidade

CVO = total cost of the run set / outcomes that passed independent verification

Numerador
Todo custo imputável ao conjunto de execuções: inferência, ferramentas, infraestrutura e o tempo humano gasto aprovando, corrigindo ou escalando. As tentativas fracassadas e abandonadas estão no numerador. Custaram dinheiro e aconteceram.
Denominador
Apenas os resultados que passaram por uma verificação que não compartilha modo de falha com o agente que os produziu. Execuções que terminaram não contam. As que o agente declarou bem-sucedidas também não.
O que torna um verificador independente
Um verificador é independente quando pode falhar em entradas nas quais o produtor acerta. Uma regra, um teste, um segundo sistema ou uma pessoa servem. O mesmo modelo a quem se pede que avalie a própria saída não: ele herda os pontos cegos que produziram o erro.
Por que não execuções bem-sucedidas
“Execuções bem-sucedidas” é uma autodeclaração, e é o número que todo fornecedor já publica. Conta que o agente termine, que é justamente a única coisa que um harness quebrado ainda faz bem. O custo por resultado corretamente verificado se recusa a mudar até que algo alheio ao agente dê o trabalho por feito.

HSC-01 · Custo por resultado corretamente verificado

O que isto é e o que não é

Isto é uma proposta, não um resultado medido. Nada foi executado contra um sistema real, nenhum limiar está calibrado, e as onze métricas foram escolhidas por argumento e não por descobrir quais delas predizem alguma coisa. O arquivo diz isso no seu próprio bloco de evidência: teórico, confiança baixa.

É publicado para que possa ser discutido. O claim em que se apoia declara o que o falsearia, e no dia em que uma medição o contradisser, ganha a medição.

theoreticallow

O claim em que se apoia: HE-CLAIM-005 — obtém-se por MCP com get_claim.

As métricas

Resultado

HSC-01

Custo por resultado corretamente verificado

currency/outcomeMelhor quando é menor

Todo custo imputável a um conjunto de execuções — inferência, ferramentas, infraestrutura e o tempo humano gasto aprovando, corrigindo ou escalando — dividido pelo número de resultados que passaram por uma verificação independente.

Como se mede

Fixe o conjunto de tarefas e o verificador antes de executar qualquer coisa. Some o custo do conjunto inteiro, tentativas fracassadas incluídas. Divida pelos resultados que o verificador aprovou, não pelas execuções que terminaram.

Como se falseia

Estreitar o que conta como resultado, ou deixar que o próprio relato do agente valha como verificação. As duas coisas encolhem a honestidade do denominador, não o custo do numerador.

Lê-se emACM-11

HSC-02

Taxa de rendimento verificado

percentMelhor quando é maior

A proporção de tarefas tentadas que produzem um resultado que passa por verificação independente.

Como se mede

Tentativas no denominador, resultados verificados no numerador. Uma tentativa abandonada por tempo esgotado continua sendo uma tentativa, e uma execução que o agente desistiu também.

Como se falseia

Tentar apenas as tarefas que o harness já resolve. Uma taxa de rendimento sem conjunto de tarefas declarado é um número sobre o conjunto de tarefas, não sobre o harness.

Lê-se emACM-11

HSC-03

Lacuna de verificação

percentage pointsMelhor quando é menor

A taxa de sucesso autodeclarada menos a verificada de forma independente, em pontos percentuais. Mede se o harness consegue saber que teve sucesso.

Como se mede

Registre o que o agente afirmou em cada execução e o que o verificador encontrou, e subtraia. Informe o sinal: um harness que se subestima tem um problema diferente do que se superestima, não um menor.

Como se falseia

Parar de pedir ao agente que se autoavalie. A lacuna desaparece, e com ela o único sinal de que o harness não distingue sucesso de fracasso.

Lê-se emACM-10ACM-11

Custo e esforço

HSC-04

Tokens por resultado verificado

tokens/outcomeMelhor quando é menor

Tokens de modelo, de entrada e de saída, em todas as tentativas, divididos pelos resultados verificados. O número de custo que não se move quando um fornecedor muda sua tabela de preços.

Como se mede

Conte os tokens do conjunto inteiro de execuções, retentativas e tentativas abandonadas incluídas. Informe o modelo e sua versão ao lado; sem isso o número não compara nada.

Como se falseia

Tirar trabalho do modelo e colocá-lo numa ferramenta que ninguém conta ou numa revisão humana mais longa. Os tokens caem e o custo real não.

HSC-05

Intervenções humanas por resultado verificado

interventions/outcomeMelhor quando é menor

Aprovações, escalonamentos e correções manuais por resultado verificado. Não se há uma pessoa no laço, mas com que frequência o laço se fecha sobre uma.

Como se mede

Conte todo evento que exigiu que uma pessoa agisse antes de o resultado poder valer. Aprovações de carimbo contam: o que se mede é a demanda sobre as pessoas, não a qualidade da atenção delas.

Como se falseia

Tirar as comportas. A taxa cai a zero e nada do harness melhorou; por isso esta métrica é lida junto à lacuna de verificação e nunca sozinha.

Lê-se emACM-08ACM-09

HSC-06

Tempo até resultado verificado

secondsMelhor quando é menor

Tempo de relógio desde que uma tarefa é aceita até seu resultado passar pela verificação, incluída a espera diante de qualquer etapa humana.

Como se mede

Informe a mediana e o percentil 95, ou não informe: uma cauda longa de execuções travadas é exatamente o que uma média esconde.

Como se falseia

Medir até o agente terminar e não até a verificação passar. A fila diante de um revisor humano é onde as horas realmente estão.

Lê-se emACM-07

Confiabilidade

HSC-07

Banda de determinismo

percentMelhor quando é maior

A proporção do conjunto de avaliação que chega ao mesmo veredito verificado em execuções repetidas da mesma entrada, com o harness sem mudanças.

Como se mede

Execute o conjunto inteiro pelo menos cinco vezes e declare N. Um caso está dentro da banda quando todas as repetições caem no mesmo veredito, não quando a média sai bem.

Como se falseia

Executar uma única vez e informar a pontuação. Um número de uma única execução contém a resposta desta métrica e a esconde.

Lê-se emACM-11

HSC-08

Taxa de recuperação

percentMelhor quando é maior

Das execuções que sofreram uma falha — erro de ferramenta, recusa, tempo esgotado, plano rejeitado —, a proporção que ainda assim chega a um resultado verificado.

Como se mede

A falha tem de estar visível no rastro para poder ser contada, então isto não se calcula sem rastro correlacionado. Nunca ter falhado não é recuperar-se e não deve ser contado como tal.

Como se falseia

Silenciar as falhas em vez de se recuperar delas. Um laço de retentativas que engole um erro de ferramenta sobe este número e a lacuna de verificação ao mesmo tempo.

Lê-se emACM-10

HSC-09

Razão de contenção

percentMelhor quando é maior

A proporção das ações do harness que escrevem, são irreversíveis ou reguladas e que estão atrás de um controle ao mesmo tempo de pré-alimentação e determinístico.

Como se mede

Liste as ações a partir do catálogo de ferramentas, nomeie o controle que detém cada uma e leia os dois eixos desse controle na Matriz de Controle Agêntico. Comportas decididas por critério não contam aqui: essas são contadas pela taxa de intervenção humana.

Como se falseia

Reclassificar ações como reversíveis. A razão sobe e o raio de impacto não se move.

Lê-se emACM-01ACM-03ACM-17

Evidência

HSC-10

Reconstrutibilidade

percentMelhor quando é maior

De uma amostra aleatória de execuções passadas, a proporção que pode ser reconstruída de ponta a ponta só com o registro: entradas, modelo, chamadas de ferramentas, resultado.

Como se mede

Amostre execuções que ninguém escolheu e reconstrua-as sem perguntar à equipe e sem o operador original presente. Uma execução que precisa de alguém para explicá-la não passou.

Como se falseia

Amostrar as execuções que já se sabe estarem limpas, ou registrar tudo, segredos incluídos. Isto é lido junto com se o registro guarda dados de que nunca precisou.

Lê-se emACM-10

HSC-11

Taxa de captura de regressões

percentMelhor quando é maior

Dos defeitos plantados de propósito no sistema, a proporção que a suite de avaliação detecta antes de publicar.

Como se mede

Plante os tipos de defeito que você de fato teme, um de cada vez, e rode a suite com cada um. Uma suite que ninguém viu falhar tem uma taxa de captura desconhecida, não perfeita.

Como se falseia

Plantar os defeitos a partir dos quais a suite foi escrita. A taxa sobe a 100 % e não mede mais que a memória de quem a escreveu.

Lê-se emACM-11

O que um resultado tem de declarar

Um número sem isso não é comparável com outro número. O HarnessBench informa os seis ou não informa nada.

  • modelO modelo e sua versão exata
  • task_setO conjunto de tarefas e de onde veio
  • verifierO verificador e por que é independente do agente
  • repeatsQuantas vezes o conjunto foi executado
  • dateA data em que foi executado
  • cost_basisO que a cifra de custo inclui, tempo humano incluído