Sete níveis, de com prompts a adaptativo. Todo nível acima do piso carrega critérios que se passam ou se falham, porque um nível descrito com adjetivos não situa ninguém. É cumulativo: você sustenta um nível só quando passa todo critério desse nível e dos abaixo.
Versão 1.0 · Atualizado 2026-08-27 · 7 níveis · 18 critérios
Cumulativo, não um menu. Um harness sustenta o nível 4 quando passa tudo dos níveis 1, 2, 3 e 4, não quando tem uma suite de avaliação. Sem essa regra cada um escolhe os degraus que já tem e o modelo deixa de situar alguém.
Todo critério é uma ação com um resultado. Se você não consegue executá-lo e obter uma resposta, ele não tem lugar aqui. A redação tem de propósito a mesma forma dos testes da Matriz de Controle: são a mesma classe de coisa.
Cada nível diz ainda o que continua quebrado se você parar ali. Essa metade é a honesta: níveis não são virtudes, são concessões que alguém fez de propósito.
Isto é autoavaliado, que é a forma mais fraca de avaliação que existe. O modelo é publicado para que os critérios possam ser discutidos, e o claim que o sustenta declara o que falsearia a ordem.
cumulativetheoreticallow
O claim em que se apoia: HE-CLAIM-006 — obtém-se por MCP com get_claim.
Uma pessoa conduz cada execução. O modelo é chamado à mão, os prompts vivem em janelas de chat e nas anotações de alguém, e de uma execução não sobrevive nada.
O piso. Não tem critérios próprios: é aqui que um harness está quando o nível 1 falha.
O que continua quebrado se você parar aqui
Nada é repetível, então nada pode ser melhorado. Duas pessoas que pedem a mesma coisa constroem dois sistemas diferentes, e nenhuma sabe dizer por que o seu funciona.
As chamadas estão em código e os prompts são artefatos versionados. Uma execução se reproduz a partir do repositório e não da memória de alguém.
Critérios
Pegue uma execução do mês passado e reproduza-a. O prompt, o modelo e os parâmetros saem todos do controle de versão.
Lê-se emACM-15
Mude um prompt. A mudança aparece como um diff com autor e data, e a versão anterior ainda pode ser recuperada.
Lê-se emACM-15
Pergunte qual versão do modelo serviu uma execução concreta. A resposta sai de um registro, não de uma suposição sobre o que estava em vigor naquela semana.
O que continua quebrado se você parar aqui
O agente ainda não pode agir sobre nada, então seu custo está limitado pela sua inutilidade. Parar aqui é uma decisão defensável; chamar de agente o que existe, não.
O agente atua sobre sistemas reais através de uma superfície de ferramentas declarada: todas listadas, delimitadas, com responsável, e recusadas do lado do servidor quando apontadas para onde não devem.
Critérios
Produza o catálogo de ferramentas. Toda ferramenta que o agente pode invocar está nele, com escopo escrito, se escreve e responsável nomeado.
Lê-se emACM-01
Para cada ferramenta, mostre sua credencial e o escopo dessa credencial no servidor. Não há duas ferramentas que compartilhem uma cujo alcance exceda o de qualquer uma delas.
Lê-se emACM-02
Invoque uma ferramenta que escreve com um destino fora de escopo. Ela é recusada pela própria fronteira da ferramenta, não pelo modelo se recusando.
O que continua quebrado se você parar aqui
O agente já pode causar dano e ainda nada limita quanto. Todo incidente a partir daqui é um incidente em um sistema que importa.
O harness impõe limites que não pede ao modelo que respeite: a saída é negar por padrão, o consumo é limitado pelo hospedeiro e o conteúdo não confiável é dado e não instrução.
Critérios
De dentro do ambiente do agente, solicite um host que não está na lista. Falha na camada de rede ou de proxy e a recusa chega como sinal de segurança, não como tempo esgotado.
Execute uma tarefa projetada para não terminar. Um teto a detém, a parada fica registrada e o custo da tentativa estava limitado e era conhecido antes de começar.
Lê-se emACM-07
Plante uma instrução dentro de um documento que o agente recupera. Ele pode lê-la; não deve agir sobre ela, e a tentativa fica visível depois.
O que continua quebrado se você parar aqui
O raio de impacto está delimitado e a qualidade não. O sistema falha de forma segura e ninguém sabe dizer se funciona.
A mudança passa por uma suite que alguém viu falhar. As regressões bloqueiam a publicação, a repetibilidade é um número e a lacuna entre o que o agente afirma e o que um verificador encontra está medida.
Critérios
Introduza uma regressão conhecida. A suite a detecta e a mudança não é publicada. Uma suite que ninguém viu falhar tem uma taxa de captura desconhecida, não perfeita.
Execute o conjunto de avaliação cinco vezes sem mudar nada e diga quantos casos chegaram ao mesmo veredito todas as vezes. O número existe e alguém o sabe.
Compare o que o agente afirmou em um conjunto de execuções com o que um verificador independente encontrou. A diferença é um número, e não se presume que seja zero.
O que continua quebrado se você parar aqui
A qualidade está medida e a responsabilidade não. Quando algo dá errado você pode provar que houve regressão, mas não quem a deixou passar.
A autoridade, a evidência e o escalonamento têm responsáveis. Uma execução pode ser reconstruída por alguém que não estava lá, as comportas existem porque um critério de risco as colocou ali e o modelo de ameaças é mais novo que o catálogo de ferramentas.
Critérios
Pegue uma execução passada ao acaso e reconstrua-a de ponta a ponta só com o registro, sem o operador original presente. Depois confirme que o registro não guarda nenhum segredo de que não precisava.
Liste as ações com comporta e o critério de risco que as colocou ali. Force um escalonamento; ele chega a uma pessoa nomeada dentro do tempo declarado, com o contexto necessário para agir.
Mostre o modelo de ameaças vigente e a data da última mudança no catálogo de ferramentas. Se o catálogo for mais novo, este critério falha e o nível não se sustenta.
Lê-se emACM-18
O que continua quebrado se você parar aqui
Está tudo no lugar e nada vence. O harness continuará impondo, no ano que vem, as compensações de que um modelo precisava no ano passado.
O harness muda com a evidência, inclusive removendo a si mesmo. Os componentes trazem escrito contra qual modelo foram validados e a condição que os aposentaria, e algo foi realmente aposentado.
Critérios
Nomeie um controle, uma regra de prompt ou um bloco de contexto removido nos dois últimos trimestres, e mostre a medição que justificou removê-lo. “Testamos sem ele e parecia ir bem” não é uma medição.
Mede-se comcvo
Para um componente que continua no lugar, diga contra qual modelo foi validado e sob qual condição seria removido. As duas coisas estão escritas, não lembradas.
Lê-se emACM-15
Mostre o custo por resultado corretamente verificado do mesmo conjunto de tarefas em duas gerações de modelo, cada uma com o harness de que aquela geração realmente precisava.
O que continua quebrado se você parar aqui
Aqui nada é estável, e esse é o ponto. Um harness que muda com a evidência precisa que a evidência seja boa, e toda métrica do scorecard pode ser falseada por quem está sendo medido com ela.