Agentic Control Matrix

L'Agentic Control Matrix

Dix-huit contrôles mettant en correspondance les exigences de l'EU AI Act, d'ISO/IEC 42001, du NIST AI RMF, de l'OWASP LLM Top 10 et de MITRE ATLAS avec les composants du harness qui les implémentent — chacun accompagné du test qui détermine si vous en disposez réellement.

Version 1.2 · Mis à jour 2026-08-27 · 18 contrôles

JSONCSVMême source, trois formats. CC BY 4.0 — citez-le et utilisez-le.

Frameworks cartographiés

Cité par: article

18 contrôles le citent

eur-lex.europa.eu

Cité par: groupe de clauses de l'Annexe A

18 contrôles le citent

www.iso.org

Cité par: fonction principale

18 contrôles le citent

www.nist.gov

Cité par: entrée

18 contrôles le citent

genai.owasp.org
MITRE ATLASframework

Cité par: tactique

16 contrôles le citent

atlas.mitre.org

Comment lire ce document

Chaque ligne représente un contrôle : ce qu'il exige, à quels référentiels il répond, quels patterns l'implémentent et comment savoir si vous en disposez. Le test est l'élément clé — un contrôle que vous n'avez jamais tenté de mettre en échec est un contrôle sur lequel vous n'avez qu'une opinion.

La granularité de la correspondance varie selon la source et est déclarée par référentiel, car les sources ne sont pas toutes aussi précises. Citer une sous-catégorie du NIST comme s'il s'agissait d'un numéro d'article paraîtrait plus rigoureux mais serait moins exact.

Ces correspondances sont interprétatives. Elles représentent la lecture qu'un ingénieur fait de la manière dont une exigence s'applique à l'architecture d'un agent, publiée afin de pouvoir être discutée et corrigée. Rien ici ne constitue un conseil juridique ni ne certifie quoi que ce soit.

Tout sur cette page est généré à partir d'un seul fichier JSON, et chaque référence est validée par rapport au corpus lors de chaque build — ainsi, un contrôle ne peut pas citer un modèle, une unité de connaissance ou un framework qui n'existe pas.

Le second axe

Les groupes indiquent où un contrôle agit. Ils ne disent pas comment il régule le comportement, et deux contrôles d'un même groupe peuvent fonctionner de manières qui n'ont rien en commun. Ainsi, chaque contrôle déclare deux éléments supplémentaires : quand il agit, et ce qui décide de son verdict.

Le feedforward agit sur l'entrée — ce qui peut exister, ce qui peut être appelé, ce qui peut être atteint — et ne mesure jamais le résultat. Le feedback mesure ce que le système a réellement fait et agit sur cette mesure. Le moment est relatif à l'action que le contrôle protège : encoder la sortie d'un modèle avant qu'elle n'atteigne un shell est du feedforward pour le shell, quoi qu'il en soit pour le modèle.

Déterministe signifie que le verdict découle d'une règle qui ne dépend de l'interprétation de personne — une même situation est tranchée de la même manière à chaque fois. Inférentiel signifie qu'il découle d'un jugement, qu'il s'agisse de celui d'un modèle ou d'une personne, et qu'une même situation peut alors être tranchée de deux manières différentes.

Aucun des deux axes n'a de bon côté. Un contrôle déterministe ne peut pas évaluer un cas pour lequel il n'a pas été conçu, contrairement à un contrôle inférentiel. Mais un risque dont le seul contrôle est à la fois inférentiel et basé sur le feedback ne dispose de rien pour le prévenir, ni de rien pour trancher de manière identique à deux reprises — et c'est un fait de conception, pas une opinion.

feedforwarddéterministe8 contrôles
feedforwardinférentiel2 contrôles
feedbackdéterministe3 contrôles
feedbackinférentiel5 contrôles

Ce que dit la distribution

Calculé à partir des contrôles, non écrit à la main : ces groupes prennent une valeur unique sur un axe. Une partie relève de la définition — la preuve intervient après coup par construction. Une autre partie constitue le constat.

  • Autorisations et portéeAgitfeedforward3 contrôles
  • Flux sortants et expositionDécidé pardéterministe3 contrôles
  • Supervision humaineDécidé parinférentiel2 contrôles
  • PreuvesAgitfeedback2 contrôles

Ce qui mettrait fin à chaque contrôle

Un harness n'est pas bon de manière monotone. Une règle écrite pour compenser une limitation que le modèle suivant n'a pas continue de consommer des tokens pour lui enseigner ce qu'il sait déjà. Un bloc de contexte conservé depuis l'époque où la fenêtre était limitée est toujours présent. Une surface d'outils restreinte pour un modèle plus ancien limite toujours ce qu'un meilleur modèle peut tenter. Aucun de ces éléments ne se manifeste de lui-même, car un composant de harness n'a pas de date d'expiration à moins que quelqu'un n'en ait défini une.

Ainsi, chaque contrôle déclare ses hypothèses concernant le modèle et la condition sous laquelle il devrait être retiré. Les décomptes ci-dessous sont dérivés de ces conditions, et non affirmés arbitrairement — et ils pointent dans les deux sens : une grande partie de cette matrice n'expire pas du tout en fonction des capacités. Une origine non validée ne devient pas sûre simplement parce que le modèle s'est amélioré.

Le chiffre inconfortable est le second. Une condition de retrait par rapport à laquelle personne n'a effectué de mesure est une hypothèse séduisante mais non vérifiée, et le champ est défini sur null dans chaque ligne plutôt que d'être omis, de sorte que l'écart est affiché au lieu d'être masqué.

un nombre y met fin4 contrôles
la plateforme l'absorbe7 contrôles
pas pour des raisons de capacité7 contrôles

18/18

Jamais validé

Contrôles dont la condition de retrait n'a jamais été mesurée par rapport à une génération de modèle spécifique.

0/18

Ne fait varier aucune métrique

Contrôles qui ne font varier aucune métrique sur le scorecard, de sorte que leur valeur ne peut être déduite d'aucun chiffre.

Autorisations et portée

ACM-01

Catalogue d'outils délimité

feedforwardinférentiella plateforme l'absorbe

Chaque outil que l'agent peut appeler est répertorié, avec sa portée, s'il effectue des écritures, et ce qu'un attaquant gagne à l'appeler. Un outil que personne n'a documenté est une permission que personne n'a examinée.

Pourquoi ce quadrant: Il limite ce qui peut exister avant toute exécution, mais rien ne garantit son exhaustivité : un catalogue ne vaut que par la rigueur de celui qui l'a rédigé.

Répond à

  • EU AI Act: Art. 9, Art. 14, Art. 26
  • ISO/IEC 42001: A.6 AI system life cycle, A.9 Use of AI systems
  • NIST AI Risk Management Framework 1.0: GOVERN, MAP
  • OWASP Top 10 for LLM Applications: LLM06 Excessive Agency
  • MITRE ATLAS: Initial Access, Privilege Escalation

Comment le tester

Produire le catalogue. Chaque entrée possède une portée écrite et un propriétaire désigné, et rien de ce que l'agent peut appeler n'y manque.

Suppose

Que personne ne peut garder en tête toute la surface des outils, et que cette surface change plus vite que la mémoire humaine.

Retirer quand

L'environnement d'exécution peut énumérer à la demande chaque outil appelable avec sa portée et son propriétaire, moment auquel un document maintenu devient une copie redondante d'une information que la plateforme possède déjà.

Devrait faire évoluercontain

ACM-02

Identifiants par outil à portée minimale

feedforwarddéterministela plateforme l'absorbe

Chaque outil détient son propre identifiant, émis avec la portée la plus restreinte prise en charge par le système en amont. Un outil en lecture seule adossé à un jeton d'administration n'est qu'à un bug près de devenir un outil d'écriture.

Pourquoi ce quadrant: La portée est appliquée en amont, côté entrée : un appel en dehors de celle-ci échoue de la même manière à chaque fois, peu importe l'intention du modèle.

Répond à

  • EU AI Act: Art. 15, Art. 26
  • ISO/IEC 42001: A.4 Resources for AI systems, A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: GOVERN, MANAGE
  • OWASP Top 10 for LLM Applications: LLM06 Excessive Agency, LLM02 Sensitive Information Disclosure
  • MITRE ATLAS: Credential Access, Privilege Escalation

Comment le tester

Pour chaque outil, afficher l'identifiant et sa portée côté serveur. Aucun outil ne partage un identifiant dont la portée dépasse celle requise par l'un ou l'autre.

Suppose

Que les systèmes en amont émettent des identifiants plus restreints que le compte global, et qu'un outil compromis est un événement plausible.

Retirer quand

Les appels d'outils portent une autorisation par appel et par utilisateur que le système en amont évalue, ne laissant aucun identifiant à longue durée de vie avec des privilèges excessifs.

Devrait faire évoluercontain

ACM-03

Listes d'autorisation de paramètres

feedforwarddéterministela plateforme l'absorbe

Les cibles qu'un outil peut viser — chemins, dépôts, tables, comptes, destinataires — sont contraintes côté serveur, de sorte qu'un agent détourné ne puisse pas rediriger un outil légitime vers une cible illégitime.

Pourquoi ce quadrant: Il inspecte l'argument avant que l'appel ne se produise, et refuse par règle plutôt que par opinion.

Répond à

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: MANAGE
  • OWASP Top 10 for LLM Applications: LLM01 Prompt Injection, LLM06 Excessive Agency
  • MITRE ATLAS: Execution, Impact

Comment le tester

Appeler chaque outil capable d'écriture avec une cible hors de portée. L'appel est refusé par la propre limite de l'outil, et non par un refus du modèle.

Suppose

Que le modèle peut être incité à diriger un outil légitime vers une cible illégitime, et que le système en amont ne l'en empêchera pas.

Retirer quand

Le système en amont applique la même contrainte via son propre modèle d'autorité, moment auquel la liste d'autorisation devient un doublon risquant de diverger de celui-ci.

Devrait faire évoluercontain

Flux sortants et exposition

ACM-04

Sortie interdite par défaut

feedforwarddéterministepas pour des raisons de capacité

Le trafic sortant n'atteint que les destinations désignées ; tout le reste est refusé. Chaque chemin d'exfiltration se termine par une requête sortante, c'est donc le contrôle qui fonctionne encore une fois que le modèle a été convaincu.

Pourquoi ce quadrant: La destination est vérifiée avant le départ de la requête ; aucun résultat n'est mesuré et aucun jugement n'intervient.

Répond à

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.6 AI system life cycle, A.7 Data for AI systems
  • NIST AI Risk Management Framework 1.0: MANAGE
  • OWASP Top 10 for LLM Applications: LLM02 Sensitive Information Disclosure, LLM01 Prompt Injection
  • MITRE ATLAS: Exfiltration, Collection

Comment le tester

Depuis l'environnement de l'agent, demandez un hôte qui ne figure pas sur la liste. La requête échoue au niveau de la couche réseau ou du proxy, et le refus est consigné dans les journaux.

Suppose

Que chaque chemin d'exfiltration se termine par une requête sortante, et que l'ensemble des destinations légitimes est connaissable à l'avance.

Retirer quand

Pas pour des raisons de capacité. Retirez-le lorsque l'agent n'a plus rien qui vaille la peine d'être exfiltré — ce qui est une affirmation sur les données, pas sur le modèle.

Devrait faire évoluercontain

ACM-05

Le refus de sortie est une alerte, pas une erreur

feedbackdéterministela plateforme l'absorbe

Les requêtes sortantes refusées sont consignées comme signal de sécurité et transmises à un humain. Un refus est l'un des rares signaux d'attaque non ambigus qu'une pile d'agents produit, et il perd toute valeur s'il se retrouve dans la même catégorie qu'un dépassement de délai.

Pourquoi ce quadrant: Il agit sur un événement déjà survenu — un refus — et se déclenche systématiquement selon une règle pour chacun d'eux.

Répond à

  • EU AI Act: Art. 12, Art. 72
  • ISO/IEC 42001: A.6 AI system life cycle, Clause 9 Performance evaluation
  • NIST AI Risk Management Framework 1.0: MEASURE, MANAGE
  • OWASP Top 10 for LLM Applications: LLM02 Sensitive Information Disclosure
  • MITRE ATLAS: Exfiltration

Comment le tester

Déclenchez un refus. Il doit apparaître comme un événement distinct et alertable contenant la destination et l'agent appelant, et non comme une erreur réseau générique.

Suppose

Qu'une requête sortante refusée est suffisamment rare pour constituer un signal plutôt que du bruit.

Retirer quand

La plateforme signale d'elle-même les refus comme des événements de sécurité, ou les refus deviennent routiniers — ce qui signifie que la liste d'autorisation est incorrecte, et non l'alerte.

Devrait faire évoluerrecon

ACM-16

Validation du transport et de l'origine sur les points de terminaison exposés

feedforwarddéterministepas pour des raisons de capacité

Un point de terminaison d'agent accessible de l'extérieur valide son transport avant d'effectuer tout travail : l'origine est vérifiée par rapport à une liste d'autorisation, les appels intersites initiés par un navigateur sont rejetés, et chaque appelant est limité en débit avec une véritable erreur 429.

Pourquoi ce quadrant: La requête est évaluée par son en-tête Origin avant l'exécution de tout gestionnaire ; le même appel reçoit la même réponse à chaque fois.

Répond à

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: MANAGE
  • OWASP Top 10 for LLM Applications: LLM10 Unbounded Consumption, LLM06 Excessive Agency
  • MITRE ATLAS: Initial Access, AI Model Access

Comment le tester

Appelez le point de terminaison avec un Origin étranger et sans Origin. Le premier est rejeté avant l'exécution de tout gestionnaire ; le second est traité et comptabilisé dans la limite de l'appelant.

Suppose

Que le point de terminaison est accessible de l'extérieur, et que des navigateurs y seront orientés par la page de quelqu'un d'autre.

Retirer quand

Le point de terminaison cesse d'être accessible de l'extérieur. Un meilleur modèle ne rend pas pour autant un Origin non validé sûr.

Devrait faire évoluercontain

Exécution

ACM-06

Exécution éphémère et sans identifiants

feedforwarddéterministela plateforme l'absorbe

Tout ce que l'agent génère ou invoque s'exécute dans un environnement créé par tâche et détruit ensuite, sans conserver d'identifiants ambiants. La persistance est le moyen par lequel une compromission ponctuelle devient un point d'ancrage.

Pourquoi ce quadrant: L'environnement est construit sans les identifiants avant le début de la tâche ; il n'y a rien à mesurer ni à décider.

Répond à

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: MANAGE
  • OWASP Top 10 for LLM Applications: LLM05 Improper Output Handling, LLM03 Supply Chain
  • MITRE ATLAS: Execution, Persistence

Comment le tester

Au cours d'une tâche active, énumérez l'environnement. Aucun identifiant non requis par la tâche n'est présent, et l'environnement ne survit pas à la tâche.

Suppose

Qu'une compromission d'une tâche ne doit pas se propager à la suivante, et que le coût de configuration est inférieur au coût de la persistance.

Retirer quand

Les environnements d'exécution sont par appel et sans identifiants par construction, de sorte que le caractère « éphémère » cesse d'être une option désactivable.

Devrait faire évoluercontain

ACM-07

Limites de ressources et dépassements de délai

feedbackdéterministepas pour des raisons de capacité

Le processeur, la mémoire, le disque, le temps réel écoulé et le nombre d'appels sont limités par l'hôte. La consommation incontrôlée est le mode de défaillance qui survient en premier et le plus souvent, généralement sans qu'aucun adversaire ne soit impliqué.

Pourquoi ce quadrant: Une limite est une boucle de rétroaction au sens strict : elle mesure la consommation en temps réel et agit lorsqu'un seuil est franchi.

Répond à

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.4 Resources for AI systems, Clause 8 Operation
  • NIST AI Risk Management Framework 1.0: MEASURE, MANAGE
  • OWASP Top 10 for LLM Applications: LLM10 Unbounded Consumption
  • MITRE ATLAS: Impact

Comment le tester

Exécutez une tâche conçue pour ne pas se terminer. Elle est arrêtée par un quota, l'arrêt est enregistré, et le coût de la tentative est limité et connu.

Suppose

Qu'un agent consommera sans limite si rien ne l'arrête, avec ou sans adversaire.

Retirer quand

Pas pour des raisons de capacité. La consommation incontrôlée est une propriété des boucles, et les meilleurs modèles tentent des tâches plus longues plutôt que plus courtes.

Devrait faire évoluertvtcvotvo

ACM-17

Réversibilité et contrôle d'arrêt

feedbackinférentielun nombre y met fin

Chaque action que l'agent peut entreprendre est soit réversible, soit soumise à validation, et une personne peut arrêter l'agent en cours d'exécution sans arrêter l'ensemble du système. L'autonomie sans interrupteur d'arrêt n'est pas de l'autonomie, c'est de l'exposition.

Pourquoi ce quadrant: Quelqu'un doit surveiller et décider que cette exécution doit se terminer ; le mécanisme est déterministe, le déclencheur ne l'est pas.

Répond à

  • EU AI Act: Art. 14, Art. 15, Art. 26
  • ISO/IEC 42001: Clause 8 Operation, Clause 10 Improvement
  • NIST AI Risk Management Framework 1.0: MANAGE
  • OWASP Top 10 for LLM Applications: LLM06 Excessive Agency
  • MITRE ATLAS: Impact

Comment le tester

Arrêtez un agent en cours d'exécution. Il s'interrompt dans le délai imparti, ne laisse aucune modification appliquée à moitié, et l'arrêt est enregistré avec l'identité de son auteur.

Suppose

Qu'une exécution peut mal tourner d'une manière qu'une personne remarque avant le harness.

Retirer quand

L'écart de vérification atteint zéro et le taux de récupération est à parité sans cela — ce qui signifie que le harness remarque ses propres défaillances au moins aussi vite que la personne qui surveille. Rien dans ce corpus ne mesure cela aujourd'hui.

Devrait faire évoluercontainrecov

Supervision humaine

ACM-08

Porte d'approbation pour les actions à fort impact

feedforwardinférentielun nombre y met fin

Les actions irréversibles, réglementées ou coûteuses s'interrompent dans l'attente d'une personne capable d'approuver, de modifier ou de rejeter, avec suffisamment de contexte pour décider. Filtrez par risque, pas par défaut — un excès de contrôle conduit à une approbation automatique systématique, ce qui est pire que l'absence de contrôle car cela en donne l'illusion.

Pourquoi ce quadrant: Il arrête l'action avant qu'elle ne se produise, mais cette interruption attend la décision d'une personne, et un même cas peut être tranché de deux manières différentes.

Répond à

  • EU AI Act: Art. 14, Art. 26
  • ISO/IEC 42001: A.9 Use of AI systems, A.5 Assessing impacts of AI systems
  • NIST AI Risk Management Framework 1.0: GOVERN, MANAGE
  • OWASP Top 10 for LLM Applications: LLM06 Excessive Agency
  • MITRE ATLAS: Impact

Comment le tester

Listez les actions contrôlées et le critère de risque qui les y a placées. Tentez-en une ; elle doit se suspendre, être acheminée et enregistrer la décision ainsi que l'identité de son auteur.

Suppose

Que le jugement du modèle sur les actions à fort impact est inférieur à celui d'une personne, et qu'une personne disposant du contexte décide mieux qu'une règle.

Retirer quand

L'écart de vérification sur les types d'actions contrôlés atteint zéro sur un ensemble de tâches suffisamment large pour être fiable. Au-delà de ce point, le contrôle ne fait qu'acheter des approbations automatiques au prix de la latence.

Devrait faire évoluervgaphir

ACM-09

Voie d'escalade avec un responsable désigné

feedbackinférentielun nombre y met fin

Lorsque l'agent est incertain, bloqué ou hors politique, il existe une voie définie vers une personne, et cette personne est désignée. Une voie d'escalade sans responsable n'est qu'une file d'attente.

Pourquoi ce quadrant: Elle se déclenche sur un état que l'exécution a déjà atteint — incertain, bloqué, hors politique — et la suite relève d'un jugement.

Répond à

  • EU AI Act: Art. 14
  • ISO/IEC 42001: A.9 Use of AI systems
  • NIST AI Risk Management Framework 1.0: GOVERN, MANAGE
  • OWASP Top 10 for LLM Applications: LLM09 Misinformation

Comment le tester

Forcez une escalade. Elle doit atteindre un humain désigné dans le délai imparti, et le transfert doit transmettre le contexte nécessaire pour agir sans avoir à le reconstituer.

Suppose

Que l'agent peut reconnaître qu'il est bloqué ou hors politique, et qu'une personne peut le débloquer.

Retirer quand

Le taux de récupération est identique avec ou sans la voie d'escalade, mesuré sur les défaillances qui se produisent réellement plutôt que sur celles anticipées.

Devrait faire évoluerrecovhir

Preuves

ACM-10

Trace corrélée de chaque décision et appel d'outil

feedbackdéterministepas pour des raisons de capacité

Chaque exécution produit un enregistrement immuable et corrélé : entrées, modèle et version, appels d'outils avec arguments et résultats, et action finale. Suffisamment pour reconstruire ce qui s'est passé, sans rien qui puisse transformer le journal lui-même en faille de sécurité.

Pourquoi ce quadrant: Mesure pure a posteriori : elle ne change rien à l'exécution qu'elle enregistre, et elle enregistre systématiquement selon une règle.

Répond à

  • EU AI Act: Art. 12, Art. 19, Art. 72
  • ISO/IEC 42001: Clause 9 Performance evaluation, A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: MEASURE, MANAGE
  • OWASP Top 10 for LLM Applications: LLM02 Sensitive Information Disclosure
  • MITRE ATLAS: Discovery, Collection

Comment le tester

Choisissez une exécution passée au hasard et reconstruisez-la de bout en bout uniquement à partir du journal. Confirmez ensuite que le journal ne contient aucun secret ni donnée personnelle brute non nécessaire.

Suppose

Que quelque chose devra être reconstruit plus tard par quelqu'un qui n'était pas présent.

Retirer quand

Pas pour des raisons de capacité. C'est le contrôle à partir duquel toutes les autres mesures sont calculées ; le supprimer revient à s'enlever la possibilité de savoir si la suppression de tout autre élément était une bonne idée.

Devrait faire évoluerrecon

ACM-11

Suite d'évaluation contrôlant les modifications

feedbackinférentielpas pour des raisons de capacité

Un ensemble sélectionné de cas est exécuté à chaque modification, et toute régression bloque la publication. Sans cela, « cela semble fonctionner » constitue l'unique argument de qualité, et rien ne distingue une correction d'une modification.

Pourquoi ce quadrant: Elle mesure les résultats que le système a déjà produits, et ce qui constitue une régression dans les résultats agentiques relève du jugement — la suite couvre les cas qui ont été choisis.

Répond à

  • EU AI Act: Art. 9, Art. 15, Art. 17
  • ISO/IEC 42001: A.6 AI system life cycle, Clause 9 Performance evaluation
  • NIST AI Risk Management Framework 1.0: MEASURE
  • OWASP Top 10 for LLM Applications: LLM09 Misinformation

Comment le tester

Introduisez une régression connue. La suite la détecte et la modification n'est pas déployée. Une suite que l'on n'a jamais vue échouer est une suite qui n'a jamais été vérifiée.

Suppose

Que les modifications entraînent des régressions de comportement de manière imprévisible, et qu'un ensemble sélectionné en détecte davantage que le simple jugement.

Retirer quand

Pas en tant que catégorie. Les cas individuels sont constamment retirés : un cas qu'aucune modification n'a fait échouer en deux ans mesure le passé, et le conserver contribue à rendre les suites coûteuses sans pour autant les améliorer.

Devrait faire évoluercatchdband

Cycle de vie et entrées

ACM-12

Le contenu non approuvé est isolé et marqué

feedforwarddéterministeun nombre y met fin

Les documents récupérés, les résultats d'outils et les sorties tierces sont délimités en tant que données, et ne sont jamais fusionnés dans le canal d'instructions. Le modèle ne peut pas les distinguer de manière fiable, c'est donc au harness de le faire.

Pourquoi ce quadrant: La délimitation s'effectue sur l'entrée, avant que le modèle ne la lise, et elle s'applique à chaque document sans se soucier de son contenu.

Répond à

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.6 AI system life cycle, A.7 Data for AI systems
  • NIST AI Risk Management Framework 1.0: MAP, MANAGE
  • OWASP Top 10 for LLM Applications: LLM01 Prompt Injection
  • MITRE ATLAS: Initial Access, AI Attack Staging

Comment le tester

Introduisez une instruction dans un document que l'agent récupère. L'agent peut la lire ; il ne doit pas l'exécuter, et la tentative doit être visible par la suite.

Suppose

Que le modèle ne peut pas distinguer de manière fiable les instructions des données au sein de sa propre fenêtre de contexte.

Retirer quand

Les cas d'injection de la suite d'évaluation cessent de réussir lorsque ce contrôle est supprimé — mesuré, et non simplement annoncé. Cela signifierait que la séparation est appliquée en dessous du prompt plutôt qu'à l'intérieur de celui-ci.

Devrait faire évoluervyr

ACM-13

La sortie du modèle est traitée comme une entrée non approuvée

feedforwarddéterministepas pour des raisons de capacité

Tout ce que le modèle émet et qui atteint un moteur de rendu, un interpréteur de commandes (shell), une requête ou un autre système est encodé et validé exactement comme le serait une entrée provenant d'un inconnu.

Pourquoi ce quadrant: Le moment est relatif à l'action protégée : l'encodage agit sur l'entrée du récepteur (sink), avant que celui-ci n'en fasse quoi que ce soit.

Répond à

  • EU AI Act: Art. 15, Art. 50
  • ISO/IEC 42001: A.8 Information for interested parties
  • NIST AI Risk Management Framework 1.0: MEASURE, MANAGE
  • OWASP Top 10 for LLM Applications: LLM05 Improper Output Handling, LLM07 System Prompt Leakage
  • MITRE ATLAS: Defense Evasion

Comment le tester

Faites en sorte que le modèle émette une charge utile pour chaque récepteur (sink) en aval dont vous disposez. Chacune est neutralisée à la frontière avant son arrivée.

Suppose

Que les récepteurs (sinks) en aval font confiance à ce qui leur parvient, et que le modèle émettra tout ce vers quoi il a été orienté.

Retirer quand

Pas pour des raisons liées au modèle. C'est une propriété du récepteur (sink), pas du producteur : le même encodage serait requis si une personne physique avait saisi la chaîne.

Devrait faire évoluervyr

ACM-14

Intégrité et expiration de la mémoire

feedbackinférentiella plateforme l'absorbe

Ce que l'agent écrit dans la mémoire persistante est attribué, révisable et sujet à expiration. La mémoire est ce qui transforme une attaque ponctuelle en une attaque qui se déclenche à nouveau lors de tâches futures et sans rapport.

Pourquoi ce quadrant: Son action s'exerce sur ce qui a déjà été écrit, et décider qu'un fait stocké est faux relève d'un jugement qu'aucune règle ne peut prendre à votre place.

Répond à

  • EU AI Act: Art. 10, Art. 15
  • ISO/IEC 42001: A.7 Data for AI systems
  • NIST AI Risk Management Framework 1.0: MAP, MANAGE
  • OWASP Top 10 for LLM Applications: LLM04 Data and Model Poisoning, LLM08 Vector and Embedding Weaknesses
  • MITRE ATLAS: Persistence, AI Attack Staging

Comment le tester

Écrivez un fait erroné via une interaction normale. Montrez d'où il provient, qui peut le supprimer et quand il expirerait de lui-même.

Suppose

Que la mémoire écrite persiste d'une tâche à l'autre, et qu'un fait erroné écrit une fois sera lu de nombreuses fois.

Retirer quand

Le système de mémoire attribue et expire les écritures de lui-même, de sorte que l'intégrité cesse d'être une discipline que le harness doit imposer de l'extérieur.

Devrait faire évoluervgap

ACM-15

Provenance pour les modèles, les prompts et les serveurs

feedforwarddéterministepas pour des raisons de capacité

Les modèles, les prompts système, les serveurs MCP, les packages et les jeux de données sont figés, examinés lors de chaque modification et traçables jusqu'à leur source. Une dépendance capable de réécrire la description d'un outil peut réécrire le comportement de l'agent.

Pourquoi ce quadrant: Le figeage (pin) est vérifié avant l'utilisation de la dépendance, et une description d'outil modifiée constitue un diff, pas une opinion.

Répond à

  • EU AI Act: Art. 10, Art. 11, Art. 25
  • ISO/IEC 42001: A.10 Third-party and customer relationships, A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: GOVERN, MAP
  • OWASP Top 10 for LLM Applications: LLM03 Supply Chain, LLM04 Data and Model Poisoning
  • MITRE ATLAS: Resource Development, Initial Access

Comment le tester

Pour chaque dépendance externe, nommez la version figée et la personne qui a examiné la dernière modification. Modifiez une description d'outil en amont ; le changement doit être détecté avant d'atteindre la production.

Suppose

Qu'une dépendance peut changer à votre insu, et que ce changement peut altérer le comportement sans modifier votre code.

Retirer quand

Pas pour des raisons de capacité. C'est ce qui donne tout son sens à la bande de déterminisme : sans figeage, les exécutions répétées ne font que mesurer le calendrier de publication du fournisseur.

Devrait faire évoluerdband

ACM-18

Un modèle de menace maintenu et testé

feedbackinférentiella plateforme l'absorbe

Les surfaces d'attaque sont consignées par écrit avec un contrôle et un propriétaire pour chacune, les risques acceptés sont explicitement désignés comme tels, et le document est révisé chaque fois qu'un outil, une source de données ou un niveau d'autonomie change.

Pourquoi ce quadrant: Son test compare deux dates, mais le contenu du document relève du jugement, et il est révisé en réponse à des changements déjà effectifs.

Répond à

  • EU AI Act: Art. 9, Art. 72
  • ISO/IEC 42001: A.5 Assessing impacts of AI systems, Clause 10 Improvement
  • NIST AI Risk Management Framework 1.0: MAP, GOVERN
  • OWASP Top 10 for LLM Applications: LLM01 Prompt Injection, LLM06 Excessive Agency
  • MITRE ATLAS: Reconnaissance, AI Attack Staging

Comment le tester

Présentez le modèle de menace actuel et la date de la dernière modification du catalogue d'outils. Si le catalogue est plus récent que le modèle, le modèle est obsolète et ce contrôle échoue.

Suppose

Que la surface d'attaque change lorsque les outils, les sources de données ou les niveaux d'autonomie changent, et que personne ne le remarque à moins que quelqu'un ne soit chargé de le faire.

Retirer quand

Le modèle de menace est généré à partir du catalogue d'outils et de la configuration d'autonomie, de sorte qu'il ne peut pas être en retard sur ces derniers. À ce stade, ce contrôle a été remplacé, et non retiré.

Devrait faire évoluercontain