Qu'est-ce que l'ingénierie de contexte ?
L'ingénierie de contexte est la discipline qui consiste à décider quelles informations entrent dans la fenêtre de contexte limitée d'un modèle à chaque étape — et lesquelles en sont exclues. À mesure que les agents enchaînent les étapes, intégrer naïvement toutes les données dans le contexte nuit à la qualité et augmente les coûts. L'ingénierie de contexte sélectionne les bonnes instructions, les connaissances récupérées, les résultats d'outils et la mémoire afin que le modèle dispose exactement de ce dont il a besoin, au moment où il en a besoin. C'est un élément central du Harness Engineering.
Définition
L'ingénierie de contexte consiste à sélectionner, compresser et ordonner les informations placées dans la fenêtre de contexte d'un modèle afin qu'il dispose du signal le plus pertinent — et du moins de bruit possible — à chaque étape.
Points clés
- Le contexte est une ressource rare ; ce que vous excluez importe autant que ce que vous incluez.
- Un contexte plus large n'est pas nécessairement préférable : les jetons non pertinents dégradent la qualité et augmentent les coûts.
- Techniques : récupération, résumé, compaction et mémoire structurée.
- Elle généralise le prompt engineering d'un simple prompt à l'ensemble de l'exécution d'un agent.
- C'est une couche essentielle du harness autour d'un modèle.
Contexte
Chaque modèle dispose d'une fenêtre de contexte finie, et la qualité se dégrade lorsqu'elle est remplie de contenus à faible signal. C'est gérable pour une utilisation à tour unique, mais les agents accumulent l'historique, les sorties d'outils et les documents récupérés au fil de nombreuses étapes, submergeant rapidement la fenêtre.
L'ingénierie de contexte traite la fenêtre comme un budget à gérer délibérément : conserver les instructions durables, ne récupérer que ce qui est pertinent à l'instant T, résumer ou compacter le reste, et stocker l'état à long terme en dehors de la fenêtre, dans la mémoire.
Architecture
Actions clés : sélectionner (récupérer uniquement les passages pertinents), compresser (résumer les étapes précédentes), compacter (supprimer ou replier les tours obsolètes) et externaliser (transférer l'état à long terme vers un stockage de mémoire, pour le récupérer à la demande).
Dans une boucle d'agent, le contexte est réassemblé à chaque étape à partir de sources superposées : instructions système stables, état de la tâche, connaissances pertinentes récupérées, résultats d'outils récents et souvenirs à long terme sélectionnés — ordonnés de manière à ce que le signal le plus important soit le plus saillant.
Composants
Avantages
- Maintient une qualité élevée à mesure que les tâches s'allongent.
- Contrôle le coût en jetons et la latence.
- Réduit les distractions et les hallucinations dues au bruit.
- Permet aux agents à long horizon de fonctionner dans un contexte fini.
Risques
- Une compression trop agressive peut faire perdre des informations nécessaires.
- Une mauvaise récupération injecte un contexte non pertinent ou erroné.
- Complexité de la décision sur ce qu'il faut conserver à chaque étape.
- Les bugs à ce niveau se traduisent par de subtiles régressions de qualité.
Outils et technologies
Exemples
- Résumer les étapes précédentes de l'agent pour que la fenêtre reste concentrée sur la sous-tâche en cours.
- Récupérer uniquement la section de la politique pertinente pour une question plutôt que l'intégralité du manuel.
- Stocker les préférences d'un utilisateur en mémoire et ne les rappeler que lorsque c'est pertinent.
FAQ
- En quoi le context engineering diffère-t-il du prompt engineering ?
- Le prompt engineering conçoit une instruction unique. Le context engineering gère l'ensemble des informations de la fenêtre tout au long de l'exécution d'un agent — y compris la récupération, la mémoire, les résultats des outils et la compression.
- Pourquoi ne pas simplement utiliser une fenêtre de contexte plus grande ?
- Les fenêtres plus grandes aident, mais n'éliminent pas le problème : la qualité se dégrade et le coût augmente à mesure que les fenêtres se remplissent de jetons à faible signal. La curation reste indispensable.
- Quel est le rapport avec le RAG et la mémoire ?
- Le RAG et la mémoire sont des sources de contexte ; le context engineering décide de ce qui entre réellement dans la fenêtre, quand et sous quelle forme.
- Cela fait-il partie de Harness Engineering ?
- Oui. La gestion du contexte est l'une des couches fondamentales du harness qui transforme la capacité du modèle en un comportement d'agent fiable.