Qu'est-ce que le Prompt Engineering ?
Le Prompt Engineering est la pratique consistant à concevoir les entrées fournies à un modèle de langage afin qu'il produise le résultat souhaité de manière fiable. Un bon prompt spécifie le rôle, la tâche, les contraintes, le format de sortie et, si nécessaire, des exemples. C'est le levier le plus accessible pour orienter le comportement du modèle — et une couche du harness plus large entourant un modèle — mais à lui seul, il ne rend pas un système fiable à grande échelle.
Définition
Le Prompt Engineering est la pratique consistant à concevoir et à affiner les instructions, le contexte et les exemples fournis à un modèle de langage pour obtenir de manière fiable le résultat souhaité.
Points clés
- Un prompt efficace précise le rôle, la tâche, les contraintes, le format et des exemples.
- Les exemples (few-shot) surpassent généralement les instructions seules pour les tâches structurées.
- Le prompt par chaîne de pensée (chain-of-thought) améliore le raisonnement en plusieurs étapes.
- Les prompts doivent être testés et versionnés, et non ajustés manuellement au ressenti.
- Il s'agit d'une couche du harness, et non d'un substitut aux outils, à la mémoire et à l'évaluation.
Contexte
Puisque les modèles suivent des instructions en langage naturel, la formulation d'une tâche modifie sensiblement le résultat. Le Prompt Engineering est la discipline qui consiste à bien la formuler : en étant explicite sur l'objectif, le public cible, les contraintes et le format attendu.
C'est le moyen le plus rapide et le moins coûteux d'améliorer la qualité des résultats, c'est pourquoi la plupart des équipes commencent par là. Mais à mesure que les systèmes évoluent vers des agents, le prompt devient un composant parmi d'autres — outils, mémoire, récupération (retrieval) et évaluation — constituant le harness complet.
Architecture
Techniques courantes : zero-shot (instruction seule), few-shot (instruction et exemples), chain-of-thought (demande de raisonnement étape par étape), spécification de rôle et de format, et décomposition (division d'une tâche en prompts plus simples).
Une pratique mature traite les prompts comme du code : stockés, versionnés, testés par rapport à des évaluations (evals) et modifiés de manière délibérée. Les modèles de prompts réutilisables et les schémas de sortie structurés réduisent la variance.
Composants
Avantages
- Le moyen le plus rapide et le moins coûteux de modifier le comportement d'un modèle.
- Aucun entraînement ni infrastructure requis.
- Fonctionne sur différents modèles et tâches.
- Facile à itérer et à combiner avec d'autres techniques.
Risques
- Fragile : de légères modifications de formulation peuvent modifier le comportement.
- Injection de prompt lorsque les prompts incluent des entrées non fiables.
- Difficile de mettre à l'échelle la fiabilité uniquement par le prompting.
- Couplage masqué avec les particularités d'un modèle spécifique.
Outils et technologies
Exemples
- Ajouter quelques exemples concrets pour que le modèle produise un JSON cohérent.
- Demander un raisonnement étape par étape pour améliorer une réponse mathématique ou logique.
- Spécifier un format strict pour que le code en aval puisse analyser la réponse.
FAQ
- Le prompt engineering est-il toujours pertinent à mesure que les modèles s'améliorent ?
- Oui, mais son rôle se restreint. Les meilleurs modèles ont besoin de moins d'incitations, mais des instructions claires, des exemples et des spécifications de format améliorent encore de manière mesurable la fiabilité — en particulier au sein des agents.
- Quelle est la différence avec le context engineering ?
- Le prompt engineering se concentre sur l'instruction. Le context engineering est la tâche plus large consistant à décider quelles informations entrent dans la fenêtre de contexte limitée du modèle à chaque étape.
- La chaîne de pensée (chain-of-thought) aide-t-elle toujours ?
- Elle est surtout utile pour les tâches de raisonnement en plusieurs étapes, au prix d'un plus grand nombre de tokens. Pour les recherches simples, elle ajoute de la latence sans aucun avantage.
- Comment maintenir la fiabilité des prompts ?
- Traitez-les comme du code : versionnez-les, testez-les par rapport à des évaluations et modifiez-les de manière délibérée plutôt que par tâtonnements.