Que sont les embeddings et la recherche vectorielle ?
Un embedding est un vecteur numérique qui représente la signification d'un texte (ou d'images, d'audio, de code) de sorte que les éléments sémantiquement similaires soient proches dans l'espace vectoriel. La recherche vectorielle trouve les embeddings les plus proches d'une requête, permettant une recherche par sens plutôt que par mots-clés. Les embeddings constituent l'épine dorsale de la génération augmentée de récupération (RAG), de la recherche sémantique, du clustering et de la recommandation.
Définition
Un embedding est un vecteur numérique dense qui encode la signification d'une donnée, positionné de manière à ce que les éléments similaires soient proches dans l'espace vectoriel ; la recherche vectorielle récupère les embeddings les plus proches d'une requête.
Points clés
- Les embeddings transforment le sens en vecteurs ; les éléments similaires se situent à proximité les uns des autres.
- La recherche vectorielle effectue la récupération par similarité sémantique, et non par mots-clés exacts.
- Ils alimentent le RAG, la recherche sémantique, le clustering et la recommandation.
- La recherche hybride (vectorielle + mots-clés) surpasse généralement l'une ou l'autre méthode utilisée seule.
- Le découpage (chunking) et le choix du modèle d'embedding déterminent la qualité de la récupération.
Contexte
Les ordinateurs comparent des nombres, pas des significations. Les embeddings comblent cet écart : un modèle d'embedding associe un texte à un vecteur de sorte que « annuler mon abonnement » et « comment me désabonner » se retrouvent proches l'un de l'autre, même sans aucun mot commun.
C'est ce qui rend possible la récupération sémantique. Au lieu de faire correspondre des mots-clés, un système génère l'embedding de la requête et trouve les vecteurs stockés les plus proches — le fondement même de la manière dont le RAG et la recherche moderne récupèrent du contenu pertinent.
Architecture
Indexation : le contenu est découpé en blocs (chunks), chacun passant par un modèle d'embedding pour produire un vecteur, puis stocké dans un index vectoriel. Requêtage : la requête est convertie en embedding et l'index renvoie les vecteurs les plus proches selon une métrique de similarité (ex. cosinus).
Les systèmes de production ajoutent un outil de re-classement (re-ranker) pour affiner les meilleurs résultats, combinent la recherche vectorielle avec la recherche par mots-clés (hybride) et filtrent par métadonnées et autorisations. La qualité dépend fortement du découpage (chunking) et du modèle d'embedding.
Composants
Avantages
- Recherche par sens, robuste face aux variations de formulation.
- Correspondance multilingue et multimodale.
- L'épine dorsale du RAG et de la recherche sémantique.
- Peu coûteux à interroger à grande échelle une fois indexé.
Risques
- Un mauvais découpage (chunking) dégrade tous les résultats en aval.
- Une inadéquation du modèle d'embedding nuit à la pertinence.
- Les vecteurs peuvent divulguer des informations sensibles ; sécurisez le stockage.
- La recherche vectorielle pure peut passer à côté des besoins de correspondance exacte (utilisez l'hybride).
Outils et technologies
Exemples
- Recherche sémantique dans un centre d'aide qui correspond à l'intention, et non aux mots-clés.
- Récupération de passages pertinents pour ancrer une réponse RAG.
- Regroupement (clustering) de tickets d'assistance par sujet à l'aide de leurs embeddings.
FAQ
- En quoi les embeddings diffèrent-ils des mots-clés ?
- La recherche par mots-clés correspond à des mots exacts ; les embeddings correspondent au sens, de sorte que les paraphrases et les synonymes permettent tout de même de récupérer le bon contenu.
- Qu'est-ce que la recherche vectorielle ?
- Trouver les embeddings stockés les plus proches de l'embedding d'une requête à l'aide d'une métrique de similarité comme la distance cosinus — une recherche par proximité sémantique.
- Pourquoi combiner recherche vectorielle et recherche par mots-clés ?
- Les vecteurs excellent pour le sens mais peuvent manquer des termes exacts (codes, noms). La recherche hybride combine les deux pour obtenir le meilleur rappel et la meilleure précision.
- Les embeddings alimentent-ils le RAG ?
- Oui. Le RAG convertit les documents et les requêtes en embeddings, récupère les blocs les plus proches par recherche vectorielle et y ancre la réponse du modèle.