Guide Complet sur l'Évaluation RAG : Meilleures Pratiques et Cadres

L'évaluation des systèmes de Génération Augmentée par Récupération (RAG) est cruciale pour garantir leur précision, leur qualité et leur stabilité à long terme. Un système RAG bien évalué évite les hallucinations, enrichit le contexte et maximise le processus de recherche et de récupération. En évaluant et en affinant systématiquement chaque composant — récupération, augmentation et génération — les développeurs peuvent maintenir une application GenAI fiable et contextuellement pertinente qui répond efficacement aux besoins des utilisateurs. Ce guide fournit les meilleures pratiques pour évaluer les systèmes RAG, en se concentrant sur la précision de la recherche, le rappel, la pertinence contextuelle et la précision des réponses.

Les systèmes RAG peuvent rencontrer des erreurs à différentes étapes. Dans la phase de génération, des hallucinations se produisent lorsque le LLM fabrique des informations, conduisant à des réponses non fondées sur la réalité. Les réponses biaisées sont également une préoccupation, car les réponses générées par le LLM peuvent être nuisibles ou inappropriées. Les processus d'augmentation peuvent souffrir d'informations obsolètes ou de lacunes contextuelles, entraînant des informations incomplètes ou fragmentées. Les problèmes de récupération incluent un manque de précision (documents non pertinents récupérés) et un faible rappel (documents pertinents non récupérés). Le problème « Lost in the Middle » complique encore les choses, où les LLM ont du mal avec les longs contextes, surtout lorsque des informations cruciales sont positionnées au milieu du document.

Plusieurs cadres simplifient le processus d'évaluation RAG. Ragas (RAG Assessment) utilise un ensemble de données de questions, de réponses idéales et de contextes pertinents pour comparer les réponses générées par un système RAG à la vérité terrain, fournissant des métriques telles que la fidélité, la pertinence et la similarité sémantique. Quotient AI permet aux développeurs de télécharger des ensembles de données d'évaluation comme benchmarks pour tester différents prompts et LLM, fournissant des métriques détaillées sur la fidélité, la pertinence et la similarité sémantique. Arize Phoenix est un outil open-source qui aide à améliorer les performances des systèmes RAG en suivant visuellement la construction d'une réponse étape par étape, en identifiant les ralentissements et les erreurs, et en calculant des métriques clés comme la latence et l'utilisation des tokens.

Une ingestion de données incorrecte peut entraîner la perte d'informations contextuelles critiques et des réponses incohérentes. Les bases de données vectorielles prennent en charge diverses techniques d'indexation, et il est essentiel de vérifier comment les changements dans les variables d'indexation affectent l'ingestion de données. Portez attention à la manière dont les données sont découpées (chunking). Calibrez la taille des morceaux de documents pour qu'elle corresponde à la limite de tokens du modèle d'embedding, en assurant un chevauchement adéquat des morceaux pour conserver le contexte. Développez une stratégie de découpage/division de texte adaptée au type de données (par exemple, HTML, markdown, code, PDF) et aux nuances du cas d'utilisation. Des outils comme ChunkViz peuvent visualiser différentes stratégies de découpage, tailles de morceaux et chevauchements de morceaux.

Il est crucial de s'assurer que le modèle d'embedding comprend et représente correctement les données. Des embeddings précis positionnent les points de données similaires à proximité dans l'espace vectoriel. La qualité d'un modèle d'embedding est généralement mesurée à l'aide de benchmarks comme le Massive Text Embedding Benchmark (MTEB). Choisir le bon modèle d'embedding est essentiel, car il capture les relations sémantiques dans les données. Le classement MTEB est une excellente ressource de référence. Tenez compte des performances de récupération et de la spécificité du domaine lors du choix d'un modèle d'embedding. Pour les domaines spécialisés, la sélection ou la formation d'un modèle d'embedding personnalisé peut être nécessaire.

L'évaluation de la récupération sémantique teste l'efficacité de la récupération de données à l'aide de métriques telles que Precision@k, Mean Reciprocal Rank (MRR), Discounted Cumulative Gain (DCG) et Normalized DCG (NDCG). L'évaluation de la qualité de la récupération à l'aide de ces métriques évalue l'efficacité de l'étape de récupération. Pour évaluer spécifiquement l'algorithme Approximate Nearest Neighbor (ANN), Precision@k est la métrique la plus appropriée. Configurez la récupération de vecteurs denses en choisissant la bonne métrique de similarité, telle que la similarité cosinus, le produit scalaire, la distance euclidienne ou la distance de Manhattan. Utilisez des vecteurs épars et la recherche hybride si nécessaire, en tirant parti d'un filtrage simple et en définissant les bons hyperparamètres pour la stratégie de découpage, la taille des morceaux, le chevauchement et la taille de la fenêtre de récupération. Introduisez des méthodes de re-classement à l'aide de modèles cross-encoder pour re-noter les résultats renvoyés par la recherche vectorielle.

Le LLM est responsable de la génération de réponses basées sur le contexte récupéré, et le choix du LLM influence considérablement les performances du système RAG. Tenez compte de la qualité des réponses, des performances du système (vitesses d'inférence) et des connaissances du domaine. Testez et analysez de manière critique la qualité des LLM à l'aide de ressources comme le classement Open LLM Leaderboard, qui classe les LLM en fonction de leurs scores sur divers benchmarks. Les métriques et méthodes clés pour évaluer les LLM incluent la perplexité, l'évaluation humaine, BLEU, ROUGE, EleutherAI, HELM et la diversité. De nombreux cadres d'évaluation LLM offrent une flexibilité pour s'adapter aux évaluations spécifiques au domaine ou personnalisées, abordant les métriques RAG clés pour votre cas d'utilisation.

Créez des paires question et réponse terrain à partir des documents sources pour l'ensemble de données d'évaluation. Les réponses terrain sont les réponses précises attendues du système RAG. Les méthodes pour les créer incluent la création manuelle de l'ensemble de données, l'utilisation de LLM pour créer des données synthétiques, l'utilisation du cadre Ragas ou l'utilisation de FiddleCube. Une fois l'ensemble de données créé, collectez le contexte récupéré et la réponse finale générée par le pipeline RAG pour chaque question. Les métriques d'évaluation incluent la question, la réponse terrain, le contexte et la réponse.

L'évaluation de bout en bout (E2E) évalue les performances globales de l'ensemble du système RAG. Les facteurs clés à mesurer incluent l'utilité, la fiabilité (groundedness), la latence, la concision et la cohérence. Mesurez la qualité des réponses générées avec des métriques comme la similarité sémantique de la réponse et l'exactitude. La similarité sémantique mesure la différence entre la réponse générée et la réponse terrain, tandis que l'exactitude de la réponse évalue l'accord global entre la réponse générée et la réponse terrain, combinant l'exactitude factuelle et le score de similarité de la réponse.

L'évaluation RAG est le fondement de l'amélioration continue et du succès à long terme. Elle aide à identifier et à résoudre les problèmes immédiats liés à la précision de la récupération, à la pertinence contextuelle et à la qualité des réponses. Évaluez continuellement l'application pour vous assurer qu'elle s'adapte aux exigences changeantes et maintient ses performances au fil du temps. Calibrez régulièrement tous les composants, tels que les modèles d'embedding, les algorithmes de récupération et le LLM lui-même. Intégrez les commentaires des utilisateurs et restez informé des nouvelles techniques, modèles et cadres d'évaluation à mesure que la pratique de l'évaluation RAG évolue.