Améliorez l'évaluation RAG avec les bases de connaissances Amazon Bedrock

Les organisations développant des applications d'IA, en particulier celles utilisant des grands modèles de langage (LLM) avec des systèmes de génération augmentée par récupération (RAG), sont confrontées au défi critique d'évaluer efficacement les sorties d'IA tout au long du cycle de vie de l'application. À mesure que les technologies d'IA deviennent plus avancées et largement adoptées, le maintien d'une qualité et de performances constantes devient de plus en plus complexe. Les méthodes traditionnelles d'évaluation de l'IA présentent des limites, notamment le caractère chronophage et coûteux de l'évaluation humaine et l'incapacité des métriques automatisées à capturer des dimensions d'évaluation nuancées. Amazon Bedrock répond à ces défis avec de nouvelles capacités, notamment LLM-as-a-judge dans Amazon Bedrock Evaluations et un outil d'évaluation RAG pour Amazon Bedrock Knowledge Bases. Ces fonctionnalités combinent la vitesse de l'automatisation avec une compréhension humaine, permettant aux organisations d'évaluer les sorties des modèles d'IA, d'évaluer plusieurs dimensions des performances de l'IA et d'évaluer systématiquement la qualité de la récupération et de la génération dans les systèmes RAG.

Amazon Bedrock Evaluations offre plusieurs fonctionnalités clés qui rendent l'évaluation RAG sur Amazon Bedrock Knowledge Bases particulièrement puissante : * **Amazon Bedrock Evaluations :** Évaluez les bases de connaissances Amazon Bedrock directement dans le service. * **Évaluation systématique :** Évaluez systématiquement la qualité de la récupération et de la génération dans les systèmes RAG pour modifier les paramètres de temps de construction ou d'exécution de la base de connaissances. * **Métriques complètes :** Fournit des métriques d'évaluation complètes, compréhensibles et exploitables. * **Métriques de récupération :** Évalue la pertinence et la couverture du contexte en utilisant un LLM comme juge. * **Métriques de qualité de génération :** Mesure la correction, la fidélité (pour détecter les hallucinations), l'exhaustivité, et plus encore. * **Explications en langage naturel :** Fournit des explications en langage naturel pour chaque score dans la sortie et sur la console. * **Comparaison entre les tâches :** Compare les résultats entre plusieurs tâches d'évaluation pour la récupération et la génération. * **Métriques normalisées :** Les scores des métriques sont normalisés sur une plage de 0 à 1. * **Évaluation évolutive :** Adapte l'évaluation à des milliers de réponses. * **Rentable :** Réduit les coûts par rapport à l'évaluation manuelle tout en maintenant des normes de haute qualité. * **Cadre flexible :** Prend en charge les évaluations avec vérité terrain et les évaluations sans référence. * **Variété de métriques :** Permet aux utilisateurs de choisir parmi une variété de métriques pour l'évaluation. * **Prise en charge des modèles affinés :** Prend en charge l'évaluation des modèles affinés ou distillés sur Amazon Bedrock. * **Choix du modèle d'évaluateur :** Offre un choix de modèles d'évaluateurs. * **Sélection et comparaison de modèles :** Compare les tâches d'évaluation entre différents modèles générateurs. * **Optimisation basée sur les données :** Facilite l'optimisation des performances du modèle basée sur les données. * **Intégration de l'IA responsable :** Intègre des métriques d'IA responsable intégrées telles que la nocivité, le refus de réponse et la stéréotypie. * **Intégration transparente :** S'intègre de manière transparente avec Amazon Bedrock Guardrails.

La fonctionnalité d'évaluation RAG d'Amazon Bedrock Knowledge Bases offre une solution complète de bout en bout pour évaluer et optimiser les applications RAG. Ce processus automatisé utilise la puissance des LLM pour évaluer la qualité de la récupération et de la génération, offrant des informations qui peuvent améliorer considérablement vos applications d'IA. Le flux de travail comprend : 1. **Ensemble de données d'invites :** Un ensemble d'invites préparé, incluant éventuellement des réponses de vérité terrain. 2. **Fichier JSONL :** L'ensemble de données d'invites converti au format JSONL pour la tâche d'évaluation. 3. **Bucket Amazon S3 :** Stockage pour le fichier JSONL préparé. 4. **Tâche d'évaluation RAG d'Amazon Bedrock Knowledge Bases :** Le composant principal qui traite les données, s'intégrant avec Amazon Bedrock Guardrails et Amazon Bedrock Knowledge Bases. 5. **Génération de rapports automatisée :** Produit un rapport complet avec des métriques détaillées et des informations au niveau de l'invite individuelle ou de la conversation. 6. **Analyse :** Analysez le rapport pour obtenir des informations exploitables pour l'optimisation du système RAG.

L'évaluation des systèmes RAG nécessite une approche équilibrée qui prend en compte trois aspects clés : le coût, la vitesse et la qualité. Amazon Bedrock Evaluations se concentre principalement sur les métriques de qualité, mais la compréhension des trois composantes aide à créer une stratégie d'évaluation complète. Le coût et la vitesse sont influencés par la sélection du modèle, les modèles d'utilisation, la récupération des données et la consommation de jetons. Pour une génération de contenu haute performance avec une latence et des coûts réduits, la distillation de modèles peut être une solution efficace. L'évaluation de la qualité est fournie à travers diverses dimensions, y compris la qualité technique (pertinence du contexte et fidélité), l'alignement métier (correction et exhaustivité), l'expérience utilisateur (utilité et cohérence logique) et les métriques d'IA responsable (nocivité, stéréotypie et refus de réponse).

Pour démarrer une tâche d'évaluation RAG de base de connaissances à l'aide de la console Amazon Bedrock : 1. Naviguez vers **Evaluations** sous **Inférence et Évaluation**. 2. Choisissez **Bases de connaissances** et cliquez sur **Créer**. 3. Fournissez un **Nom d'évaluation** et une **Description**, et sélectionnez un **Modèle d'évaluateur**. 4. Choisissez la **Base de connaissances** et le **Type d'évaluation** (Récupération uniquement ou Récupération et génération de réponses). 5. (Facultatif) Configurez les **Paramètres d'inférence** tels que la température, top-P, les modèles d'invites, les garde-fous et la stratégie de recherche. 6. Sélectionnez les **Métriques** que vous souhaitez utiliser pour l'évaluation. 7. Fournissez l'**URI S3** pour les données et les résultats d'évaluation. 8. Sélectionnez un rôle de service (IAM) avec les autorisations nécessaires. 9. Cliquez sur **Créer** pour démarrer la tâche d'évaluation. Vous pouvez suivre la progression de la tâche sur l'écran des évaluations de la base de connaissances. Une fois terminée, vous pouvez afficher les détails de la tâche et le résumé des métriques.

Amazon Bedrock vous permet d'évaluer soit le composant de récupération seul, soit l'ensemble du pipeline de récupération et de génération. L'évaluation de la récupération uniquement se concentre sur la qualité des contextes récupérés, en utilisant des métriques telles que la pertinence du contexte et la couverture du contexte. L'évaluation de la récupération et de la génération évalue les performances de bout en bout du système RAG, en tenant compte de la qualité des informations récupérées et de la réponse générée. Le choix dépend de si vous souhaitez isoler les problèmes dans le processus de récupération ou évaluer les performances globales du système.

Une fois la tâche d'évaluation terminée, vous pouvez analyser les résultats pour obtenir des informations sur les performances de votre système RAG. Amazon Bedrock fournit un résumé des métriques et des rapports détaillés. Vous pouvez comparer deux tâches d'évaluation pour comprendre comment différentes configurations ou sélections affectent les performances. Un graphique radar visualise les forces et les faiblesses relatives sur différentes dimensions. Les distributions de scores sont affichées sous forme d'histogrammes, montrant les scores moyens et les différences en pourcentage, aidant à identifier les modèles de performance.

Les nouvelles capacités d'évaluation d'Amazon Bedrock rationalisent l'approche de l'assurance qualité de l'IA, permettant un développement plus efficace et plus confiant des applications RAG. En fournissant des métriques complètes, une évaluation automatisée et une intégration transparente avec d'autres services AWS, Amazon Bedrock permet aux organisations d'améliorer la qualité des modèles et des applications, de promouvoir des pratiques d'IA responsables et de prendre des décisions basées sur les données concernant la sélection des modèles et le déploiement des applications. Ces fonctionnalités réduisent considérablement le temps et le coût associés aux méthodes d'évaluation traditionnelles tout en maintenant des normes de haute qualité.