Verbessern Sie die RAG-Evaluierung mit Amazon Bedrock Knowledge Bases

Organisationen, die KI-Anwendungen entwickeln, insbesondere solche, die Large Language Models (LLMs) mit Retrieval Augmented Generation (RAG)-Systemen nutzen, stehen vor der kritischen Herausforderung, KI-Ausgaben während des gesamten Anwendungslebenszyklus effektiv zu bewerten. Da KI-Technologien fortschrittlicher und weiter verbreitet werden, wird die Aufrechterhaltung einer gleichbleibenden Qualität und Leistung immer komplexer. Traditionelle KI-Evaluierungsmethoden haben Einschränkungen, darunter der zeitaufwändige und teure Charakter der menschlichen Evaluierung und die Unfähigkeit automatisierter Metriken, nuancierte Bewertungsdimensionen zu erfassen. Amazon Bedrock adressiert diese Herausforderungen mit neuen Funktionen, einschließlich LLM-as-a-judge unter Amazon Bedrock Evaluations und einem RAG-Evaluierungstool für Amazon Bedrock Knowledge Bases. Diese Funktionen kombinieren die Geschwindigkeit der Automatisierung mit menschenähnlichem Verständnis und ermöglichen es Organisationen, KI-Modellausgaben zu bewerten, mehrere Dimensionen der KI-Leistung zu beurteilen und sowohl die Abruf- als auch die Generierungsqualität in RAG-Systemen systematisch zu bewerten.

Amazon Bedrock Evaluations bietet mehrere Schlüsselfunktionen, die die RAG-Evaluierung auf Amazon Bedrock Knowledge Bases besonders leistungsfähig machen: * **Amazon Bedrock Evaluations:** Bewerten Sie Amazon Bedrock Knowledge Bases direkt innerhalb des Dienstes. * **Systematische Evaluierung:** Bewerten Sie systematisch sowohl die Abruf- als auch die Generierungsqualität in RAG-Systemen, um Parameter für die Erstellung oder Laufzeit der Wissensbasis zu ändern. * **Umfassende Metriken:** Bietet umfassende, verständliche und umsetzbare Bewertungsmetriken. * **Abrufmetriken:** Bewertet die Relevanz und Abdeckung des Kontexts mithilfe eines LLM als Judge. * **Metriken zur Generierungsqualität:** Misst Korrektheit, Treue (zur Erkennung von Halluzinationen), Vollständigkeit und mehr. * **Erklärungen in natürlicher Sprache:** Bietet Erklärungen in natürlicher Sprache für jede Punktzahl in der Ausgabe und auf der Konsole. * **Vergleich über Jobs hinweg:** Vergleicht Ergebnisse über mehrere Evaluierungsjobs hinweg für Abruf und Generierung. * **Normalisierte Metriken:** Metrik-Scores werden auf einen Bereich von 0 bis 1 normalisiert. * **Skalierbare Bewertung:** Skaliert die Bewertung über Tausende von Antworten. * **Kostengünstig:** Reduziert die Kosten im Vergleich zur manuellen Evaluierung bei gleichbleibend hohen Qualitätsstandards. * **Flexibles Framework:** Unterstützt sowohl Ground-Truth- als auch Referenzfreie Evaluierungen. * **Vielfalt an Metriken:** Statten Benutzer mit einer Auswahl an Metriken für die Evaluierung aus. * **Unterstützung für feinabgestimmte Modelle:** Unterstützt die Evaluierung von feinabgestimmten oder destillierten Modellen auf Amazon Bedrock. * **Auswahl des Evaluierungsmodells:** Bietet eine Auswahl an Evaluierungsmodellen. * **Modellauswahl und -vergleich:** Vergleicht Evaluierungsjobs über verschiedene generierende Modelle hinweg. * **Datengetriebene Optimierung:** Ermöglicht datengesteuerte Optimierung der Modellleistung. * **Integration von Responsible AI:** Integriert integrierte Responsible AI-Metriken wie Schädlichkeit, Antwortverweigerung und Stereotypisierung. * **Nahtlose Integration:** Integriert sich nahtlos in Amazon Bedrock Guardrails.

Die RAG-Evaluierungsfunktion von Amazon Bedrock Knowledge Bases bietet eine umfassende End-to-End-Lösung zur Bewertung und Optimierung von RAG-Anwendungen. Dieser automatisierte Prozess nutzt die Leistung von LLMs, um sowohl die Abruf- als auch die Generierungsqualität zu bewerten und Einblicke zu liefern, die Ihre KI-Anwendungen erheblich verbessern können. Der Workflow umfasst: 1. **Prompt-Datensatz:** Ein vorbereiteter Satz von Prompts, optional einschließlich Ground-Truth-Antworten. 2. **JSONL-Datei:** Der Prompt-Datensatz, konvertiert in das JSONL-Format für den Evaluierungsjob. 3. **Amazon S3 Bucket:** Speicher für die vorbereitete JSONL-Datei. 4. **Amazon Bedrock Knowledge Bases RAG Evaluation Job:** Die Kernkomponente, die die Daten verarbeitet und sich in Amazon Bedrock Guardrails und Amazon Bedrock Knowledge Bases integriert. 5. **Automatisierte Berichterstellung:** Erstellt einen umfassenden Bericht mit detaillierten Metriken und Einblicken auf Ebene einzelner Prompts oder Konversationen. 6. **Analyse:** Analysieren Sie den Bericht, um umsetzbare Erkenntnisse für die Optimierung des RAG-Systems zu gewinnen.

Die Evaluierung von RAG-Systemen erfordert einen ausgewogenen Ansatz, der drei Schlüsselaspekte berücksichtigt: Kosten, Geschwindigkeit und Qualität. Amazon Bedrock Evaluations konzentriert sich hauptsächlich auf Qualitätsmetriken, aber das Verständnis aller drei Komponenten hilft bei der Erstellung einer umfassenden Evaluierungsstrategie. Kosten und Geschwindigkeit werden durch Modellauswahl, Nutzungsmuster, Datenabruf und Token-Verbrauch beeinflusst. Für eine leistungsstarke Inhaltserstellung mit geringerer Latenz und Kosten kann die Modell-Destillation eine effektive Lösung sein. Die Qualitätsbewertung erfolgt über verschiedene Dimensionen, darunter technische Qualität (Kontextrelevanz und Treue), Geschäftsübereinstimmung (Korrektheit und Vollständigkeit), Benutzererfahrung (Hilfreichkeit und logische Kohärenz) und Responsible AI-Metriken (Schädlichkeit, Stereotypisierung und Antwortverweigerung).

Um einen Wissensdatenbank-RAG-Evaluierungsjob über die Amazon Bedrock-Konsole zu starten: 1. Navigieren Sie zu **Evaluations** unter **Inference and Assessment**. 2. Wählen Sie **Knowledge Bases** und klicken Sie auf **Create**. 3. Geben Sie einen **Evaluation name** und **Description** an und wählen Sie ein **Evaluator model**. 4. Wählen Sie die **Knowledge base** und den **Evaluation type** (nur Abruf oder Abruf und Antwortgenerierung). 5. (Optional) Konfigurieren Sie **Inference parameters** wie Temperatur, Top-P, Prompt-Vorlagen, Guardrails und Suchstrategie. 6. Wählen Sie die **Metrics** aus, die Sie für die Evaluierung verwenden möchten. 7. Geben Sie die **S3 URI** für Evaluierungsdaten und -ergebnisse an. 8. Wählen Sie eine Service (IAM)-Rolle mit den erforderlichen Berechtigungen aus. 9. Klicken Sie auf **Create**, um den Evaluierungsjob zu starten. Sie können den Fortschritt des Jobs auf dem Bildschirm Knowledge Base evaluations überwachen. Nach Abschluss können Sie die Jobdetails und die Metrikzusammenfassung anzeigen.

Amazon Bedrock ermöglicht es Ihnen, entweder nur die Abrufkomponente oder die gesamte Abruf- und Generierungspipeline zu bewerten. Die reine Abrufevaluierung konzentriert sich auf die Qualität der abgerufenen Kontexte und verwendet Metriken wie Context Relevance und Context Coverage. Die Bewertung von Abruf und Generierung beurteilt die End-to-End-Leistung des RAG-Systems und berücksichtigt die Qualität sowohl der abgerufenen Informationen als auch der generierten Antwort. Die Wahl hängt davon ab, ob Sie Probleme im Abrufprozess isolieren oder die Gesamtleistung des Systems bewerten möchten.

Nach Abschluss des Evaluierungsjobs können Sie die Ergebnisse analysieren, um Einblicke in die Leistung Ihres RAG-Systems zu gewinnen. Amazon Bedrock bietet eine Metrikzusammenfassung und detaillierte Berichte. Sie können zwei Evaluierungsjobs vergleichen, um zu verstehen, wie sich verschiedene Konfigurationen oder Auswahlen auf die Leistung auswirken. Ein Radardiagramm visualisiert die relativen Stärken und Schwächen über verschiedene Dimensionen hinweg. Score-Verteilungen werden durch Histogramme dargestellt, die Durchschnittswerte und prozentuale Unterschiede zeigen und helfen, Leistungsmuster zu identifizieren.

Die neuen Evaluierungsfunktionen von Amazon Bedrock optimieren den Ansatz zur KI-Qualitätssicherung und ermöglichen eine effizientere und vertrauenswürdigere Entwicklung von RAG-Anwendungen. Durch die Bereitstellung umfassender Metriken, automatisierter Evaluierung und nahtloser Integration mit anderen AWS-Diensten ermöglicht Amazon Bedrock Organisationen, die Modell- und Anwendungsqualität zu verbessern, Responsible AI-Praktiken zu fördern und datengesteuerte Entscheidungen über Modellauswahl und Anwendungsbereitstellung zu treffen. Diese Funktionen reduzieren den Zeit- und Kostenaufwand für traditionelle Evaluierungsmethoden erheblich und erhalten gleichzeitig hohe Qualitätsstandards.