使用 Amazon Bedrock Knowledge Bases 增强 RAG 评估

开发 AI 应用的组织，特别是那些使用检索增强生成 (RAG) 系统的语言大模型 (LLM) 的组织，面临着在整个应用生命周期中有效评估 AI 输出的关键挑战。随着 AI 技术的不断发展和广泛采用，保持一致的质量和性能变得越来越复杂。传统的 AI 评估方法存在局限性，包括人工评估耗时且成本高昂，以及自动化指标无法捕捉细微的评估维度。Amazon Bedrock 通过新的功能解决了这些挑战，包括 Amazon Bedrock 评估中的 LLM 作为裁判 (LLM-as-a-judge) 以及 Amazon Bedrock Knowledge Bases 的 RAG 评估工具。这些功能将自动化速度与类人理解相结合，使组织能够评估 AI 模型输出，评估 AI 性能的多个维度，并系统地评估 RAG 系统中的检索和生成质量。

Amazon Bedrock 评估提供了几项关键功能，使得在 Amazon Bedrock Knowledge Bases 上进行 RAG 评估尤为强大： * **Amazon Bedrock 评估：** 直接在服务内评估 Amazon Bedrock Knowledge Bases。 * **系统化评估：** 系统地评估 RAG 系统中的检索和生成质量，以更改知识库的构建时或运行时参数。 * **全面指标：** 提供全面、易于理解且可操作的评估指标。 * **检索指标：** 使用 LLM 作为裁判来评估上下文相关性和覆盖范围。 * **生成质量指标：** 衡量正确性、忠实度（检测幻觉）、完整性等。 * **自然语言解释：** 为输出和控制台中的每个分数提供自然语言解释。 * **跨作业比较：** 比较检索和生成多个评估作业的结果。 * **标准化指标：** 指标分数标准化为 0 到 1 的范围。 * **可扩展评估：** 将评估扩展到数千个响应。 * **经济高效：** 与手动评估相比，降低了成本，同时保持了高质量标准。 * **灵活框架：** 支持基于事实和无参考评估。 * **多种指标：** 使用户能够从多种指标中进行选择进行评估。 * **微调模型支持：** 支持在 Amazon Bedrock 上评估微调或蒸馏的模型。 * **评估模型选择：** 提供评估模型的选择。 * **模型选择与比较：** 比较不同生成模型之间的评估作业。 * **数据驱动优化：** 促进模型性能的数据驱动优化。 * **负责任的 AI 集成：** 包含内置的负责任的 AI 指标，如有害性、答案拒绝和刻板印象。 * **无缝集成：** 与 Amazon Bedrock Guardrails 无缝集成。

Amazon Bedrock Knowledge Bases RAG 评估功能提供了一个全面的端到端解决方案，用于评估和优化 RAG 应用。这个自动化过程利用 LLM 的强大功能来评估检索和生成质量，提供可显著改进您的 AI 应用的见解。工作流程包括： 1. **提示数据集：** 一组准备好的提示，可选包括真实响应。 2. **JSONL 文件：** 将提示数据集转换为 JSONL 格式以进行评估作业。 3. **Amazon S3 存储桶：** 用于存储准备好的 JSONL 文件。 4. **Amazon Bedrock Knowledge Bases RAG 评估作业：** 处理数据、与 Amazon Bedrock Guardrails 和 Amazon Bedrock Knowledge Bases 集成的核心组件。 5. **自动化报告生成：** 生成一份全面的报告，包含在单个提示或对话级别的详细指标和见解。 6. **分析：** 分析报告以获得 RAG 系统优化的可操作见解。

RAG 系统评估需要一种平衡的方法，该方法考虑三个关键方面：成本、速度和质量。Amazon Bedrock 评估主要关注质量指标，但理解所有三个组成部分有助于创建全面的评估策略。成本和速度受模型选择、使用模式、数据检索和令牌消耗的影响。为了以较低的延迟和成本实现高性能内容生成，模型蒸馏可以是一种有效的解决方案。质量评估通过各种维度提供，包括技术质量（上下文相关性和忠实度）、业务一致性（正确性和完整性）、用户体验（有用性和逻辑连贯性）以及负责任的 AI 指标（有害性、刻板印象和答案拒绝）。

要使用 Amazon Bedrock 控制台启动知识库 RAG 评估作业： 1. 在“推理和评估”下的“评估”中导航。 2. 选择“知识库”并单击“创建”。 3. 提供“评估名称”和“描述”，并选择“评估模型”。 4. 选择“知识库”和“评估类型”（仅检索或检索和响应生成）。 5. （可选）配置“推理参数”，如温度、top-P、提示模板、Guardrails 和搜索策略。 6. 选择要用于评估的“指标”。 7. 提供用于评估数据和结果的“S3 URI”。 8. 选择具有必要权限的服务（IAM）角色。 9. 单击“创建”以启动评估作业。 您可以在知识库评估屏幕上监控作业的进度。完成后，您可以查看作业详细信息和指标摘要。

Amazon Bedrock 允许您单独评估检索组件或整个检索和生成管道。仅评估检索侧重于检索到的上下文的质量，使用上下文相关性和上下文覆盖范围等指标。评估检索和生成两者都评估 RAG 系统的端到端性能，考虑检索到的信息和生成的响应的质量。选择取决于您是想隔离检索过程中的问题还是评估整体系统性能。

评估作业完成后，您可以分析结果以深入了解 RAG 系统的性能。Amazon Bedrock 提供指标摘要和详细报告。您可以比较两个评估作业，以了解不同的配置或选择如何影响性能。雷达图可视化了不同维度上的相对优势和劣势。分数分布通过直方图显示，展示了平均分数和百分比差异，有助于识别性能模式。

Amazon Bedrock 的新评估功能简化了 AI 质量保证的方法，从而能够更高效、更自信地开发 RAG 应用。通过提供全面的指标、自动化评估以及与其他 AWS 服务的无缝集成，Amazon Bedrock 使组织能够提高模型和应用质量，促进负责任的 AI 实践，并就模型选择和应用部署做出数据驱动的决策。这些功能在保持高质量标准的同时，显著减少了与传统评估方法相关的成本和时间。