掌握 RAG 系统中的 LLM 评估：指标与挑战

在检索增强生成 (RAG) 系统中评估大型语言模型 (LLM) 对于确保准确性和可靠性至关重要。RAG 系统通过集成检索组件来增强 LLM，该组件会获取相关文档，从而使 LLM 能够生成上下文相关的响应。本文提供了评估 RAG 中 LLM 性能的全面指南，涵盖了关键维度、指标和基准。无论您是经验丰富的从业者还是 RAG 新手，本指南都能为您提供确保 RAG 系统稳健准确的知识。RAG 系统动态地整合外部信息，使其比仅依赖预训练知识的传统 LLM 更具通用性。例如，RAG 系统可以检索最新的研究论文以回答医学查询，确保响应基于当前可用的最新信息。与用于将预训练模型适应特定任务的微调不同，RAG 系统实时利用外部数据库，从而减轻了广泛微调的需要并降低了过时响应的风险。

在评估 RAG 中的 LLM 时，必须考虑几个维度以进行全面评估： * **指令或聊天：** 确定模型是用于指令目的还是对话交互。指令模型侧重于根据直接查询提供信息，而对话模型则处理多轮对话并保持上下文。 * **上下文长度：** 评估模型处理不同上下文长度的能力。短上下文可能信息不足，而长上下文会带来内存和处理挑战。例如，法律文件可能需要处理数千个 token。 * **领域：** 评估模型在不同领域（如法律或医学）的性能，每个领域都有独特的要求和术语。在通用知识上训练的模型在没有适当调整的情况下，在专业领域可能表现不佳。 * **表格数据问答：** 评估模型理解和推理表格数据的能力，这对于金融和医疗保健领域的任务至关重要。这包括过滤、排序和数值计算。 * **对噪声的鲁棒性：** 衡量模型过滤掉不相关信息并专注于相关细节的能力，尤其是在嘈杂的数据集中。 * **反事实鲁棒性：** 评估模型识别和处理检索文档中不正确或误导性信息的能力。 * **否定拒绝：** 评估模型是否能够识别其信息不足的情况并适当地拒绝回答。 * **信息整合：** 衡量模型综合来自多个文档的信息以提供全面答案的能力。 * **信息更新：** 评估模型处理过时信息的能力，确保响应的及时性和准确性。

评估 RAG 系统中的 LLM 会带来一些挑战，包括主观偏见、高成本和技术限制。依赖主观人类判断的“氛围检查”方法成本高昂且耗时。研究强调了使用人类偏好分数存在的局限性和潜在偏见，呼吁采取更客观的方法。断言性等混淆因素会误导人类评估者，因为更具断言性的输出通常被认为更准确。此外，偏好分数可能无法充分代表事实准确性等关键方面。使用 LLM 作为裁判也带来了挑战。LLM 的判断并不总是与人类的判断相关，而且专有模型可能价格昂贵且缺乏对其训练数据的透明度，这引发了合规性问题。

已经开发了几种指标来全面评估 RAG 系统。RAGAS (Retrieval Augmented Generation Assessment) 是一个无参考评估框架，专注于生成答案与检索上下文的忠实度。它将响应分解为更小的陈述，并逐一与上下文进行验证。然而，这种方法存在问题，稍后会讨论。TruLens 提供了一个 Groundedness 指标，类似于 Context Adherence 和 RAGAS Faithfulness，用于评估响应是否与提供的上下文一致。它将响应分解为句子，并使用 LLM 引用支持性上下文并评估信息重叠度。在此过程中已观察到故障模式。

ChainPoll 是一种新颖的幻觉检测方法，它结合了思维链 (CoT) 提示和多次轮询模型。CoT 提示要求 LLM 逐步解释其推理过程，模仿人类解决问题的过程。轮询涉及多次向 LLM 提出相同的问题并汇总响应以过滤掉随机错误。ChainPoll 对响应进行平均，以提供反映模型确定性水平的分数。该方法与人类反馈的相关性达到 85%，并且优于 SelfCheckGPT 和 G-Eval 等其他方法。ChainPoll 使用 LLM API 的批量请求，效率高且成本效益好。默认情况下，使用 OpenAI 的 GPT-4o-mini，以平衡准确性和成本。有关更深入的了解，请参阅论文 - ChainPoll: A High-Efficacy Method for LLM Hallucination Detection。

Galileo Luna 是一系列评估基础模型 (EFM)，经过微调以在 RAG 环境中进行幻觉检测。Luna 的性能优于 GPT-3.5 和商业评估框架，同时显著降低了成本和延迟。它在 RAGTruth 数据集上表现出色，并显示出出色的泛化能力。Luna 使用动态窗口技术，分别分割输入上下文和响应，提高了幻觉检测的准确性。多任务训练使 EFM 能够共享细粒度的洞察，从而实现更稳健的评估。Luna 在具有合成数据增强的大型高质量数据集上进行训练。Token 级评估提高了透明度，延迟优化使得在 NVIDIA L4 GPU 上处理高达 16k 的输入 token 可以在一秒内完成。

RAGAS 使用与 Galileo 的 Context Adherence 指标类似的 Faithfulness 分数，两者都旨在检查响应是否与给定上下文中的信息匹配。RAGAS 将响应分解为陈述，并单独验证每个陈述，这可能以 ChainPoll 避免的几种方式失败。RAGAS 对拒绝回答的情况处理不佳，将其分配 0 分，这没有帮助。ChainPoll 可以优雅地处理这些情况，检查拒绝是否与上下文一致。例如，如果 LLM 回复，“提供的上下文不包含关于‘在哪里’的信息”，

评估 RAG 系统中的 LLM 需要一种多方面的方法，考虑各种维度和挑战。RAGAS、TruLens、ChainPoll 和 Galileo Luna 等指标提供了不同的评估性能的方法，各有优缺点。通过了解这些评估方法及其局限性，从业者可以构建更稳健、准确和可靠的 RAG 系统。