Guía Completa para la Evaluación de RAG: Mejores Prácticas y Marcos de Trabajo

Evaluar los sistemas de Generación Aumentada por Recuperación (RAG) es crucial para garantizar su precisión, calidad y estabilidad a largo plazo. Un sistema RAG bien evaluado evita alucinaciones, enriquece el contexto y maximiza el proceso de búsqueda y recuperación. Al evaluar y ajustar sistemáticamente cada componente —recuperación, aumento y generación— los desarrolladores pueden mantener una aplicación GenAI fiable y contextualmente relevante que satisfaga eficazmente las necesidades del usuario. Esta guía proporciona las mejores prácticas para evaluar sistemas RAG, centrándose en la precisión de la búsqueda, la exhaustividad, la relevancia contextual y la precisión de la respuesta.

Los sistemas RAG pueden encontrar errores en varias etapas. En la fase de generación, ocurren alucinaciones cuando el LLM inventa información, lo que lleva a respuestas que no se basan en la realidad. Las respuestas sesgadas también son una preocupación, ya que las respuestas generadas por LLM pueden ser perjudiciales o inapropiadas. Los procesos de aumento pueden verse afectados por información desactualizada o lagunas contextuales, lo que resulta en información incompleta o fragmentada. Los problemas de recuperación incluyen falta de precisión (documentos irrelevantes recuperados) y mala exhaustividad (documentos relevantes no recuperados). El problema del 'Perdido en el Medio' complica aún más las cosas, donde los LLM luchan con contextos largos, especialmente cuando la información crucial se encuentra en el medio del documento.

Varios marcos de trabajo simplifican el proceso de evaluación de RAG. Ragas (RAG Assessment) utiliza un conjunto de datos de preguntas, respuestas ideales y contexto relevante para comparar las respuestas generadas por un sistema RAG con la verdad fundamental, proporcionando métricas como fidelidad, relevancia y similitud semántica. Quotient AI permite a los desarrolladores cargar conjuntos de datos de evaluación como puntos de referencia para probar diferentes prompts y LLMs, proporcionando métricas detalladas sobre fidelidad, relevancia y similitud semántica. Arize Phoenix es una herramienta de código abierto que ayuda a mejorar el rendimiento del sistema RAG rastreando visualmente cómo se construye una respuesta paso a paso, identificando ralentizaciones y errores, y calculando métricas clave como latencia y uso de tokens.

La ingesta de datos inadecuada puede provocar la pérdida de información contextual crítica y respuestas inconsistentes. Las bases de datos vectoriales admiten varias técnicas de indexación, y es esencial comprobar cómo los cambios en las variables de indexación afectan la ingesta de datos. Preste atención a cómo se fragmentan los datos. Calibre el tamaño de los fragmentos de documentos para que coincida con el límite de tokens del modelo de incrustación, asegurando una superposición adecuada de fragmentos para retener el contexto. Desarrolle una estrategia de fragmentación/división de texto adaptada al tipo de datos (por ejemplo, HTML, markdown, código, PDF) y a los matices del caso de uso. Herramientas como ChunkViz pueden visualizar diferentes estrategias de división de fragmentos, tamaños de fragmentos y superposiciones de fragmentos.

Garantizar que el modelo de incrustación comprenda y represente con precisión los datos es crucial. Las incrustaciones precisas posicionan los puntos de datos similares cerca en el espacio vectorial. La calidad de un modelo de incrustación se mide típicamente utilizando puntos de referencia como el Massive Text Embedding Benchmark (MTEB). Elegir el modelo de incrustación correcto es esencial, ya que captura las relaciones semánticas en los datos. El MTEB Leaderboard es un gran recurso de referencia. Considere el rendimiento de la recuperación y la especificidad del dominio al elegir un modelo de incrustación. Para dominios especializados, puede ser necesario seleccionar o entrenar un modelo de incrustación personalizado.

La evaluación de la recuperación semántica prueba la efectividad de la recuperación de datos utilizando métricas como Precision@k, Mean Reciprocal Rank (MRR), Discounted Cumulative Gain (DCG) y Normalized DCG (NDCG). Evaluar la calidad de la recuperación utilizando estas métricas evalúa la efectividad del paso de recuperación. Para evaluar específicamente el algoritmo Approximate Nearest Neighbor (ANN), Precision@k es la métrica más apropiada. Configure la recuperación de vectores densos eligiendo la métrica de similitud correcta, como Similitud del Coseno, Producto Punto, Distancia Euclidiana o Distancia de Manhattan. Utilice vectores dispersos y búsqueda híbrida cuando sea necesario, aprovechando el filtrado simple y estableciendo los hiperparámetros correctos para la estrategia de fragmentación, el tamaño del fragmento, la superposición y el tamaño de la ventana de recuperación. Introduzca métodos de reordenación utilizando modelos de cross-encoder para re-puntuar los resultados devueltos por la búsqueda vectorial.

El LLM es responsable de generar respuestas basadas en el contexto recuperado, y la elección del LLM influye significativamente en el rendimiento del sistema RAG. Considere la calidad de la respuesta, el rendimiento del sistema (velocidades de inferencia) y el conocimiento del dominio. Pruebe y analice críticamente la calidad del LLM utilizando recursos como el Open LLM Leaderboard, que clasifica los LLMs según las puntuaciones en varios puntos de referencia. Las métricas y métodos clave para evaluar LLMs incluyen perplejidad, evaluación humana, BLEU, ROUGE, EleutherAI, HELM y diversidad. Muchos marcos de evaluación de LLMs ofrecen flexibilidad para adaptarse a evaluaciones específicas del dominio o personalizadas, abordando métricas clave de RAG para su caso de uso.

Cree pares de preguntas y respuestas de verdad fundamental a partir de documentos fuente para el conjunto de datos de evaluación. Las respuestas de verdad fundamental son las respuestas precisas esperadas del sistema RAG. Los métodos para crearlos incluyen la elaboración manual del conjunto de datos, el uso de LLMs para crear datos sintéticos, el uso del marco Ragas o el uso de FiddleCube. Una vez creado el conjunto de datos, recopile el contexto recuperado y la respuesta final generada por el pipeline RAG para cada pregunta. Las métricas de evaluación incluyen la pregunta, la verdad fundamental, el contexto y la respuesta.

La evaluación End-to-End (E2E) evalúa el rendimiento general de todo el sistema RAG. Los factores clave a medir incluyen utilidad, fundamentación, latencia, concisión y consistencia. Mida la calidad de las respuestas generadas con métricas como Similitud Semántica de la Respuesta y Corrección. La similitud semántica mide la diferencia entre la respuesta generada y la verdad fundamental, mientras que la corrección de la respuesta evalúa el acuerdo general entre la respuesta generada y la verdad fundamental, combinando la corrección fáctica y la puntuación de similitud de la respuesta.

La evaluación de RAG es la base para la mejora continua y el éxito a largo plazo. Ayuda a identificar y abordar problemas inmediatos relacionados con la precisión de la recuperación, la relevancia contextual y la calidad de la respuesta. Evalúe continuamente la aplicación para garantizar que se adapta a los requisitos cambiantes y mantiene su rendimiento a lo largo del tiempo. Calibre regularmente todos los componentes, como los modelos de incrustación, los algoritmos de recuperación y el propio LLM. Incorpore los comentarios de los usuarios y manténgase actualizado con nuevas técnicas, modelos y marcos de evaluación a medida que evoluciona la práctica de la evaluación de RAG.