Mejora la Evaluación de RAG con las Bases de Conocimiento de Amazon Bedrock

Las organizaciones que desarrollan aplicaciones de IA, especialmente aquellas que utilizan Modelos de Lenguaje Grandes (LLMs) con sistemas de Generación Aumentada por Recuperación (RAG), se enfrentan al desafío crítico de evaluar eficazmente las salidas de IA a lo largo del ciclo de vida de la aplicación. A medida que las tecnologías de IA se vuelven más avanzadas y ampliamente adoptadas, mantener una calidad y un rendimiento consistentes es cada vez más complejo. Los métodos tradicionales de evaluación de IA tienen limitaciones, incluido el carácter lento y costoso de la evaluación humana y la incapacidad de las métricas automatizadas para capturar dimensiones de evaluación matizadas. Amazon Bedrock aborda estos desafíos con nuevas capacidades, incluido LLM-as-a-judge dentro de Amazon Bedrock Evaluations y una herramienta de evaluación RAG para las Bases de Conocimiento de Amazon Bedrock. Estas características combinan la velocidad de la automatización con una comprensión similar a la humana, lo que permite a las organizaciones evaluar las salidas de los modelos de IA, evaluar múltiples dimensiones del rendimiento de la IA y evaluar sistemáticamente tanto la calidad de la recuperación como la de la generación en los sistemas RAG.

Amazon Bedrock Evaluations ofrece varias características clave que hacen que la evaluación RAG en las Bases de Conocimiento de Amazon Bedrock sea particularmente potente: * **Amazon Bedrock Evaluations:** Evalúa las Bases de Conocimiento de Amazon Bedrock directamente dentro del servicio. * **Evaluación Sistemática:** Evalúa sistemáticamente tanto la calidad de la recuperación como la de la generación en sistemas RAG para cambiar los parámetros de tiempo de construcción o tiempo de ejecución de la base de conocimiento. * **Métricas Completas:** Proporciona métricas de evaluación completas, comprensibles y accionables. * **Métricas de Recuperación:** Evalúa la relevancia y cobertura del contexto utilizando un LLM como juez. * **Métricas de Calidad de Generación:** Mide la corrección, la fidelidad (para detectar alucinaciones), la completitud y más. * **Explicaciones en Lenguaje Natural:** Proporciona explicaciones en lenguaje natural para cada puntuación en la salida y en la consola. * **Comparación entre Trabajos:** Compara resultados entre múltiples trabajos de evaluación tanto para la recuperación como para la generación. * **Métricas Normalizadas:** Las puntuaciones de las métricas se normalizan a un rango de 0 a 1. * **Evaluación Escalable:** Escala la evaluación a miles de respuestas. * **Rentable:** Reduce los costos en comparación con la evaluación manual, manteniendo altos estándares de calidad. * **Marco Flexible:** Admite evaluaciones con verdad fundamental (ground truth) y sin referencia. * **Variedad de Métricas:** Equipa a los usuarios para seleccionar entre una variedad de métricas para la evaluación. * **Soporte de Modelos Ajustados (Fine-Tuned):** Admite la evaluación de modelos ajustados o destilados en Amazon Bedrock. * **Elección del Modelo Evaluador:** Proporciona una opción de modelos evaluadores. * **Selección y Comparación de Modelos:** Compara trabajos de evaluación entre diferentes modelos generadores. * **Optimización Basada en Datos:** Facilita la optimización basada en datos del rendimiento del modelo. * **Integración de IA Responsable:** Incorpora métricas de IA responsable integradas como nocividad, negativa a responder y estereotipos. * **Integración Fluida:** Se integra fluidamente con Amazon Bedrock Guardrails.

La característica de evaluación RAG de Bases de Conocimiento de Amazon Bedrock ofrece una solución integral de extremo a extremo para evaluar y optimizar aplicaciones RAG. Este proceso automatizado utiliza el poder de los LLMs para evaluar tanto la calidad de la recuperación como la de la generación, ofreciendo información que puede mejorar significativamente sus aplicaciones de IA. El flujo de trabajo incluye: 1. **Conjunto de Datos de Prompts:** Un conjunto preparado de prompts, que opcionalmente incluye respuestas de verdad fundamental (ground truth). 2. **Archivo JSONL:** El conjunto de datos de prompts convertido al formato JSONL para el trabajo de evaluación. 3. **Bucket de Amazon S3:** Almacenamiento para el archivo JSONL preparado. 4. **Trabajo de Evaluación RAG de Bases de Conocimiento de Amazon Bedrock:** El componente central que procesa los datos, integrándose con Amazon Bedrock Guardrails y Bases de Conocimiento de Amazon Bedrock. 5. **Generación Automatizada de Informes:** Produce un informe completo con métricas detalladas e información a nivel de prompt individual o conversación. 6. **Análisis:** Analiza el informe para obtener información accionable para la optimización del sistema RAG.

La evaluación del sistema RAG requiere un enfoque equilibrado que considere tres aspectos clave: costo, velocidad y calidad. Amazon Bedrock Evaluations se centra principalmente en métricas de calidad, pero comprender los tres componentes ayuda a crear una estrategia de evaluación integral. El costo y la velocidad se ven influenciados por la selección del modelo, los patrones de uso, la recuperación de datos y el consumo de tokens. Para una generación de contenido de alto rendimiento con menor latencia y costos, la destilación de modelos puede ser una solución efectiva. La evaluación de la calidad se proporciona a través de varias dimensiones, incluida la calidad técnica (relevancia del contexto y fidelidad), la alineación comercial (corrección y completitud), la experiencia del usuario (utilidad y coherencia lógica) y las métricas de IA responsable (nocividad, estereotipos y negativa a responder).

Para iniciar un trabajo de evaluación RAG de base de conocimiento utilizando la consola de Amazon Bedrock: 1. Navegue a **Evaluations** (Evaluaciones) en **Inference and Assessment** (Inferencia y Evaluación). 2. Seleccione **Knowledge Bases** (Bases de Conocimiento) y haga clic en **Create** (Crear). 3. Proporcione un **Evaluation name** (Nombre de la evaluación) y **Description** (Descripción), y seleccione un **Evaluator model** (Modelo evaluador). 4. Elija la **Knowledge base** (Base de conocimiento) y el **Evaluation type** (Tipo de evaluación) (Solo recuperación o Recuperación y generación de respuestas). 5. (Opcional) Configure los **Inference parameters** (Parámetros de inferencia) como temperatura, top-P, plantillas de prompt, guardrails y estrategia de búsqueda. 6. Seleccione las **Metrics** (Métricas) que desea utilizar para la evaluación. 7. Proporcione la **S3 URI** para los datos y resultados de la evaluación. 8. Seleccione un rol de servicio (IAM) con los permisos necesarios. 9. Haga clic en **Create** (Crear) para iniciar el trabajo de evaluación. Puede monitorear el progreso del trabajo en la pantalla de evaluaciones de la Base de Conocimiento. Una vez completado, puede ver los detalles del trabajo y el resumen de métricas.

Amazon Bedrock le permite evaluar solo el componente de recuperación o todo el pipeline de recuperación y generación. Evaluar solo la recuperación se centra en la calidad de los contextos recuperados, utilizando métricas como Relevancia del Contexto y Cobertura del Contexto. Evaluar tanto la recuperación como la generación evalúa el rendimiento de extremo a extremo del sistema RAG, considerando la calidad tanto de la información recuperada como de la respuesta generada. La elección depende de si desea aislar problemas en el proceso de recuperación o evaluar el rendimiento general del sistema.

Una vez que el trabajo de evaluación esté completo, puede analizar los resultados para obtener información sobre el rendimiento de su sistema RAG. Amazon Bedrock proporciona un resumen de métricas e informes detallados. Puede comparar dos trabajos de evaluación para comprender cómo las diferentes configuraciones o selecciones impactan el rendimiento. Un gráfico de radar visualiza las fortalezas y debilidades relativas en diferentes dimensiones. Las distribuciones de puntuaciones se muestran a través de histogramas, mostrando puntuaciones promedio y diferencias porcentuales, lo que ayuda a identificar patrones en el rendimiento.

Las nuevas capacidades de evaluación de Amazon Bedrock agilizan el enfoque para el aseguramiento de la calidad de la IA, permitiendo un desarrollo más eficiente y confiado de aplicaciones RAG. Al proporcionar métricas completas, evaluación automatizada e integración fluida con otros servicios de AWS, Amazon Bedrock empodera a las organizaciones para mejorar la calidad de los modelos y las aplicaciones, promover prácticas de IA responsable y tomar decisiones basadas en datos sobre la selección de modelos y la implementación de aplicaciones. Estas características reducen significativamente el tiempo y el costo asociados con los métodos de evaluación tradicionales, manteniendo al mismo tiempo altos estándares de calidad.