Guia Abrangente para Avaliação de RAG: Melhores Práticas e Frameworks

Avaliar sistemas de Geração Aumentada por Recuperação (RAG) é crucial para garantir sua precisão, qualidade e estabilidade a longo prazo. Um sistema RAG bem avaliado evita alucinações, enriquece o contexto e maximiza o processo de busca e recuperação. Ao avaliar e ajustar sistematicamente cada componente — recuperação, aumento e geração — os desenvolvedores podem manter uma aplicação GenAI confiável e contextualmente relevante que atenda efetivamente às necessidades do usuário. Este guia fornece melhores práticas para avaliar sistemas RAG, focando na precisão da busca, recall, relevância contextual e precisão da resposta.

Sistemas RAG podem encontrar erros em várias etapas. Na fase de geração, ocorrem alucinações quando o LLM fabrica informações, levando a respostas não fundamentadas na realidade. Respostas enviesadas também são uma preocupação, pois as respostas geradas por LLM podem ser prejudiciais ou inadequadas. Processos de aumento podem sofrer com informações desatualizadas ou lacunas contextuais, resultando em informações incompletas ou fragmentadas. Problemas de recuperação incluem falta de precisão (documentos irrelevantes recuperados) e baixo recall (documentos relevantes não recuperados). O problema 'Lost in the Middle' complica ainda mais as coisas, onde LLMs lutam com contextos longos, especialmente quando informações cruciais estão posicionadas no meio do documento.

Vários frameworks simplificam o processo de avaliação de RAG. Ragas (RAG Assessment) usa um conjunto de dados de perguntas, respostas ideais e contexto relevante para comparar as respostas geradas por um sistema RAG com a verdade fundamental, fornecendo métricas como fidelidade, relevância e similaridade semântica. Quotient AI permite que os desenvolvedores façam upload de conjuntos de dados de avaliação como benchmarks para testar diferentes prompts e LLMs, fornecendo métricas detalhadas sobre fidelidade, relevância e similaridade semântica. Arize Phoenix é uma ferramenta de código aberto que ajuda a melhorar o desempenho do sistema RAG rastreando visualmente como uma resposta é construída passo a passo, identificando lentidões e erros, e calculando métricas chave como latência e uso de tokens.

A ingestão inadequada de dados pode levar à perda de informações contextuais críticas e respostas inconsistentes. Bancos de dados vetoriais suportam várias técnicas de indexação, e é essencial verificar como as mudanças nas variáveis de indexação afetam a ingestão de dados. Preste atenção em como os dados são divididos em chunks. Calibre o tamanho dos chunks de documentos para alinhar com o limite de tokens do modelo de embedding, garantindo uma sobreposição adequada dos chunks para reter o contexto. Desenvolva uma estratégia de chunking/divisão de texto adaptada ao tipo de dado (por exemplo, HTML, markdown, código, PDF) e às nuances do caso de uso. Ferramentas como ChunkViz podem visualizar diferentes estratégias de divisão de chunks, tamanhos de chunks e sobreposições de chunks.

Garantir que o modelo de embedding compreenda e represente os dados com precisão é crucial. Embeddings precisos posicionam pontos de dados semelhantes próximos no espaço vetorial. A qualidade de um modelo de embedding é tipicamente medida usando benchmarks como o Massive Text Embedding Benchmark (MTEB). Escolher o modelo de embedding certo é essencial, pois ele captura relações semânticas nos dados. O MTEB Leaderboard é um ótimo recurso de referência. Considere o desempenho da recuperação e a especificidade do domínio ao escolher um modelo de embedding. Para domínios especializados, selecionar ou treinar um modelo de embedding personalizado pode ser necessário.

A avaliação de recuperação semântica testa a eficácia da recuperação de dados usando métricas como Precision@k, Mean Reciprocal Rank (MRR), Discounted Cumulative Gain (DCG) e Normalized DCG (NDCG). Avaliar a qualidade da recuperação usando essas métricas avalia a eficácia da etapa de recuperação. Para avaliar especificamente o algoritmo Approximate Nearest Neighbor (ANN), Precision@k é a métrica mais apropriada. Configure a recuperação de vetores densos escolhendo a métrica de similaridade correta, como Cosine Similarity, Dot Product, Euclidean Distance ou Manhattan Distance. Use vetores esparsos e busca híbrida onde necessário, aproveitando filtragem simples e definindo hiperparâmetros corretos para estratégia de chunking, tamanho do chunk, sobreposição e tamanho da janela de recuperação. Introduza métodos de re-ranking usando modelos cross-encoder para re-pontuar os resultados retornados pela busca vetorial.

O LLM é responsável por gerar respostas com base no contexto recuperado, e a escolha do LLM influencia significativamente o desempenho do sistema RAG. Considere a qualidade da resposta, o desempenho do sistema (velocidades de inferência) e o conhecimento do domínio. Teste e analise criticamente a qualidade do LLM usando recursos como o Open LLM Leaderboard, que classifica LLMs com base em pontuações em vários benchmarks. Métricas e métodos chave para avaliar LLMs incluem perplexidade, avaliação humana, BLEU, ROUGE, EleutherAI, HELM e diversidade. Muitos frameworks de avaliação de LLM oferecem flexibilidade para acomodar avaliações específicas de domínio ou personalizadas, abordando métricas RAG chave para seu caso de uso.

Crie pares de perguntas e respostas de verdade fundamental a partir de documentos fonte para o conjunto de dados de avaliação. Respostas de verdade fundamental são as respostas precisas esperadas do sistema RAG. Métodos para criá-los incluem a criação manual do conjunto de dados, o uso de LLMs para criar dados sintéticos, o uso do framework Ragas ou o uso de FiddleCube. Uma vez que o conjunto de dados é criado, colete o contexto recuperado e a resposta final gerada pelo pipeline RAG para cada pergunta. As métricas de avaliação incluem a pergunta, a verdade fundamental, o contexto e a resposta.

A avaliação End-to-End (E2E) avalia o desempenho geral de todo o sistema RAG. Fatores chave a serem medidos incluem utilidade, fundamentação, latência, concisão e consistência. Meça a qualidade das respostas geradas com métricas como Similaridade Semântica da Resposta e Correção. A similaridade semântica mede a diferença entre a resposta gerada e a verdade fundamental, enquanto a correção da resposta avalia o acordo geral entre a resposta gerada e a verdade fundamental, combinando correção factual e pontuação de similaridade da resposta.

A avaliação de RAG é a base para a melhoria contínua e o sucesso a longo prazo. Ela ajuda a identificar e resolver problemas imediatos relacionados à precisão da recuperação, relevância contextual e qualidade da resposta. Avalie continuamente a aplicação para garantir que ela se adapte a requisitos em mudança e mantenha seu desempenho ao longo do tempo. Calibre regularmente todos os componentes, como modelos de embedding, algoritmos de recuperação e o próprio LLM. Incorpore feedback do usuário e mantenha-se atualizado com novas técnicas, modelos e frameworks de avaliação à medida que a prática de avaliação de RAG evolui.