Construindo um Chatbot RAG Pronto para Produção com MongoDB Atlas

O MongoDB desenvolveu um chatbot de IA para melhorar a experiência do desenvolvedor, permitindo que os usuários interajam com sua documentação usando linguagem natural. Este chatbot, disponível em mongodb.com/docs, tem como objetivo fornecer acesso mais eficiente e intuitivo às informações do produto. O artigo oferece uma visão técnica do desenvolvimento do chatbot, focando em sua arquitetura de Geração Aumentada por Recuperação (RAG) e no uso do MongoDB Atlas em sua implementação.

O chatbot utiliza uma arquitetura RAG, que aprimora Modelos de Linguagem de Grande Escala (LLMs) ao recuperar informações relevantes da documentação pública do MongoDB. Os principais componentes incluem a Pesquisa Vetorial do MongoDB Atlas para recuperação de informações, a API ChatGPT da Azure OpenAI para geração de respostas e a API de embeddings da Azure OpenAI para converter documentação e consultas em embeddings vetoriais. Essa arquitetura permite que o chatbot forneça respostas contextualizadas com base na documentação mais relevante.

A equipe de desenvolvimento começou com uma abordagem 'RAG ingênua' como seu Produto Mínimo Viável (MVP). Essa implementação simples envolveu duas etapas principais: 1) Ingestão de dados - armazenando pedaços de documentos e seus embeddings vetoriais no MongoDB Atlas, indexados usando Pesquisa Vetorial. 2) Funcionalidade de chat - gerando respostas criando embeddings para perguntas dos usuários, encontrando pedaços correspondentes e resumindo respostas. Este MVP foi desenvolvido rapidamente e testado através de um exercício de red teaming, revelando áreas para melhoria.

O chatbot inicial enfrentou vários desafios, incluindo falta de consciência do contexto da conversa, respostas excessivamente específicas e links de leitura adicional irrelevantes. Esses problemas resultaram em apenas cerca de 60% de respostas satisfatórias durante os testes. Abordar essas limitações tornou-se crucial para criar um chatbot pronto para produção.

Para melhorar o desempenho do chatbot, a equipe implementou várias refinamentos: 1) Ingestão de dados aprimorada com um pipeline de duas etapas para extração de conteúdo e embedding. 2) Estratégia de fragmentação melhorada usando LangChain RecursiveCharacterTextSplitter. 3) Adição de metadados aos pedaços antes do embedding para melhorar o significado semântico. 4) Desenvolvimento de um pré-processador de consultas usando TypeChat para transformar consultas de usuários para melhores resultados de pesquisa vetorial. Essas melhorias aumentaram significativamente a qualidade das respostas do chatbot, alcançando mais de 80% de respostas satisfatórias em testes subsequentes.

O MongoDB Atlas desempenhou um papel crucial em simplificar a infraestrutura do chatbot e aumentar a produtividade dos desenvolvedores. A Pesquisa Vetorial do Atlas foi facilmente configurada e integrada, permitindo consultas eficientes de conteúdo embutido. Usar o MongoDB tanto como banco de dados vetorial quanto como armazenamento de dados da aplicação simplificou o desenvolvimento, permitindo que a equipe se concentrasse na lógica central da aplicação RAG em vez de gerenciar infraestruturas separadas.

O processo de desenvolvimento gerou insights valiosos: 1) Embora começar com RAG ingênuo seja benéfico, é insuficiente para uso em produção. 2) Red teaming regular é crucial para identificar e resolver problemas. 3) Adicionar metadados ao conteúdo e pré-processar consultas de usuários melhora significativamente a qualidade da pesquisa. 4) O MongoDB Atlas se mostra um excelente banco de dados para construir aplicações RAG em produção. Olhando para o futuro, o MongoDB planeja lançar uma estrutura de código aberto para simplificar a criação de aplicações RAG usando sua plataforma, incentivando os desenvolvedores a explorar e construir suas próprias aplicações RAG usando o código-fonte disponível publicamente como referência.