Construindo Aplicações RAG com GKE e Cloud SQL

Este artigo explora uma arquitetura de referência para implantar aplicações de Geração Aumentada por Recuperação (RAG) no Google Cloud, utilizando Google Kubernetes Engine (GKE), Cloud SQL e ferramentas populares de código aberto. RAG aprimora a qualidade das saídas de IA Generativa, fundamentando-as em conhecimento recuperado, tornando-o ideal para aplicações que exigem respostas precisas e conscientes do contexto. Este guia é voltado para desenvolvedores familiarizados com GKE e Cloud SQL, e que possuem um entendimento conceitual de IA, Machine Learning (ML) e Modelos de Linguagem Grandes (LLMs). Vamos nos aprofundar nos componentes da arquitetura, fluxo de dados e considerações chave para construir um sistema RAG robusto e eficiente.

A arquitetura compreende dois subsistemas principais: o subsistema de embedding e o subsistema de serviço. O subsistema de embedding é responsável por ingerir dados de várias fontes, transformá-los em embeddings vetoriais e armazenar esses embeddings em um banco de dados vetorial. O subsistema de serviço lida com as requisições do usuário, recupera informações relevantes do banco de dados vetorial usando busca semântica e gera respostas usando um LLM. Essa separação de responsabilidades permite o processamento eficiente de dados e a entrega escalável de serviços.

Dados de fontes internas e externas são carregados no Cloud Storage. Esse upload aciona um evento que notifica o serviço de embedding. O serviço de embedding então recupera os dados, pré-processa-os usando Ray Data (que pode envolver chunking e formatação) e gera embeddings vetoriais usando modelos de código aberto como intfloat/multilingual-e5-small. Esses embeddings são então gravados em um banco de dados vetorial Cloud SQL para PostgreSQL, que é otimizado para armazenar e recuperar vetores de alta dimensão.

Um usuário envia uma requisição em linguagem natural através de uma interface de chat baseada na web. O servidor front-end, rodando no GKE, usa LangChain para converter a requisição em um embedding. Este embedding é usado para realizar uma busca semântica no banco de dados vetorial, recuperando dados relevantes. A requisição original é então combinada com os dados recuperados para criar um prompt contextualizado, que é enviado ao servidor de inferência. O servidor de inferência, alimentado por Hugging Face TGI, usa um LLM de código aberto (por exemplo, Mistral-7B-Instruct ou Gemma) para gerar uma resposta. A resposta é filtrada por segurança usando serviços de IA Responsável (RAI) antes de ser enviada de volta ao usuário.

Esta arquitetura utiliza vários produtos chave do Google Cloud e de código aberto. Google Kubernetes Engine (GKE) fornece a plataforma de orquestração de contêineres. Cloud Storage oferece armazenamento de objetos escalável. Cloud SQL para PostgreSQL, aprimorado com a extensão pgvector, serve como o banco de dados vetorial. Ferramentas de código aberto incluem Hugging Face Text Generation Inference (TGI) para servir LLMs, Ray para computação distribuída e LangChain para construir aplicações com LLMs.

RAG é aplicável a vários cenários. Para recomendações personalizadas de produtos, um chatbot pode alavancar dados históricos do usuário para fornecer sugestões mais relevantes. Em assistência clínica, médicos podem usar RAG para acessar histórico de pacientes e bases de conhecimento externas para diagnósticos aprimorados. Em pesquisa jurídica, advogados podem consultar rapidamente regulamentos e jurisprudência, aprimorados por dados de contratos internos e registros de casos.

Para uma solução de busca vetorial totalmente gerenciada, considere usar Vertex AI e Vector Search. Alternativamente, você pode alavancar as capacidades de armazenamento vetorial de outros bancos de dados do Google Cloud, como AlloyDB para PostgreSQL. Essas alternativas oferecem diferentes trade-offs em termos de sobrecarga de gerenciamento e desempenho.

Segurança é primordial. Utilize os recursos de segurança integrados do GKE Autopilot. Implemente Identity-Aware Proxy (IAP) para controle de acesso. Criptografe dados em repouso e em trânsito usando Cloud KMS. Para Cloud SQL, imponha conexões seguras usando SSL/TLS ou o proxy de autenticação Cloud SQL. Use Sensitive Data Protection para identificar e desidentificar dados sensíveis no Cloud Storage. Alavanque VPC Service Controls para prevenir exfiltração de dados. Garanta a conformidade com os requisitos de residência de dados especificando a região apropriada para o armazenamento de dados.

Garanta alta disponibilidade usando clusters GKE regionais e configurando instâncias Cloud SQL com alta disponibilidade. Utilize opções de armazenamento regional ou multirregional do Cloud Storage para redundância de dados. Considere usar capacidade reservada para recursos de GPU para garantir disponibilidade durante eventos de autoescalonamento.

Otimize custos alavancando a eficiência do GKE Autopilot. Considere Descontos por Compromisso de Uso para cargas de trabalho previsíveis. Use Spot VMs para nós GKE para reduzir custos de computação. Para Cloud SQL, use instâncias standalone se alta disponibilidade não for necessária. Utilize os insights de análise de custos do Cloud SQL para identificar instâncias superprovisionadas. Escolha a classe apropriada de Cloud Storage com base na frequência de acesso aos dados e nos requisitos de retenção.

Selecione a categoria de computação apropriada para pods GKE com base nos requisitos de desempenho. Use tipos de máquina com GPU para servidores de inferência e serviços de embedding. Otimize o desempenho do Cloud SQL alocando CPU e memória suficientes. Use índices IVFFlat ou HNSW para busca vetorial aproximada de vizinhos mais próximos (ANN) mais rápida. Utilize a ferramenta Query Insights do Cloud SQL para identificar e resolver gargalos de desempenho. Para uploads de arquivos grandes para o Cloud Storage, considere usar uploads compostos paralelos.

Um exemplo de codebase está disponível no GitHub para implantar esta arquitetura. Este código destina-se à experimentação e não ao uso em produção. Ele provisiona Cloud SQL, implanta Ray, JupyterHub e Hugging Face TGI no GKE, e implanta uma aplicação de chatbot de exemplo. Lembre-se de remover quaisquer recursos não utilizados após a experimentação. Explore mais revisando as melhores práticas do GKE, investigando as opções de grounding de IA Generativa do Google Cloud e estudando arquiteturas que usam Vertex AI e Vector Search ou AlloyDB. Consulte o Well-Architected Framework para IA e Machine Learning para princípios e recomendações arquitetônicas.