RAG-Anwendungen mit GKE und Cloud SQL erstellen

Dieser Artikel untersucht eine Referenzarchitektur für die Bereitstellung von Retrieval Augmented Generation (RAG)-Anwendungen auf Google Cloud, unter Nutzung von Google Kubernetes Engine (GKE), Cloud SQL und gängigen Open-Source-Tools. RAG verbessert die Qualität von Generative AI-Ausgaben, indem es sie auf abgerufene Kenntnisse stützt, was es ideal für Anwendungen macht, die genaue und kontextbezogene Antworten erfordern. Diese Anleitung richtet sich an Entwickler, die mit GKE und Cloud SQL vertraut sind und ein konzeptionelles Verständnis von KI, maschinellem Lernen (ML) und großen Sprachmodellen (LLMs) haben. Wir werden uns mit den Komponenten der Architektur, dem Datenfluss und wichtigen Überlegungen für den Aufbau eines robusten und effizienten RAG-Systems befassen.

Die Architektur besteht aus zwei Hauptuntersystemen: dem Embedding-Untersystem und dem Service-Untersystem. Das Embedding-Untersystem ist für die Aufnahme von Daten aus verschiedenen Quellen, deren Umwandlung in Vektor-Embeddings und die Speicherung dieser Embeddings in einer Vektordatenbank zuständig. Das Service-Untersystem bearbeitet Benutzeranfragen, ruft relevante Informationen mithilfe semantischer Suche aus der Vektordatenbank ab und generiert Antworten mithilfe eines LLM. Diese Trennung der Zuständigkeiten ermöglicht eine effiziente Datenverarbeitung und skalierbare Servicebereitstellung.

Daten aus internen und externen Quellen werden in Cloud Storage hochgeladen. Dieser Upload löst ein Ereignis aus, das den Embedding-Service benachrichtigt. Der Embedding-Service ruft dann die Daten ab, verarbeitet sie mit Ray Data (was Chunking und Formatierung beinhalten kann) und generiert Vektor-Embeddings mithilfe von Open-Source-Modellen wie intfloat/multilingual-e5-small. Diese Embeddings werden dann in eine Cloud SQL for PostgreSQL-Vektordatenbank geschrieben, die für die Speicherung und Abfrage von hochdimensionalen Vektoren optimiert ist.

Ein Benutzer sendet eine natürlichsprachliche Anfrage über eine webbasierte Chat-Oberfläche. Der Front-End-Server, der auf GKE läuft, verwendet LangChain, um die Anfrage in ein Embedding umzuwandeln. Dieses Embedding wird verwendet, um eine semantische Suche in der Vektordatenbank durchzuführen und relevante Daten abzurufen. Die ursprüngliche Anfrage wird dann mit den abgerufenen Daten kombiniert, um einen kontextualisierten Prompt zu erstellen, der an den Inference-Server gesendet wird. Der Inference-Server, der von Hugging Face TGI angetrieben wird, verwendet ein Open-Source-LLM (z. B. Mistral-7B-Instruct oder Gemma), um eine Antwort zu generieren. Die Antwort wird mithilfe von Responsible AI (RAI)-Diensten auf Sicherheit gefiltert, bevor sie an den Benutzer zurückgesendet wird.

Diese Architektur nutzt mehrere wichtige Google Cloud- und Open-Source-Produkte. Google Kubernetes Engine (GKE) bietet die Container-Orchestrierungsplattform. Cloud Storage bietet skalierbaren Objektspeicher. Cloud SQL for PostgreSQL, erweitert mit der pgvector-Erweiterung, dient als Vektordatenbank. Zu den Open-Source-Tools gehören Hugging Face Text Generation Inference (TGI) für LLM-Serving, Ray für verteilte Berechnungen und LangChain für die Erstellung von LLM-gestützten Anwendungen.

RAG ist für verschiedene Szenarien anwendbar. Für personalisierte Produktempfehlungen kann ein Chatbot historische Benutzerdaten nutzen, um relevantere Vorschläge zu machen. In der klinischen Assistenz können Ärzte RAG nutzen, um auf Patientenhistorien und externe Wissensdatenbanken zuzugreifen, um Diagnosen zu verbessern. In der juristischen Recherche können Anwälte schnell Vorschriften und Fallrecht abfragen, ergänzt durch Daten aus internen Verträgen und Fallakten.

Für eine vollständig verwaltete Vektorsuchlösung sollten Sie Vertex AI und Vector Search in Betracht ziehen. Alternativ können Sie die Vektorspeicherfunktionen anderer Google Cloud-Datenbanken wie AlloyDB for PostgreSQL nutzen. Diese Alternativen bieten unterschiedliche Kompromisse in Bezug auf Verwaltungsaufwand und Leistung.

Sicherheit hat oberste Priorität. Nutzen Sie die integrierten Sicherheitsfunktionen von GKE Autopilot. Implementieren Sie Identity-Aware Proxy (IAP) für die Zugriffskontrolle. Verschlüsseln Sie Daten im Ruhezustand und während der Übertragung mit Cloud KMS. Erzwingen Sie für Cloud SQL sichere Verbindungen über SSL/TLS oder den Cloud SQL Auth Proxy. Verwenden Sie Sensitive Data Protection, um sensible Daten in Cloud Storage zu identifizieren und zu anonymisieren. Nutzen Sie VPC Service Controls, um Datenexfiltration zu verhindern. Stellen Sie die Einhaltung von Datenresidenzanforderungen sicher, indem Sie die entsprechende Region für die Datenspeicherung angeben.

Stellen Sie eine hohe Verfügbarkeit sicher, indem Sie regionale GKE-Cluster verwenden und Cloud SQL-Instanzen mit hoher Verfügbarkeit konfigurieren. Nutzen Sie regionale oder multiregionale Speicheroptionen von Cloud Storage für Datenredundanz. Erwägen Sie die Nutzung reservierter Kapazitäten für GPU-Ressourcen, um die Verfügbarkeit während Autoskalierungsereignissen zu gewährleisten.

Optimieren Sie die Kosten, indem Sie die Effizienz von GKE Autopilot nutzen. Berücksichtigen Sie Committed Use Discounts für vorhersehbare Workloads. Verwenden Sie Spot-VMs für GKE-Knoten, um die Compute-Kosten zu senken. Verwenden Sie für Cloud SQL eigenständige Instanzen, wenn keine hohe Verfügbarkeit erforderlich ist. Nutzen Sie die Kosteneinsichten von Cloud SQL, um überdimensionierte Instanzen zu identifizieren. Wählen Sie die entsprechende Cloud Storage-Klasse basierend auf der Zugriffshäufigkeit und den Aufbewahrungsanforderungen der Daten.

Wählen Sie die geeignete Compute-Kategorie für GKE-Pods basierend auf den Leistungsanforderungen. Verwenden Sie GPU-Maschinentypen für Inference-Server und Embedding-Dienste. Optimieren Sie die Cloud SQL-Leistung, indem Sie ausreichend CPU und Speicher zuweisen. Verwenden Sie IVFFlat- oder HNSW-Indizes für eine schnellere ungefähre Nächste-Nachbar-Suche (ANN). Nutzen Sie das Query Insights-Tool von Cloud SQL, um Leistungsengpässe zu identifizieren und zu beheben. Für große Datei-Uploads nach Cloud Storage sollten Sie parallele Composite-Uploads in Betracht ziehen.

Ein Beispiel-Code ist auf GitHub verfügbar, um diese Architektur bereitzustellen. Dieser Code ist für Experimente und nicht für den Produktionseinsatz gedacht. Er stellt Cloud SQL bereit, deployt Ray, JupyterHub und Hugging Face TGI auf GKE und deployt eine Beispiel-Chatbot-Anwendung. Denken Sie daran, alle ungenutzten Ressourcen nach dem Experimentieren zu entfernen. Erkunden Sie weiter, indem Sie GKE-Best Practices überprüfen, die Generative AI-Grounding-Optionen von Google Cloud untersuchen und Architekturen mit Vertex AI und Vector Search oder AlloyDB studieren. Konsultieren Sie das Well-Architected Framework für KI und maschinelles Lernen für Architekturprinzipien und Empfehlungen.