Nutzung von Vektor-Datenspeichern für generative KI-Anwendungen auf AWS

Generative KI verändert Branchen mit ihrer Fähigkeit, Fragen zu beantworten, Geschichten zu schreiben, Kunst zu schaffen und Code zu generieren. Viele AWS-Kunden untersuchen, wie sie generative KI in ihren Organisationen nutzen können. Eine Schlüsselkomponente dieser Strategie ist die Nutzung domänenspezifischer Daten, die einzigartige Einblicke in ihre Unternehmen und Branchen bieten. Vektor-Datenspeicher werden in generativen KI-Anwendungen immer wichtiger, und dieser Artikel untersucht ihre Rolle und wie AWS-Lösungen Ihnen helfen können, die Leistungsfähigkeit der generativen KI zu nutzen.

Das Herzstück generativer KI-Anwendungen sind Large Language Models (LLMs). Diese Machine-Learning-Modelle werden auf riesigen Mengen von Inhalten trainiert, wie z. B. Daten, die im Internet verfügbar sind. Nach dem Training auf öffentlich zugänglichen Daten gelten LLMs als Foundation Models (FMs). Diese Modelle können für verschiedene Anwendungsfälle angepasst und optimiert werden. Amazon SageMaker JumpStart bietet vortrainierte proprietäre und Open-Source-Foundation-Modelle, darunter Text2Image von Stability AI und Text2Text Flan T-5 von Hugging Face. Amazon Bedrock vereinfacht die Erstellung und Skalierung generativer KI-Anwendungen, indem es API-Zugriff auf Modelle von AI21 Labs, Anthropic, Stability AI und Amazon Titan bietet.

Während generative KI-Anwendungen FMs für breites Wissen nutzen können, ist die Anpassung für genaue Ergebnisse in spezifischen oder spezialisierten Domänen entscheidend. Prompt Engineering, oder In-Context Learning, ist eine einfache Methode, um generative KI-Anwendungen in einer bestimmten Domäne zu verankern und die Genauigkeit zu verbessern. Obwohl es Halluzinationen nicht vollständig eliminiert, verengt es die semantische Bedeutung auf Ihre Domäne. FMs leiten das nächste Token basierend auf einer Reihe von Eingabetoken ab. Je mehr Kontext Sie bereitstellen, desto relevanter ist das abgeleitete Token wahrscheinlich. Der Prompt, der zur Abfrage des FM verwendet wird, sollte Eingabetoken und so viele kontextuell relevante Daten wie möglich enthalten. Vektor-Datenspeicher helfen bei der Gestaltung von Prompts mit semantisch relevanten Eingaben, eine Methode, die als Retrieval Augmented Generation (RAG) bekannt ist. In der Praxis könnten Sie einen Prompt mit kontextuell relevanten personalisierten Daten und Daten mit ähnlicher Semantik entwerfen.

RAG verwendet Embeddings (Vektoren), um die Genauigkeit generativer KI-Anwendungen zu verbessern. Domänenspezifische Daten werden in semantische Elemente aufgeteilt, und FMs berechnen Vektoren für diese Elemente. Diese Vektoren werden in einem Vektor-Datenspeicher gespeichert, was Ähnlichkeitssuchen ermöglicht. In einer generativen KI-Anwendung wird die Abfrage eines Benutzers in semantische Elemente aufgeteilt, und der Vektor-Datenspeicher wird abgefragt, um die nächsten Nachbarn im Vektorraum zu finden. Dies liefert kontextuell ähnliche semantische Elemente, die dem Prompt hinzugefügt werden. Dieser Prozess hilft dem LLM, auf Ihrem domänenspezifischen Kontext aufzubauen, was die Wahrscheinlichkeit einer genauen und kontextuell relevanten Ausgabe erhöht.

Mehrere Faktoren sind bei der Betrachtung von Vektor-Datenspeichern entscheidend. Die Menge der domänenspezifischen Daten und der Prozess der Aufteilung in semantische Elemente bestimmen die Anzahl der Embeddings, die der Vektor-Datenspeicher unterstützen muss. Dies kann die Indizierungseffizienz und die Leistung bei der Skalierung beeinflussen. Die Dimensionalität der Embedding-Vektoren ist ebenfalls wichtig. Verschiedene FMs generieren Vektoren mit unterschiedlichen Dimensionen. Höhere Dimensionen können reichhaltigeren Kontext darstellen, aber es gibt abnehmende Erträge und erhöhte Abfragelatenz. Data Governance ist ein weiterer wichtiger Aspekt, da domänenspezifische Datensätze sensible Daten enthalten können. Es ist wichtig, den Datenfluss durch Systeme zu kontrollieren, die Embeddings erstellen, speichern und abfragen.

AWS bietet mehrere Optionen für Vektor-Datenspeicher. Aurora PostgreSQL-kompatible relationale Datenbank mit der pgvector-Erweiterung bietet Vektordatentypen und Ähnlichkeitssuchoperatoren. Amazon OpenSearch Service mit dem k-NN-Plugin und die Vektor-Engine von Amazon OpenSearch Serverless bieten ebenfalls Vektorfunktionen. Die Wahl hängt von Faktoren ab wie dem aktuellen Speicherort Ihrer Daten, der Vertrautheit mit diesen Technologien, der Skalierung der Vektordimensionen, der Anzahl der Embeddings und den Leistungsanforderungen.

Der beste AWS-Vektor-Datenspeicher hängt von Ihrem spezifischen Anwendungsfall und Ihren Prioritäten ab. Wenn Sie stark in relationale Datenbanken, insbesondere PostgreSQL, investiert sind, ist Aurora PostgreSQL mit der pgvector-Erweiterung eine gute Option. Für Vektordaten-Repositories in großem Maßstab ist OpenSearch Service aufgrund seiner verteilten Natur eine starke Wahl. Die Vektor-Engine von OpenSearch Serverless bietet eine einfache Möglichkeit, mit der Vektor-Ähnlichkeitssuche zu beginnen. Berücksichtigen Sie Amazon Kendra für eine vollständig verwaltete semantische Sucherfahrung. LangChain unterstützt Aurora PostgreSQL mit pgvector, die Vektor-Engine von OpenSearch Serverless und OpenSearch Service mit k-NN.

Embeddings sollten nahe an Ihren domänenspezifischen Datensätzen gespeichert und verwaltet werden. Dies ermöglicht es Ihnen, Embedding-Daten mit anderen Metadaten ohne externe Datenquellen zu kombinieren. Die Speicherung von Embeddings nahe den Quelldaten vereinfacht Datenpipelines und hält Embeddings auf dem neuesten Stand. Aurora PostgreSQL mit pgvector, die Vektor-Engine von OpenSearch Serverless und Amazon OpenSearch Service mit dem k-NN-Plugin sind allesamt praktikable Optionen. Sie können Prompt Engineering mit Foundation Models von SageMaker JumpStart und Amazon Bedrock kombinieren, um innovative generative KI-Lösungen zu entwickeln. Dies ist ein sich schnell entwickelndes Feld, bleiben Sie also über die neuesten Entwicklungen auf dem Laufenden. Beginnen Sie noch heute mit der Entwicklung generativer KI-Anwendungen auf AWS!