Exploiter les banques de données vectorielles pour les applications d'IA générative sur AWS

L'IA générative transforme les industries grâce à sa capacité à répondre à des questions, écrire des histoires, créer de l'art et générer du code. De nombreux clients AWS explorent comment exploiter l'IA générative au sein de leurs organisations. Un élément clé de cette stratégie implique l'utilisation de données spécifiques à un domaine, qui fournissent des informations uniques sur leurs entreprises et leurs industries. Les banques de données vectorielles deviennent de plus en plus importantes dans les applications d'IA générative, et cet article explore leur rôle et comment les solutions AWS peuvent vous aider à exploiter la puissance de l'IA générative.

Au cœur des applications d'IA générative se trouvent les grands modèles linguistiques (LLM). Ces modèles d'apprentissage automatique sont entraînés sur de vastes quantités de contenu, telles que les données disponibles sur Internet. Après avoir été entraînés sur des données accessibles au public, les LLM sont considérés comme des modèles fondamentaux (FM). Ces modèles peuvent être adaptés et optimisés pour divers cas d'utilisation. Amazon SageMaker JumpStart propose des modèles fondamentaux pré-entraînés, propriétaires et open-source, notamment Text2Image de Stability AI et Text2Text Flan T-5 de Hugging Face. Amazon Bedrock simplifie la création et la mise à l'échelle d'applications d'IA générative en fournissant un accès API à des modèles d'AI21 Labs, Anthropic, Stability AI et Amazon Titan.

Bien que les applications d'IA générative puissent exploiter les FM pour une connaissance générale, leur personnalisation est cruciale pour des résultats précis dans des domaines spécifiques ou spécialisés. L'ingénierie des prompts, ou apprentissage en contexte, est une méthode simple pour ancrer les applications d'IA générative dans un domaine spécifique et améliorer la précision. Bien qu'elle n'élimine pas complètement les hallucinations, elle restreint le sens sémantique à votre domaine. Les FM infèrent le prochain token en se basant sur un ensemble de tokens d'entrée. Plus vous fournissez de contexte, plus le token inféré sera pertinent. Le prompt utilisé pour interroger le FM doit contenir des tokens d'entrée et autant de données pertinentes sur le plan contextuel que possible. Les banques de données vectorielles aident à concevoir des prompts avec des entrées sémantiquement pertinentes, une méthode connue sous le nom de Génération Augmentée par Récupération (RAG). En pratique, vous pourriez concevoir un prompt en utilisant des données personnalisées pertinentes sur le plan contextuel et des données de sémantique similaire.

La RAG utilise des embeddings (vecteurs) pour améliorer la précision des applications d'IA générative. Les données spécifiques à un domaine sont divisées en éléments sémantiques, et les FM calculent des vecteurs pour ces éléments. Ces vecteurs sont stockés dans une banque de données vectorielle, permettant des recherches de similarité. Dans une application d'IA générative, la requête d'un utilisateur est divisée en éléments sémantiques, et la banque de données vectorielle est interrogée pour trouver les voisins les plus proches dans l'espace vectoriel. Cela fournit des éléments sémantiques contextuellement similaires, qui sont ajoutés au prompt. Ce processus aide le LLM à s'appuyer sur votre contexte spécifique au domaine, augmentant la probabilité d'une sortie précise et contextuellement pertinente.

Plusieurs facteurs sont cruciaux lors de l'examen des banques de données vectorielles. La quantité de données spécifiques à un domaine et le processus de division en éléments sémantiques déterminent le nombre d'embeddings que la banque de données vectorielle doit prendre en charge. Cela peut avoir un impact sur l'efficacité de l'indexation et les performances à grande échelle. La dimensionnalité des vecteurs d'embeddings est également importante. Différents FM génèrent des vecteurs avec des dimensions variables. Des dimensions plus élevées peuvent représenter un contexte plus riche, mais il y a des rendements décroissants et une latence de requête accrue. La gouvernance des données est une autre considération clé, car les ensembles de données spécifiques à un domaine peuvent contenir des données sensibles. Il est important de contrôler le flux de données à travers les systèmes qui créent, stockent et interrogent les embeddings.

AWS propose plusieurs options pour les banques de données vectorielles. La base de données relationnelle compatible Aurora PostgreSQL avec l'extension pgvector fournit des types de données vectorielles et des opérateurs de recherche de similarité. Amazon OpenSearch Service avec le plugin k-NN et le moteur vectoriel d'Amazon OpenSearch Serverless offrent également des capacités vectorielles. Le choix dépend de facteurs tels que l'endroit où vous stockez actuellement vos données, votre familiarité avec ces technologies, la mise à l'échelle des dimensions vectorielles, le nombre d'embeddings et les besoins en performance.

La meilleure banque de données vectorielle AWS dépend de votre cas d'utilisation spécifique et de vos priorités. Si vous êtes fortement investi dans les bases de données relationnelles, en particulier PostgreSQL, Aurora PostgreSQL avec l'extension pgvector est une bonne option. Pour les dépôts de données vectorielles à grande échelle, OpenSearch Service est un choix solide en raison de sa nature distribuée. Le moteur vectoriel d'OpenSearch Serverless offre un moyen simple de commencer avec la recherche de similarité vectorielle. Envisagez Amazon Kendra pour une expérience de recherche sémantique entièrement gérée. LangChain prend en charge Aurora PostgreSQL avec pgvector, le moteur vectoriel d'OpenSearch Serverless et OpenSearch Service avec k-NN.

Les embeddings doivent être stockés et gérés à proximité de vos ensembles de données spécifiques à un domaine. Cela vous permet de combiner les données d'embeddings avec d'autres métadonnées sans sources de données externes. Stocker les embeddings à proximité des données sources simplifie les pipelines de données et maintient les embeddings à jour. Aurora PostgreSQL avec pgvector, le moteur vectoriel d'OpenSearch Serverless et Amazon OpenSearch Service avec le plugin k-NN sont toutes des options viables. Vous pouvez combiner l'ingénierie des prompts avec des modèles fondamentaux de SageMaker JumpStart et Amazon Bedrock pour construire des solutions d'IA générative innovantes. C'est un domaine en évolution rapide, alors restez informé des derniers développements. Commencez à construire des applications d'IA générative sur AWS dès aujourd'hui !