Aprovechamiento de Almacenes de Datos Vectoriales para Aplicaciones de IA Generativa en AWS

La IA generativa está transformando industrias con su capacidad para responder preguntas, escribir historias, crear arte y generar código. Muchos clientes de AWS están explorando cómo aprovechar la IA generativa dentro de sus organizaciones. Un componente clave de esta estrategia implica la utilización de datos específicos del dominio, que proporcionan información única sobre sus negocios e industrias. Los almacenes de datos vectoriales son cada vez más importantes en las aplicaciones de IA generativa, y este artículo explora su papel y cómo las soluciones de AWS pueden ayudarle a aprovechar el poder de la IA generativa.

En el corazón de las aplicaciones de IA generativa se encuentran los Modelos de Lenguaje Grandes (LLM). Estos modelos de aprendizaje automático se entrenan con grandes cantidades de contenido, como los datos disponibles en Internet. Después de entrenarse con datos de acceso público, los LLM se consideran modelos fundacionales (FM). Estos modelos se pueden adaptar y optimizar para diversos casos de uso. Amazon SageMaker JumpStart ofrece modelos fundacionales propietarios y de código abierto preentrenados, como Text2Image de Stability AI y Text2Text Flan T-5 de Hugging Face. Amazon Bedrock simplifica la creación y escalado de aplicaciones de IA generativa al proporcionar acceso a través de API a modelos de AI21 Labs, Anthropic, Stability AI y Amazon Titan.

Si bien las aplicaciones de IA generativa pueden aprovechar los FM para un conocimiento amplio, personalizarlos es crucial para obtener resultados precisos en dominios específicos o especializados. La ingeniería de prompts, o el aprendizaje en contexto, es un método sencillo para anclar las aplicaciones de IA generativa en un dominio específico y mejorar la precisión. Si bien no elimina por completo las alucinaciones, reduce el significado semántico a su dominio. Los FM infieren el siguiente token basándose en un conjunto de tokens de entrada. Cuanto más contexto proporcione, más probable será que el token inferido sea relevante. El prompt utilizado para consultar el FM debe contener tokens de entrada y tantos datos contextualmente relevantes como sea posible. Los almacenes de datos vectoriales ayudan a diseñar prompts con entradas semánticamente relevantes, un método conocido como Generación Aumentada por Recuperación (RAG). En la práctica, puede diseñar un prompt utilizando datos personalizados contextualmente relevantes y datos con semántica similar.

RAG utiliza embeddings (vectores) para mejorar la precisión de las aplicaciones de IA generativa. Los datos específicos del dominio se dividen en elementos semánticos, y los FM calculan vectores para estos elementos. Estos vectores se almacenan en un almacén de datos vectoriales, lo que permite búsquedas de similitud. En una aplicación de IA generativa, la consulta de un usuario se divide en elementos semánticos, y se consulta el almacén de datos vectoriales para encontrar los vecinos más cercanos en el espacio vectorial. Esto proporciona elementos semánticos contextualmente similares, que se añaden al prompt. Este proceso ayuda al LLM a basarse en su contexto específico del dominio, aumentando la probabilidad de una salida precisa y contextualmente relevante.

Varios factores son cruciales al considerar los almacenes de datos vectoriales. La cantidad de datos específicos del dominio y el proceso de división en elementos semánticos determinan el número de embeddings que el almacén de datos vectoriales necesita soportar. Esto puede afectar la eficiencia de indexación y el rendimiento a escala. La dimensionalidad de los vectores de embeddings también es importante. Diferentes FM generan vectores con diferentes dimensiones. Dimensiones más altas pueden representar un contexto más rico, pero hay rendimientos decrecientes y una mayor latencia de consulta. La gobernanza de datos es otra consideración clave, ya que los conjuntos de datos específicos del dominio pueden contener datos confidenciales. Es importante controlar el flujo de datos a través de sistemas que crean, almacenan y consultan embeddings.

AWS ofrece varias opciones para almacenes de datos vectoriales. La base de datos relacional compatible con Aurora PostgreSQL con la extensión pgvector proporciona tipos de datos vectoriales y operadores de búsqueda de similitud. Amazon OpenSearch Service con el plugin k-NN y el motor vectorial de Amazon OpenSearch Serverless también ofrecen capacidades vectoriales. La elección depende de factores como dónde almacena actualmente los datos, la familiaridad con estas tecnologías, la escalabilidad de la dimensión vectorial, el número de embeddings y las necesidades de rendimiento.

El mejor almacén de datos vectoriales de AWS depende de su caso de uso y prioridades específicas. Si está muy invertido en bases de datos relacionales, especialmente PostgreSQL, Aurora PostgreSQL con la extensión pgvector es una buena opción. Para repositorios de datos vectoriales a gran escala, OpenSearch Service es una opción sólida debido a su naturaleza distribuida. El motor vectorial de OpenSearch Serverless proporciona una forma sencilla de empezar con la búsqueda de similitud vectorial. Considere Amazon Kendra para una experiencia de búsqueda semántica totalmente gestionada. LangChain admite Aurora PostgreSQL con pgvector, el motor vectorial de OpenSearch Serverless y OpenSearch Service con k-NN.

Los embeddings deben almacenarse y gestionarse cerca de sus conjuntos de datos específicos del dominio. Esto le permite combinar datos de embeddings con otros metadatos sin fuentes de datos externas. Almacenar embeddings cerca de los datos de origen simplifica los pipelines de datos y mantiene los embeddings actualizados. Aurora PostgreSQL con pgvector, el motor vectorial de OpenSearch Serverless y Amazon OpenSearch Service con el plugin k-NN son opciones viables. Puede combinar la ingeniería de prompts con modelos fundacionales de SageMaker JumpStart y Amazon Bedrock para crear soluciones innovadoras de IA generativa. Este es un campo en rápida evolución, así que manténgase actualizado con los últimos desarrollos. ¡Empiece a crear aplicaciones de IA generativa en AWS hoy mismo!