Использование векторных хранилищ данных для генеративных ИИ-приложений на AWS

Генеративный ИИ трансформирует отрасли благодаря своей способности отвечать на вопросы, писать истории, создавать искусство и генерировать код. Многие клиенты AWS изучают, как использовать генеративный ИИ в своих организациях. Ключевым компонентом этой стратегии является использование доменно-специфичных данных, которые предоставляют уникальные сведения об их бизнесе и отраслях. Векторные хранилища данных становятся все более важными в генеративных ИИ-приложениях, и эта статья исследует их роль и то, как решения AWS могут помочь вам использовать мощь генеративного ИИ.

В основе генеративных ИИ-приложений лежат большие языковые модели (LLM). Эти модели машинного обучения обучаются на огромных объемах контента, такого как данные, доступные в Интернете. После обучения на общедоступных данных LLM считаются базовыми моделями (FM). Эти модели могут быть адаптированы и оптимизированы для различных вариантов использования. Amazon SageMaker JumpStart предлагает предварительно обученные проприетарные и открытые базовые модели, включая Text2Image от Stability AI и Text2Text Flan T-5 от Hugging Face. Amazon Bedrock упрощает создание и масштабирование генеративных ИИ-приложений, предоставляя API-доступ к моделям от AI21 Labs, Anthropic, Stability AI и Amazon Titan.

Хотя генеративные ИИ-приложения могут использовать FM для широких знаний, их настройка имеет решающее значение для получения точных результатов в конкретных или специализированных доменах. Инженерия подсказок (prompt engineering) или обучение в контексте (in-context learning) — это простой метод для привязки генеративных ИИ-приложений к конкретному домену и повышения точности. Хотя это не устраняет галлюцинации полностью, это сужает семантическое значение до вашего домена. FM выводят следующий токен на основе набора входных токенов. Чем больше контекста вы предоставляете, тем более релевантным будет выведенный токен. Подсказка, используемая для запроса к FM, должна содержать входные токены и как можно больше контекстно-релевантных данных. Векторные хранилища данных помогают проектировать подсказки с семантически релевантными входами, метод, известный как Retrieval Augmented Generation (RAG). На практике вы можете спроектировать подсказку, используя контекстно-релевантные персонализированные данные и данные с похожей семантикой.

RAG использует эмбеддинги (векторы) для повышения точности генеративных ИИ-приложений. Доменно-специфичные данные разбиваются на семантические элементы, и FM вычисляют векторы для этих элементов. Эти векторы хранятся в векторном хранилище данных, что позволяет выполнять поиск по сходству. В генеративном ИИ-приложении запрос пользователя разбивается на семантические элементы, и векторное хранилище данных запрашивается для поиска ближайших соседей в векторном пространстве. Это предоставляет контекстно-похожие семантические элементы, которые добавляются к подсказке. Этот процесс помогает LLM опираться на ваш доменно-специфичный контекст, увеличивая вероятность получения точного и контекстно-релевантного вывода.

При рассмотрении векторных хранилищ данных важны несколько факторов. Объем доменно-специфичных данных и процесс их разбиения на семантические элементы определяют количество эмбеддингов, которые должно поддерживать векторное хранилище данных. Это может повлиять на эффективность индексации и производительность при масштабировании. Размерность векторов эмбеддингов также имеет значение. Различные FM генерируют векторы с разной размерностью. Более высокая размерность может представлять более богатый контекст, но существуют убывающие отдачи и увеличенная задержка запросов. Управление данными — еще одно ключевое соображение, поскольку доменно-специфичные наборы данных могут содержать конфиденциальные данные. Важно контролировать поток данных через системы, которые создают, хранят и запрашивают эмбеддинги.

AWS предлагает несколько вариантов для векторных хранилищ данных. Реляционная база данных, совместимая с Aurora PostgreSQL, с расширением pgvector предоставляет типы данных для векторов и операторы поиска по сходству. Amazon OpenSearch Service с плагином k-NN и векторный движок Amazon OpenSearch Serverless также предлагают векторные возможности. Выбор зависит от таких факторов, как место хранения ваших данных, знакомство с этими технологиями, масштабирование размерности векторов, количество эмбеддингов и потребности в производительности.

Лучшее векторное хранилище данных AWS зависит от вашего конкретного варианта использования и приоритетов. Если вы активно используете реляционные базы данных, особенно PostgreSQL, Aurora PostgreSQL с расширением pgvector является хорошим вариантом. Для крупномасштабных репозиториев векторных данных OpenSearch Service является сильным выбором благодаря своей распределенной природе. Векторный движок OpenSearch Serverless предоставляет простой способ начать работу с поиском по векторному сходству. Рассмотрите Amazon Kendra для полностью управляемого опыта семантического поиска. LangChain поддерживает Aurora PostgreSQL с pgvector, векторный движок OpenSearch Serverless и OpenSearch Service с k-NN.

Эмбеддинги должны храниться и управляться близко к вашим доменно-специфичным наборам данных. Это позволяет комбинировать данные эмбеддингов с другими метаданными без внешних источников данных. Хранение эмбеддингов близко к исходным данным упрощает конвейеры данных и поддерживает эмбеддинги в актуальном состоянии. Aurora PostgreSQL с pgvector, векторный движок OpenSearch Serverless и OpenSearch Service с плагином k-NN — все это жизнеспособные варианты. Вы можете комбинировать инженерию подсказок с базовыми моделями из SageMaker JumpStart и Amazon Bedrock для создания инновационных генеративных ИИ-решений. Это быстро развивающаяся область, поэтому оставайтесь в курсе последних событий. Начните создавать генеративные ИИ-приложения на AWS уже сегодня!