利用 AWS 上的向量数据库赋能生成式 AI 应用

生成式 AI 凭借其回答问题、撰写故事、创作艺术和生成代码的能力，正在改变各行各业。许多 AWS 客户正在探索如何在组织内利用生成式 AI。这一战略的一个关键组成部分是利用领域特定数据，这些数据能提供对其业务和行业的独特见解。向量数据库在生成式 AI 应用中变得越来越重要，本文将探讨它们的作用以及 AWS 解决方案如何帮助您驾驭生成式 AI 的强大功能。

生成式 AI 应用的核心是大型语言模型 (LLM)。这些机器学习模型经过海量内容的训练，例如互联网上的可用数据。在对公开可用的数据进行训练后，LLM 被视为基础模型 (FM)。这些模型可以针对各种用例进行调整和优化。Amazon SageMaker JumpStart 提供预训练的专有和开源基础模型，包括 Stability AI 的 Text2Image 和 Hugging Face 的 Text2Text Flan T-5。Amazon Bedrock 通过提供对来自 AI21 Labs、Anthropic、Stability AI 和 Amazon Titan 的模型的 API 访问，简化了生成式 AI 应用的构建和扩展。

虽然生成式 AI 应用可以利用 FM 的广泛知识，但定制它们对于在特定或专业领域获得准确结果至关重要。提示工程或上下文学习是一种简单的方法，可以将生成式 AI 应用锚定在特定领域并提高准确性。虽然它不能完全消除幻觉，但它可以将语义含义缩小到您的领域。FM 根据一组输入 token 推断下一个 token。您提供的上下文越多，推断出的 token 相关的可能性就越大。用于查询 FM 的提示应包含输入 token 和尽可能多的上下文相关数据。向量数据库有助于设计具有语义相关输入的提示，这种方法称为检索增强生成 (RAG)。在实践中，您可能会使用上下文相关的个性化数据和具有相似语义的数据来设计提示。

RAG 使用嵌入（向量）来提高生成式 AI 应用的准确性。领域特定数据被分割成语义元素，FM 为这些元素计算向量。这些向量存储在向量数据库中，从而实现相似性搜索。在生成式 AI 应用中，用户的查询被分割成语义元素，并查询向量数据库以在向量空间中查找最近邻。这提供了上下文上相似的语义元素，这些元素被添加到提示中。这个过程有助于 LLM 在您的领域特定上下文的基础上进行构建，从而提高生成准确且上下文相关的输出的可能性。

在考虑向量数据库时，有几个因素至关重要。领域特定数据的量以及将其分割成语义元素的过程决定了向量数据库需要支持的嵌入数量。这会影响索引效率和规模化性能。嵌入向量的维度也很重要。不同的 FM 会生成具有不同维度的向量。更高的维度可以代表更丰富的上下文，但存在边际效益递减和查询延迟增加的问题。数据治理是另一个关键的考虑因素，因为领域特定数据集可能包含敏感数据。控制数据通过创建、存储和查询嵌入的系统进行流动非常重要。

AWS 提供了多种向量数据库选项。支持 PostgreSQL 的 Aurora 关系数据库（带有 pgvector 扩展）提供了向量数据类型和相似性搜索运算符。Amazon OpenSearch Service（带有 k-NN 插件）和 Amazon OpenSearch Serverless 的向量引擎也提供向量功能。选择取决于您当前存储数据的位置、对这些技术的熟悉程度、向量维度扩展、嵌入数量和性能需求等因素。

最佳的 AWS 向量数据库取决于您的具体用例和优先级。如果您大量使用关系数据库，特别是 PostgreSQL，那么带有 pgvector 扩展的 Aurora PostgreSQL 是一个不错的选择。对于大规模向量数据存储库，OpenSearch Service 因其分布式特性而成为一个强大的选择。OpenSearch Serverless 的向量引擎提供了一种轻松开始向量相似性搜索的方法。对于完全托管的语义搜索体验，可以考虑 Amazon Kendra。LangChain 支持带有 pgvector 的 Aurora PostgreSQL、OpenSearch Serverless 的向量引擎以及带有 k-NN 的 OpenSearch Service。

嵌入应该存储并管理在靠近您的领域特定数据集的位置。这使您无需外部数据源即可将嵌入数据与其他元数据结合起来。将嵌入存储在靠近源数据的位置可以简化数据管道并保持嵌入的最新状态。带有 pgvector 的 Aurora PostgreSQL、OpenSearch Serverless 的向量引擎以及带有 k-NN 插件的 OpenSearch Service 都是可行的选择。您可以将提示工程与 SageMaker JumpStart 和 Amazon Bedrock 的基础模型相结合，构建创新的生成式 AI 解决方案。这是一个快速发展的领域，请及时了解最新进展。立即开始在 AWS 上构建生成式 AI 应用吧！