AWS에서 생성형 AI 애플리케이션을 위한 벡터 데이터스토어 활용

생성형 AI는 질문에 답하고, 스토리를 작성하고, 예술을 창조하고, 코드를 생성하는 능력으로 산업을 변화시키고 있습니다. 많은 AWS 고객들이 조직 내에서 생성형 AI를 활용하는 방법을 모색하고 있습니다. 이 전략의 핵심 구성 요소는 비즈니스 및 산업에 대한 고유한 통찰력을 제공하는 도메인별 데이터를 활용하는 것입니다. 벡터 데이터스토어는 생성형 AI 애플리케이션에서 점점 더 중요해지고 있으며, 이 글에서는 벡터 데이터스토어의 역할과 AWS 솔루션이 생성형 AI의 힘을 활용하는 데 어떻게 도움이 될 수 있는지 살펴봅니다.

생성형 AI 애플리케이션의 핵심에는 대규모 언어 모델(LLM)이 있습니다. 이러한 머신러닝 모델은 인터넷에서 사용 가능한 데이터와 같은 방대한 양의 콘텐츠로 학습됩니다. 공개적으로 액세스 가능한 데이터로 학습된 후 LLM은 파운데이션 모델(FM)로 간주됩니다. 이러한 모델은 다양한 사용 사례에 맞게 조정하고 최적화할 수 있습니다. Amazon SageMaker JumpStart는 Stability AI의 Text2Image 및 Hugging Face의 Text2Text Flan T-5를 포함한 사전 학습된 독점 및 오픈 소스 파운데이션 모델을 제공합니다. Amazon Bedrock은 AI21 Labs, Anthropic, Stability AI 및 Amazon Titan의 모델에 대한 API 액세스를 제공하여 생성형 AI 애플리케이션 구축 및 확장을 단순화합니다.

생성형 AI 애플리케이션은 광범위한 지식을 위해 FM을 활용할 수 있지만, 특정 또는 전문화된 도메인에서 정확한 결과를 얻으려면 사용자 정의가 중요합니다. 프롬프트 엔지니어링 또는 인컨텍스트 학습은 생성형 AI 애플리케이션을 특정 도메인에 기반하고 정확도를 향상시키는 간단한 방법입니다. 환각을 완전히 제거하지는 않지만 의미론적 의미를 도메인으로 좁힙니다. FM은 일련의 입력 토큰을 기반으로 다음 토큰을 추론합니다. 더 많은 컨텍스트를 제공할수록 추론된 토큰이 관련성이 있을 가능성이 높아집니다. FM을 쿼리하는 데 사용되는 프롬프트에는 입력 토큰과 가능한 한 많은 컨텍스트 관련 데이터가 포함되어야 합니다. 벡터 데이터스토어는 검색 증강 생성(RAG)으로 알려진 방법인 의미론적으로 관련성 있는 입력을 사용하여 프롬프트를 설계하는 데 도움이 됩니다. 실제로는 컨텍스트 관련 개인 데이터와 의미론적으로 유사한 데이터를 사용하여 프롬프트를 설계할 수 있습니다.

RAG는 임베딩(벡터)을 사용하여 생성형 AI 애플리케이션의 정확도를 향상시킵니다. 도메인별 데이터는 의미론적 요소로 분할되고 FM은 이러한 요소에 대한 벡터를 계산합니다. 이러한 벡터는 벡터 데이터스토어에 저장되어 유사성 검색을 가능하게 합니다. 생성형 AI 애플리케이션에서 사용자의 쿼리는 의미론적 요소로 분할되고 벡터 데이터스토어는 벡터 공간에서 가장 가까운 이웃을 찾기 위해 쿼리됩니다. 이는 컨텍스트적으로 유사한 의미론적 요소를 제공하며, 이는 프롬프트에 추가됩니다. 이 프로세스는 LLM이 도메인별 컨텍스트를 기반으로 구축하도록 도와 정확하고 컨텍스트적으로 관련성 있는 출력의 가능성을 높입니다.

벡터 데이터스토어를 고려할 때 몇 가지 요소가 중요합니다. 도메인별 데이터의 양과 이를 의미론적 요소로 분할하는 프로세스는 벡터 데이터스토어가 지원해야 하는 임베딩 수를 결정합니다. 이는 확장 시 인덱싱 효율성과 성능에 영향을 미칠 수 있습니다. 임베딩 벡터의 차원도 중요합니다. 다른 FM은 다양한 차원의 벡터를 생성합니다. 높은 차원은 더 풍부한 컨텍스트를 나타낼 수 있지만, 수익 체감과 쿼리 지연 시간 증가가 있습니다. 데이터 거버넌스는 또 다른 중요한 고려 사항으로, 도메인별 데이터 세트에는 민감한 데이터가 포함될 수 있습니다. 임베딩을 생성, 저장 및 쿼리하는 시스템을 통한 데이터 흐름을 제어하는 것이 중요합니다.

AWS는 벡터 데이터스토어에 대한 여러 옵션을 제공합니다. pgvector 확장이 포함된 Aurora PostgreSQL 호환 관계형 데이터베이스는 벡터 데이터 유형 및 유사성 검색 연산자를 제공합니다. k-NN 플러그인이 있는 Amazon OpenSearch Service 및 Amazon OpenSearch Serverless의 벡터 엔진도 벡터 기능을 제공합니다. 선택은 데이터 저장 위치, 이러한 기술에 대한 익숙도, 벡터 차원 확장성, 임베딩 수 및 성능 요구 사항과 같은 요인에 따라 달라집니다.

최적의 AWS 벡터 데이터스토어는 특정 사용 사례와 우선 순위에 따라 달라집니다. 관계형 데이터베이스, 특히 PostgreSQL에 많이 투자하고 있다면 pgvector 확장이 포함된 Aurora PostgreSQL이 좋은 옵션입니다. 대규모 벡터 데이터 저장소의 경우 OpenSearch Service는 분산 특성으로 인해 강력한 선택입니다. OpenSearch Serverless의 벡터 엔진은 벡터 유사성 검색을 쉽게 시작할 수 있도록 합니다. 완전 관리형 의미론적 검색 경험을 위해 Amazon Kendra를 고려하십시오. LangChain은 pgvector가 포함된 Aurora PostgreSQL, OpenSearch Serverless의 벡터 엔진 및 k-NN이 있는 OpenSearch Service를 지원합니다.

임베딩은 도메인별 데이터 세트 가까이에 저장하고 관리해야 합니다. 이를 통해 외부 데이터 소스 없이 임베딩 데이터를 다른 메타데이터와 결합할 수 있습니다. 원본 데이터 가까이에 임베딩을 저장하면 데이터 파이프라인이 단순화되고 임베딩이 최신 상태로 유지됩니다. pgvector가 포함된 Aurora PostgreSQL, OpenSearch Serverless의 벡터 엔진 및 k-NN 플러그인이 있는 OpenSearch Service는 모두 실행 가능한 옵션입니다. 프롬프트 엔지니어링과 SageMaker JumpStart 및 Amazon Bedrock의 파운데이션 모델을 결합하여 혁신적인 생성형 AI 솔루션을 구축할 수 있습니다. 이 분야는 빠르게 발전하고 있으므로 최신 개발 정보를 계속 확인하십시오. 지금 바로 AWS에서 생성형 AI 애플리케이션 구축을 시작하세요!