MongoDB Atlasを使用した生産準備完了のRAGチャットボットの構築

MongoDBは、ユーザーが自然言語を使用してドキュメントと対話できるようにすることで、開発者体験を向上させるAIチャットボットを開発しました。このチャットボットはmongodb.com/docsで利用可能で、製品情報へのより効率的で直感的なアクセスを提供することを目的としています。この記事では、チャットボットの開発に関する技術的な概要を提供し、Retrieval Augmented Generation (RAG)アーキテクチャとその実装におけるMongoDB Atlasの使用に焦点を当てています。

このチャットボットはRAGアーキテクチャを利用しており、MongoDBの公開ドキュメントから関連情報を取得することで大規模言語モデル（LLM）を強化します。主なコンポーネントには、情報取得のためのMongoDB Atlasベクター検索、応答生成のためのAzure OpenAIのChatGPT API、ドキュメントとクエリをベクター埋め込みに変換するためのAzure OpenAIの埋め込みAPIが含まれます。このアーキテクチャにより、チャットボットは最も関連性の高いドキュメントに基づいて文脈を考慮した応答を提供できます。

開発チームは、最小限の実用的製品（MVP）として「ナイーブRAG」アプローチから始めました。このシンプルな実装は、主に2つのステップで構成されていました：1) データの取り込み - ドキュメントのチャンクとそのベクター埋め込みをMongoDB Atlasに保存し、ベクター検索を使用してインデックス化します。2) チャット機能 - ユーザーの質問に対して埋め込みを作成し、一致するチャンクを見つけて回答を要約することで、回答を生成します。このMVPは迅速に開発され、レッドチーミング演習を通じてテストされ、改善の余地が明らかになりました。

初期のチャットボットは、会話の文脈を認識できないこと、過度に特定的な回答、関連性のないさらなる読み物のリンクなど、いくつかの課題に直面しました。これらの問題により、テスト中に満足のいく回答は約60%にとどまりました。これらの制限に対処することは、生産準備完了のチャットボットを作成するために重要になりました。

チャットボットのパフォーマンスを向上させるために、チームはいくつかの改善を実施しました：1) コンテンツの取り込みのための2段階パイプラインによるデータ取り込みの強化。2) LangChain RecursiveCharacterTextSplitterを使用したチャンク戦略の改善。3) 埋め込み前にチャンクにメタデータを追加して意味を向上させる。4) ユーザーのクエリを変換するためのTypeChatを使用したクエリ前処理ツールの開発。これらの改善により、チャットボットの応答品質が大幅に向上し、次回のテストで80%以上の満足のいく回答を達成しました。

MongoDB Atlasは、チャットボットのインフラストラクチャを簡素化し、開発者の生産性を向上させる上で重要な役割を果たしました。Atlasベクター検索は簡単に設定され、統合され、埋め込まれたコンテンツの効率的なクエリを可能にしました。MongoDBをベクターデータベースとアプリケーションデータストアの両方として使用することで、開発が合理化され、チームは別々のインフラストラクチャを管理するのではなく、コアRAGアプリケーションロジックに集中できるようになりました。

開発プロセスは貴重な洞察をもたらしました：1) ナイーブRAGから始めることは有益ですが、生産使用には不十分です。2) 定期的なレッドチーミングは問題を特定し解決するために重要です。3) コンテンツにメタデータを追加し、ユーザーのクエリを前処理することで、検索品質が大幅に向上します。4) MongoDB Atlasは、生産RAGアプリケーションを構築するための優れたデータベースであることが証明されています。今後、MongoDBは、開発者が自分自身のRAGアプリケーションを探索し構築できるように、プラットフォームを使用してRAGアプリケーションの作成を簡素化するオープンソースフレームワークをリリースする予定です。