Lindorm AI Engineでプライベートデータ知識Q&A AIGCビジネスを構築する

Lindorm AI Engineは、プライベートデータ知識Q&A AIGCアプリケーションを構築するためのワンストップソリューションを提供します。Lindorm AI Engineに組み込みのベクトル検索機能を統合することで、ユーザーは単一のSQLステートメントで簡単に知識Q&A機能を構築でき、アプリケーション開発が大幅に簡素化されます。これにより、大規模言語モデル（LLM）のファインチューニングやベクトルデータベースの個別の管理といった、従来の複雑な手法が不要になります。

大規模言語モデル（LLM）に基づいたプライベートデータ知識Q&Aシステムの需要が高まっています。目標は、公開コーパスでトレーニングされたLLMが、社内エンタープライズシナリオ（インテリジェントワークオーダーQ&Aなど）に適用可能な、専用の知識ベースからの知識を使用して質問に回答できるようにすることです。既存のソリューションには、特定のデータセットでLLMをファインチューニングする方法や、ベクトル検索を使用してデータセットから関連ドキュメントをユーザープロンプトに補足する方法があります。後者（「ベクトル検索 + プロンプトエンジニアリング」ベース）は、ファインチューニングのコストが高く、適時性に欠けるため、より一般的です。このアプローチには、ドキュメントのスライス、埋め込みの抽出、ドキュメント更新の管理が含まれますが、これらすべてをLindorm AI Engineが簡素化します。

開始する前に、Lindorm AI Engineがアクティブ化されていることを確認してください。また、ワイドテーブルエンジンがバージョン2.5.4.3以降であることを確認してください。以前のバージョンを使用している場合は、アップグレードを検討するか、Lindormサポートに連絡して支援を受けてください。さらに、S3プロトコル互換機能と非構造化データベクトル検索機能が有効になっていることを確認してください。これらの前提条件により、Lindorm AI Engineのシームレスな統合と最適なパフォーマンスが保証されます。

プライベートデータ知識Q&Aソリューションには、いくつかのAIモデルが関与します。この例では、テキストスライシングにModelScopeのBERTテキストセグメンテーションモデル、テキストベクトル化にHugging Faceのtext2vec-base-chineseモデル、LLMとしてHugging FaceのChatGLM-6B-int4モデルを使用します。Alibaba Cloudは、サードパーティモデルの合法性、セキュリティ、または正確性を保証するものではなく、ユーザーは利用規約および関連法規制を遵守する責任があることに注意することが重要です。

まず、Lindorm-cliなどのツールを使用してワイドテーブルエンジンに接続します。次に、知識ベースドキュメントを格納するためのテーブルを作成します。例： ```sql CREATE TABLE doc_table ( id VARCHAR, doc_field VARCHAR, PRIMARY KEY(id) ); ``` 次に、テーブルにデータを挿入します。このデータは、Q&Aシステムの知識ベースとして機能します。例データには、Lindormの機能、更新、および機能に関する情報が含まれます。

フルボリューム検索Q&Aを実装するには、`CREATE MODEL`ステートメントを使用してモデルを作成し、ソーステーブル、ターゲットフィールド、タスク、アルゴリズム、および設定を指定します。例： ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id'); ``` 次に、`ai_infer`関数を使用して検索Q&Aを実行します。 ```sql SELECT ai_infer('rqa_model', 'Lindorm是什么'); ``` 結果は、知識ベースに基づいたLLMによって生成された回答になります。

増分処理を有効にするには、知識ベース内の新しいドキュメント、変更されたドキュメント、または削除されたドキュメントを自動的に処理するために、ストリームエンジンとデータサブスクリプションをアクティブ化する必要があります。LTSをPullモードで介してデータサブスクリプションチャネルを作成し、Lindormテーブル名とKafkaトピック名を指定します。次に、増分検索Q&Aモデルを作成します。 ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id', incremental_train 'on', lts_topic 'rqa_xxx_topic' ); ``` 以前と同様に検索Q&Aを実行します。 ```sql SELECT ai_infer('rqa_model', 'Lindorm是什么'); ``` 結果は、更新された知識ベースを反映します。

他のLLMとの統合が必要な場合は、セマンティック検索モデルを作成して、Lindormが知識ベースのセマンティック検索機能（ドキュメントスライシング、ベクトル化、ベクトル検索を含む）のみを実行できるようにすることができます。フルボリュームドキュメントのみを処理するセマンティック検索モデルを作成します。 ```sql CREATE MODEL sr_model FROM doc_table TARGET doc_field TASK SEMANTIC_RETRIEVAL ALGORITHM TEXT2VEC_BASE_CHINESE SETTINGS (doc_id_column 'id'); ``` セマンティック検索を実行します。 ```sql SELECT ai_infer('sr_model', 'Lindorm是什么'); ``` オプションで、`score`パラメータを設定してセマンティック類似度スコアを返すことができます。

Lindorm AI Engineは、プライベートデータ知識Q&A AIGCアプリケーションを構築するための包括的かつ効率的なソリューションを提供します。組み込みのベクトル検索機能と簡素化されたSQLインターフェイスを活用することで、開発者はインテリジェントなQ&Aシステムを簡単に作成でき、開発時間と複雑さを軽減できます。フルボリューム検索、増分更新、またはセマンティック検索が必要な場合でも、Lindorm AI Engineはニーズを満たすためのツールと柔軟性を提供します。