Construisez une activité AIGC de questions-réponses sur les données privées avec le moteur IA Lindorm

Le moteur IA Lindorm offre une solution tout-en-un pour construire des applications AIGC de questions-réponses sur les données privées. En intégrant le moteur IA Lindorm avec des capacités de recherche vectorielle intégrées, les utilisateurs peuvent facilement construire des fonctionnalités de questions-réponses sur les connaissances en une seule instruction SQL, simplifiant considérablement le développement d'applications. Cela élimine les complexités associées aux méthodes traditionnelles, telles que le réglage fin des grands modèles linguistiques (LLM) ou la gestion séparée des bases de données vectorielles.

La demande de systèmes de questions-réponses sur les données privées basés sur les grands modèles linguistiques (LLM) est croissante. L'objectif est de permettre aux LLM entraînés sur des corpus publics de répondre à des questions en utilisant les connaissances d'une base de connaissances dédiée, applicable aux scénarios d'entreprise internes tels que les questions-réponses sur les ordres de travail intelligents. Les solutions existantes comprennent le réglage fin des LLM sur des ensembles de données spécifiques ou l'utilisation de la récupération vectorielle pour compléter les invites des utilisateurs avec des documents pertinents de l'ensemble de données. Cette dernière approche, basée sur la 'récupération vectorielle + ingénierie des invites', est plus populaire en raison des coûts élevés et de la faible actualité du réglage fin. Cette approche implique le découpage des documents, l'extraction des embeddings et la gestion des mises à jour des documents, autant d'aspects que Lindorm AI Engine simplifie.

Avant de commencer, assurez-vous que le moteur IA Lindorm est activé. Vérifiez également que votre moteur de table large est de la version 2.5.4.3 ou ultérieure. Si vous utilisez une version antérieure, envisagez une mise à niveau ou contactez le support Lindorm pour obtenir de l'aide. De plus, confirmez que la fonctionnalité de compatibilité du protocole S3 et la fonction de récupération vectorielle de données non structurées sont activées. Ces prérequis garantissent une intégration transparente et des performances optimales du moteur IA Lindorm.

La solution de questions-réponses sur les données privées implique plusieurs modèles d'IA. Cet exemple utilise le modèle de segmentation de texte BERT de ModelScope pour le découpage de texte, le modèle text2vec-base-chinese de Hugging Face pour la vectorisation de texte, et le modèle ChatGLM-6B-int4 de Hugging Face comme LLM. Il est important de noter qu'Alibaba Cloud ne garantit pas la légalité, la sécurité ou l'exactitude des modèles tiers, et les utilisateurs sont responsables de se conformer aux conditions d'utilisation et aux lois et réglementations applicables.

Tout d'abord, connectez-vous au moteur de table large à l'aide d'outils tels que Lindorm-cli. Ensuite, créez une table pour stocker les documents de la base de connaissances. Par exemple : ```sql CREATE TABLE doc_table ( id VARCHAR, doc_field VARCHAR, PRIMARY KEY(id) ); ``` Ensuite, insérez des données dans la table. Ces données serviront de base de connaissances pour le système de questions-réponses. Les données d'exemple comprennent des informations sur les fonctionnalités, les mises à jour et les capacités de Lindorm.

Pour implémenter des questions-réponses avec récupération complète, créez un modèle à l'aide de l'instruction `CREATE MODEL`, en spécifiant la table source, le champ cible, la tâche, l'algorithme et les paramètres. Par exemple : ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id'); ``` Exécutez ensuite une question-réponse avec récupération à l'aide de la fonction `ai_infer` : ```sql SELECT ai_infer('rqa_model', 'Lindorm是什么'); ``` Le résultat sera une réponse générée par le LLM basée sur la base de connaissances.

Pour activer le traitement incrémental, qui gère automatiquement les documents nouveaux, modifiés ou supprimés dans la base de connaissances, vous devez activer le moteur de flux et la souscription aux données. Créez un canal de souscription aux données via LTS en mode Pull, en spécifiant le nom de la table Lindorm et le nom du sujet Kafka. Ensuite, créez un modèle de questions-réponses avec récupération incrémentale : ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id', incremental_train 'on', lts_topic 'rqa_xxx_topic' ); ``` Exécutez les questions-réponses avec récupération comme précédemment : ```sql SELECT ai_infer('rqa_model', 'Lindorm是什么'); ``` Le résultat reflétera la base de connaissances mise à jour.

Si vous avez besoin d'intégrer d'autres LLM, vous pouvez créer un modèle de récupération sémantique pour permettre à Lindorm d'effectuer uniquement les fonctions de récupération sémantique de la base de connaissances (y compris le découpage de documents, la vectorisation et la récupération vectorielle). Créez un modèle de récupération sémantique qui ne traite que les documents complets : ```sql CREATE MODEL sr_model FROM doc_table TARGET doc_field TASK SEMANTIC_RETRIEVAL ALGORITHM TEXT2VEC_BASE_CHINESE SETTINGS (doc_id_column 'id'); ``` Exécutez la récupération sémantique : ```sql SELECT ai_infer('sr_model', 'Lindorm是什么'); ``` Facultativement, vous pouvez définir le paramètre `score` pour renvoyer les scores de similarité sémantique.

Le moteur IA Lindorm offre une solution complète et efficace pour construire des applications AIGC de questions-réponses sur les données privées. En tirant parti de ses capacités de recherche vectorielle intégrées et de son interface SQL simplifiée, les développeurs peuvent créer facilement des systèmes de questions-réponses intelligents, réduisant le temps et la complexité du développement. Que vous ayez besoin de récupération complète, de mises à jour incrémentales ou de recherche sémantique, Lindorm AI Engine offre les outils et la flexibilité nécessaires pour répondre à vos besoins.