Erstellen Sie AIGC-Geschäfte für Wissensfragen und -antworten mit privaten Daten mithilfe der Lindorm AI Engine

Die Lindorm AI Engine bietet eine One-Stop-Lösung für die Erstellung von AIGC-Anwendungen für Wissensfragen und -antworten mit privaten Daten. Durch die Integration der Lindorm AI Engine mit integrierten Vektorsuchfunktionen können Benutzer Wissensfragen- und -antwortfunktionen mit einer einzigen SQL-Anweisung einfach erstellen, was die Anwendungsentwicklung erheblich vereinfacht. Dies eliminiert die Komplexität herkömmlicher Methoden, wie z. B. das Fine-Tuning großer Sprachmodelle (LLMs) oder die separate Verwaltung von Vektordatenbanken.

Die Nachfrage nach Wissensfragen- und -antwortsystemen mit privaten Daten, die auf großen Sprachmodellen (LLMs) basieren, wächst. Ziel ist es, LLMs, die auf öffentlichen Korpora trainiert wurden, zu ermöglichen, Fragen mithilfe von Wissen aus einer dedizierten Wissensdatenbank zu beantworten, was für interne Unternehmensszenarien wie intelligente Arbeitsauftragsfragen und -antworten anwendbar ist. Bestehende Lösungen umfassen das Fine-Tuning von LLMs auf spezifischen Datensätzen oder die Verwendung von Vektorabfragen, um Benutzer-Prompts mit relevanten Dokumenten aus dem Datensatz zu ergänzen. Letzteres, basierend auf 'Vektorabfrage + Prompt Engineering', ist aufgrund der hohen Kosten und der schlechten Aktualität des Fine-Tunings beliebter. Dieser Ansatz beinhaltet das Aufteilen von Dokumenten, das Extrahieren von Embeddings und die Verwaltung von Dokumentenaktualisierungen, was alles durch die Lindorm AI Engine vereinfacht wird.

Stellen Sie vor Beginn sicher, dass die Lindorm AI Engine aktiviert ist. Überprüfen Sie außerdem, ob Ihre Wide-Table-Engine die Version 2.5.4.3 oder höher hat. Wenn Sie eine frühere Version verwenden, sollten Sie ein Upgrade in Betracht ziehen oder den Lindorm-Support um Hilfe bitten. Stellen Sie außerdem sicher, dass die S3-Protokollkompatibilitätsfunktion und die Vektorabfragefunktion für unstrukturierte Daten aktiviert sind. Diese Voraussetzungen gewährleisten eine nahtlose Integration und optimale Leistung der Lindorm AI Engine.

Die Lösung für Wissensfragen und -antworten mit privaten Daten umfasst mehrere KI-Modelle. Dieses Beispiel verwendet das BERT-Textsegmentierungsmodell von ModelScope für die Textaufteilung, das text2vec-base-chinese-Modell von Hugging Face für die Textvektorisierung und das ChatGLM-6B-int4-Modell von Hugging Face als LLM. Es ist wichtig zu beachten, dass Alibaba Cloud keine Garantie für die Rechtmäßigkeit, Sicherheit oder Genauigkeit von Drittanbietermodellen übernimmt, und die Benutzer sind für die Einhaltung der Nutzungsbedingungen und relevanter Gesetze und Vorschriften verantwortlich.

Verbinden Sie sich zunächst mit der Wide-Table-Engine über Tools wie Lindorm-cli. Erstellen Sie dann eine Tabelle zum Speichern der Dokumente der Wissensdatenbank. Zum Beispiel: ```sql CREATE TABLE doc_table ( id VARCHAR, doc_field VARCHAR, PRIMARY KEY(id) ); ``` Fügen Sie dann Daten in die Tabelle ein. Diese Daten dienen als Wissensdatenbank für das Q&A-System. Beispielhafte Daten umfassen Informationen über Lindorm-Funktionen, Updates und Fähigkeiten.

Um die vollständige Volumenabfrage für Fragen und Antworten zu implementieren, erstellen Sie ein Modell mit der `CREATE MODEL`-Anweisung und geben Sie die Quelltabelle, das Zielfeld, die Aufgabe, den Algorithmus und die Einstellungen an. Zum Beispiel: ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id'); ``` Führen Sie dann eine Abfrage für Fragen und Antworten mit der `ai_infer`-Funktion aus: ```sql SELECT ai_infer('rqa_model', 'Lindorm是什么'); ``` Das Ergebnis ist eine Antwort, die vom LLM basierend auf der Wissensdatenbank generiert wurde.

Um die inkrementelle Verarbeitung zu ermöglichen, die neue, geänderte oder gelöschte Dokumente in der Wissensdatenbank automatisch verarbeitet, müssen Sie die Stream-Engine und die Datenabonnementfunktion aktivieren. Erstellen Sie einen Datenabonnementkanal über LTS im Pull-Modus und geben Sie den Lindorm-Tabellennamen und den Kafka-Topic-Namen an. Erstellen Sie dann ein inkrementelles Modell für Fragen und Antworten: ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id', incremental_train 'on', lts_topic 'rqa_xxx_topic' ); ``` Führen Sie die Abfrage für Fragen und Antworten wie zuvor aus: ```sql SELECT ai_infer('rqa_model', 'Lindorm是什么'); ``` Das Ergebnis spiegelt die aktualisierte Wissensdatenbank wider.

Wenn Sie mit anderen LLMs integrieren müssen, können Sie ein semantisches Abfragemodell erstellen, um Lindorm zu ermöglichen, nur die semantischen Abfragefunktionen der Wissensdatenbank auszuführen (einschließlich Dokumentaufteilung, Vektorisierung und Vektorabfrage). Erstellen Sie ein semantisches Abfragemodell, das nur vollständige Dokumente verarbeitet: ```sql CREATE MODEL sr_model FROM doc_table TARGET doc_field TASK SEMANTIC_RETRIEVAL ALGORITHM TEXT2VEC_BASE_CHINESE SETTINGS (doc_id_column 'id'); ``` Führen Sie die semantische Abfrage aus: ```sql SELECT ai_infer('sr_model', 'Lindorm是什么'); ``` Optional können Sie den `score`-Parameter setzen, um semantische Ähnlichkeitswerte zurückzugeben.

Die Lindorm AI Engine bietet eine umfassende und effiziente Lösung für die Erstellung von AIGC-Anwendungen für Wissensfragen und -antworten mit privaten Daten. Durch die Nutzung ihrer integrierten Vektorsuchfunktionen und der vereinfachten SQL-Schnittstelle können Entwickler mühelos intelligente Q&A-Systeme erstellen und so Entwicklungszeit und Komplexität reduzieren. Ob Sie vollständige Volumenabfragen, inkrementelle Updates oder semantische Suche benötigen, die Lindorm AI Engine bietet die Werkzeuge und die Flexibilität, um Ihre Anforderungen zu erfüllen.