Lindorm AI Engine के साथ प्राइवेट डेटा नॉलेज Q&A AIGC बिज़नेस बनाएँ

Lindorm AI Engine प्राइवेट डेटा नॉलेज Q&A AIGC एप्लिकेशन बनाने के लिए एक वन-स्टॉप समाधान प्रदान करता है। Lindorm AI Engine को बिल्ट-इन वेक्टर सर्च क्षमताओं के साथ एकीकृत करके, उपयोगकर्ता केवल एक SQL स्टेटमेंट के साथ आसानी से नॉलेज Q&A कार्यक्षमताओं का निर्माण कर सकते हैं, जिससे एप्लिकेशन डेवलपमेंट काफी सरल हो जाता है। यह बड़े भाषा मॉडल (LLMs) को फाइन-ट्यून करने या वेक्टर डेटाबेस को अलग से प्रबंधित करने जैसी पारंपरिक विधियों से जुड़ी जटिलताओं को दूर करता है।

लार्ज लैंग्वेज मॉडल (LLMs) पर आधारित प्राइवेट डेटा नॉलेज Q&A सिस्टम की मांग बढ़ रही है। लक्ष्य यह है कि सार्वजनिक कॉर्पोरेट पर प्रशिक्षित LLMs को एक समर्पित नॉलेज बेस से ज्ञान का उपयोग करके सवालों के जवाब देने में सक्षम बनाया जाए, जो इंटेलिजेंट वर्क ऑर्डर Q&A जैसे आंतरिक एंटरप्राइज परिदृश्यों के लिए लागू हो। मौजूदा समाधानों में विशिष्ट डेटासेट पर LLMs को फाइन-ट्यून करना या डेटासेट से प्रासंगिक दस्तावेज़ों के साथ उपयोगकर्ता प्रॉम्प्ट को पूरक करने के लिए वेक्टर रिट्रीवल का उपयोग करना शामिल है। बाद वाला, 'वेक्टर रिट्रीवल + प्रॉम्प्ट इंजीनियरिंग' पर आधारित है, जो फाइन-ट्यूनिंग की उच्च लागत और खराब समयबद्धता के कारण अधिक लोकप्रिय है। इस दृष्टिकोण में दस्तावेज़ों को स्लाइस करना, एम्बेडिंग निकालना और दस्तावेज़ अपडेट का प्रबंधन करना शामिल है, जो सभी Lindorm AI Engine द्वारा सरल किए गए हैं।

शुरू करने से पहले, सुनिश्चित करें कि Lindorm AI Engine सक्रिय है। साथ ही, सत्यापित करें कि आपका वाइड टेबल इंजन संस्करण 2.5.4.3 या उससे नया है। यदि आप पुराने संस्करण का उपयोग कर रहे हैं, तो अपग्रेड करने या सहायता के लिए Lindorm सहायता से संपर्क करने पर विचार करें। इसके अतिरिक्त, पुष्टि करें कि S3 प्रोटोकॉल संगतता सुविधा और असंरचित डेटा वेक्टर रिट्रीवल फ़ंक्शन सक्षम हैं। ये पूर्वापेक्षाएँ Lindorm AI Engine के निर्बाध एकीकरण और इष्टतम प्रदर्शन को सुनिश्चित करती हैं।

प्राइवेट डेटा नॉलेज Q&A समाधान में कई AI मॉडल शामिल हैं। यह उदाहरण टेक्स्ट स्लाइसिंग के लिए ModelScope से BERT टेक्स्ट सेगमेंटेशन मॉडल, टेक्स्ट वेक्टराइज़ेशन के लिए Hugging Face से text2vec-base-chinese मॉडल और LLM के रूप में Hugging Face से ChatGLM-6B-int4 मॉडल का उपयोग करता है। यह ध्यान रखना महत्वपूर्ण है कि Alibaba Cloud तीसरे पक्ष के मॉडल की वैधता, सुरक्षा या सटीकता की गारंटी नहीं देता है, और उपयोगकर्ता उपयोग की शर्तों और प्रासंगिक कानूनों और विनियमों का पालन करने के लिए जिम्मेदार हैं।

सबसे पहले, Lindorm-cli जैसे टूल का उपयोग करके वाइड टेबल इंजन से कनेक्ट करें। फिर, नॉलेज बेस दस्तावेज़ों को संग्रहीत करने के लिए एक टेबल बनाएँ। उदाहरण के लिए: ```sql CREATE TABLE doc_table ( id VARCHAR, doc_field VARCHAR, PRIMARY KEY(id) ); ``` इसके बाद, टेबल में डेटा डालें। यह डेटा Q&A सिस्टम के लिए नॉलेज बेस के रूप में काम करेगा। उदाहरण डेटा में Lindorm सुविधाओं, अपडेट और क्षमताओं के बारे में जानकारी शामिल है।

पूर्ण वॉल्यूम रिट्रीवल Q&A को लागू करने के लिए, `CREATE MODEL` स्टेटमेंट का उपयोग करके एक मॉडल बनाएँ, जिसमें स्रोत टेबल, लक्ष्य फ़ील्ड, कार्य, एल्गोरिथम और सेटिंग्स निर्दिष्ट हों। उदाहरण के लिए: ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id'); ``` फिर, `ai_infer` फ़ंक्शन का उपयोग करके एक रिट्रीवल Q&A निष्पादित करें: ```sql SELECT ai_infer('rqa_model', 'Lindorm क्या है'); ``` परिणाम नॉलेज बेस के आधार पर LLM द्वारा उत्पन्न उत्तर होगा।

वृद्धिशील प्रसंस्करण को सक्षम करने के लिए, जो नॉलेज बेस में नए, संशोधित या हटाए गए दस्तावेज़ों को स्वचालित रूप से संभालता है, आपको स्ट्रीम इंजन और डेटा सब्सक्रिप्शन को सक्रिय करने की आवश्यकता है। पुल मोड में LTS के माध्यम से एक डेटा सब्सक्रिप्शन चैनल बनाएँ, जिसमें Lindorm टेबल का नाम और Kafka टॉपिक का नाम निर्दिष्ट हो। फिर, एक वृद्धिशील रिट्रीवल Q&A मॉडल बनाएँ: ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id', incremental_train 'on', lts_topic 'rqa_xxx_topic' ); ``` रिट्रीवल Q&A को पहले की तरह निष्पादित करें: ```sql SELECT ai_infer('rqa_model', 'Lindorm क्या है'); ``` परिणाम अपडेटेड नॉलेज बेस को प्रतिबिंबित करेगा।

यदि आपको अन्य LLMs के साथ एकीकृत करने की आवश्यकता है, तो आप एक सिमेंटिक रिट्रीवल मॉडल बना सकते हैं ताकि Lindorm केवल नॉलेज बेस सिमेंटिक रिट्रीवल फ़ंक्शन (दस्तावेज़ स्लाइसिंग, वेक्टराइज़ेशन और वेक्टर रिट्रीवल सहित) कर सके। एक सिमेंटिक रिट्रीवल मॉडल बनाएँ जो केवल पूर्ण वॉल्यूम दस्तावेज़ों को संसाधित करता है: ```sql CREATE MODEL sr_model FROM doc_table TARGET doc_field TASK SEMANTIC_RETRIEVAL ALGORITHM TEXT2VEC_BASE_CHINESE SETTINGS (doc_id_column 'id'); ``` सिमेंटिक रिट्रीवल निष्पादित करें: ```sql SELECT ai_infer('sr_model', 'Lindorm क्या है'); ``` वैकल्पिक रूप से, आप सिमेंटिक समानता स्कोर लौटाने के लिए `score` पैरामीटर सेट कर सकते हैं।

Lindorm AI Engine प्राइवेट डेटा नॉलेज Q&A AIGC एप्लिकेशन बनाने के लिए एक व्यापक और कुशल समाधान प्रदान करता है। अपनी बिल्ट-इन वेक्टर सर्च क्षमताओं और सरलीकृत SQL इंटरफ़ेस का लाभ उठाकर, डेवलपर आसानी से इंटेलिजेंट Q&A सिस्टम बना सकते हैं, जिससे विकास समय और जटिलता कम हो जाती है। चाहे आपको पूर्ण वॉल्यूम रिट्रीवल, वृद्धिशील अपडेट, या सिमेंटिक सर्च की आवश्यकता हो, Lindorm AI Engine आपकी आवश्यकताओं को पूरा करने के लिए उपकरण और लचीलापन प्रदान करता है।