GKE और Cloud SQL के साथ RAG एप्लिकेशन बनाना

यह लेख Google Cloud पर रिट्रीवल ऑगमेंटेड जनरेशन (RAG) एप्लिकेशन को डिप्लॉय करने के लिए एक संदर्भ आर्किटेक्चर की पड़ताल करता है, जिसमें Google Kubernetes Engine (GKE), Cloud SQL और लोकप्रिय ओपन-सोर्स टूल का लाभ उठाया गया है। RAG जनरेटिव AI आउटपुट की गुणवत्ता को पुनर्प्राप्त ज्ञान में ग्राउंड करके बढ़ाता है, जिससे यह सटीक और संदर्भ-जागरूक प्रतिक्रियाओं की आवश्यकता वाले अनुप्रयोगों के लिए आदर्श बन जाता है। यह गाइड GKE और Cloud SQL से परिचित डेवलपर्स के लिए तैयार की गई है, और जिनके पास AI, मशीन लर्निंग (ML), और लार्ज लैंग्वेज मॉडल (LLMs) की वैचारिक समझ है। हम आर्किटेक्चर के घटकों, डेटा प्रवाह और एक मजबूत और कुशल RAG सिस्टम बनाने के लिए प्रमुख विचारों पर गहराई से विचार करेंगे।

आर्किटेक्चर में दो प्राथमिक उप-प्रणालियाँ शामिल हैं: एम्बेडिंग उप-प्रणाली और सेवा उप-प्रणाली। एम्बेडिंग उप-प्रणाली विभिन्न स्रोतों से डेटा को इनजेस्ट करने, इसे वेक्टर एम्बेडिंग में बदलने और इन एम्बेडिंग को वेक्टर डेटाबेस में संग्रहीत करने के लिए जिम्मेदार है। सेवा उप-प्रणाली उपयोगकर्ता अनुरोधों को संभालती है, सिमेंटिक खोज का उपयोग करके वेक्टर डेटाबेस से प्रासंगिक जानकारी पुनर्प्राप्त करती है, और LLM का उपयोग करके प्रतिक्रियाएँ उत्पन्न करती है। चिंताओं का यह पृथक्करण कुशल डेटा प्रसंस्करण और स्केलेबल सेवा वितरण की अनुमति देता है।

आंतरिक और बाहरी दोनों स्रोतों से डेटा Cloud Storage पर अपलोड किया जाता है। यह अपलोड एक ईवेंट को ट्रिगर करता है जो एम्बेडिंग सेवा को सूचित करता है। एम्बेडिंग सेवा तब डेटा को पुनर्प्राप्त करती है, Ray Data का उपयोग करके इसे प्रीप्रोसेस करती है (जिसमें चंकिंग और फ़ॉर्मेटिंग शामिल हो सकती है), और intfloat/multilingual-e5-small जैसे ओपन-सोर्स मॉडल का उपयोग करके वेक्टर एम्बेडिंग उत्पन्न करती है। इन एम्बेडिंग को फिर Cloud SQL for PostgreSQL वेक्टर डेटाबेस में लिखा जाता है, जिसे उच्च-आयामी वैक्टर को संग्रहीत करने और पुनर्प्राप्त करने के लिए अनुकूलित किया गया है।

एक उपयोगकर्ता वेब-आधारित चैट इंटरफ़ेस के माध्यम से एक प्राकृतिक भाषा अनुरोध सबमिट करता है। GKE पर चलने वाला फ्रंट-एंड सर्वर, अनुरोध को एम्बेडिंग में बदलने के लिए LangChain का उपयोग करता है। इस एम्बेडिंग का उपयोग वेक्टर डेटाबेस में सिमेंटिक खोज करने के लिए किया जाता है, जिससे प्रासंगिक डेटा पुनर्प्राप्त होता है। फिर मूल अनुरोध को पुनर्प्राप्त डेटा के साथ मिलाकर एक प्रासंगिक प्रॉम्प्ट बनाया जाता है, जिसे इन्फेरेंस सर्वर को भेजा जाता है। Hugging Face TGI द्वारा संचालित इन्फेरेंस सर्वर, प्रतिक्रिया उत्पन्न करने के लिए एक ओपन-सोर्स LLM (जैसे, Mistral-7B-Instruct या Gemma) का उपयोग करता है। प्रतिक्रिया को Responsible AI (RAI) सेवाओं का उपयोग करके सुरक्षा के लिए फ़िल्टर किया जाता है, इससे पहले कि इसे उपयोगकर्ता को वापस भेजा जाए।

यह आर्किटेक्चर कई प्रमुख Google Cloud और ओपन-सोर्स उत्पादों का लाभ उठाता है। Google Kubernetes Engine (GKE) कंटेनर ऑर्केस्ट्रेशन प्लेटफ़ॉर्म प्रदान करता है। Cloud Storage स्केलेबल ऑब्जेक्ट स्टोरेज प्रदान करता है। pgvector एक्सटेंशन के साथ संवर्धित Cloud SQL for PostgreSQL, वेक्टर डेटाबेस के रूप में कार्य करता है। ओपन-सोर्स टूल में LLM सर्विंग के लिए Hugging Face Text Generation Inference (TGI), वितरित कंप्यूटिंग के लिए Ray, और LLM-संचालित एप्लिकेशन बनाने के लिए LangChain शामिल हैं।

RAG विभिन्न परिदृश्यों पर लागू होता है। व्यक्तिगत उत्पाद अनुशंसाओं के लिए, एक चैटबॉट अधिक प्रासंगिक सुझाव प्रदान करने के लिए ऐतिहासिक उपयोगकर्ता डेटा का लाभ उठा सकता है। नैदानिक ​​सहायता में, डॉक्टर बेहतर निदान के लिए रोगी के इतिहास और बाहरी ज्ञान आधारों तक पहुँचने के लिए RAG का उपयोग कर सकते हैं। कानूनी अनुसंधान में, वकील आंतरिक अनुबंधों और केस रिकॉर्ड से डेटा द्वारा संवर्धित नियमों और केस कानून को जल्दी से क्वेरी कर सकते हैं।

पूरी तरह से प्रबंधित वेक्टर खोज समाधान के लिए, Vertex AI और Vector Search का उपयोग करने पर विचार करें। वैकल्पिक रूप से, आप AlloyDB for PostgreSQL जैसे अन्य Google Cloud डेटाबेस की वेक्टर स्टोरेज क्षमताओं का लाभ उठा सकते हैं। ये विकल्प प्रबंधन ओवरहेड और प्रदर्शन के मामले में विभिन्न ट्रेड-ऑफ प्रदान करते हैं।

सुरक्षा सर्वोपरि है। GKE Autopilot की अंतर्निहित सुरक्षा सुविधाओं का उपयोग करें। एक्सेस कंट्रोल के लिए Identity-Aware Proxy (IAP) लागू करें। Cloud KMS का उपयोग करके डेटा को आराम और ट्रांज़िट में एन्क्रिप्ट करें। Cloud SQL के लिए, SSL/TLS या Cloud SQL Auth प्रॉक्सी का उपयोग करके सुरक्षित कनेक्शन लागू करें। Cloud Storage में संवेदनशील डेटा की पहचान और डी-पहचान करने के लिए Sensitive Data Protection का उपयोग करें। डेटा एक्सफ़िल्ट्रेशन को रोकने के लिए VPC Service Controls का लाभ उठाएं। डेटा स्टोरेज के लिए उपयुक्त क्षेत्र निर्दिष्ट करके डेटा निवास आवश्यकताओं का अनुपालन सुनिश्चित करें।

क्षेत्रीय GKE क्लस्टर का उपयोग करके और उच्च उपलब्धता के साथ Cloud SQL इंस्टेंस को कॉन्फ़िगर करके उच्च उपलब्धता सुनिश्चित करें। डेटा अतिरेक के लिए Cloud Storage के क्षेत्रीय या बहु-क्षेत्रीय स्टोरेज विकल्पों का उपयोग करें। ऑटोस्केलिंग घटनाओं के दौरान उपलब्धता सुनिश्चित करने के लिए GPU संसाधनों के लिए आरक्षित क्षमता का उपयोग करने पर विचार करें।

GKE Autopilot की दक्षता का लाभ उठाकर लागतों को अनुकूलित करें। अनुमानित वर्कलोड के लिए Committed Use Discounts पर विचार करें। कंप्यूट लागत को कम करने के लिए GKE नोड्स के लिए Spot VMs का उपयोग करें। Cloud SQL के लिए, यदि उच्च उपलब्धता की आवश्यकता नहीं है तो स्टैंडअलोन इंस्टेंस का उपयोग करें। ओवर-प्रोविज़न किए गए इंस्टेंस की पहचान करने के लिए Cloud SQL की लागत विश्लेषण अंतर्दृष्टि का उपयोग करें। डेटा एक्सेस आवृत्ति और प्रतिधारण आवश्यकताओं के आधार पर उपयुक्त Cloud Storage क्लास चुनें।

प्रदर्शन आवश्यकताओं के आधार पर GKE पॉड्स के लिए उपयुक्त कंप्यूट श्रेणी का चयन करें। इन्फेरेंस सर्वर और एम्बेडिंग सेवाओं के लिए GPU मशीन प्रकारों का उपयोग करें। पर्याप्त CPU और मेमोरी आवंटित करके Cloud SQL प्रदर्शन को अनुकूलित करें। तेज़ अनुमानित निकटतम पड़ोसी (ANN) वेक्टर खोज के लिए IVFFlat या HNSW इंडेक्स का उपयोग करें। प्रदर्शन बाधाओं की पहचान करने और उन्हें हल करने के लिए Cloud SQL के Query Insights टूल का लाभ उठाएं। Cloud Storage पर बड़ी फ़ाइल अपलोड के लिए, समानांतर कंपोजिट अपलोड पर विचार करें।

इस आर्किटेक्चर को डिप्लॉय करने के लिए GitHub पर एक नमूना कोडबेस उपलब्ध है। यह कोड प्रयोग के लिए है न कि उत्पादन उपयोग के लिए। यह Cloud SQL को प्रावधान करता है, GKE में Ray, JupyterHub और Hugging Face TGI को डिप्लॉय करता है, और एक नमूना चैटबॉट एप्लिकेशन को डिप्लॉय करता है। प्रयोग के बाद किसी भी अप्रयुक्त संसाधनों को हटाना याद रखें। GKE सर्वोत्तम प्रथाओं की समीक्षा करके, Google Cloud के जनरेटिव AI ग्राउंडिंग विकल्पों की जांच करके, और Vertex AI और Vector Search या AlloyDB का उपयोग करने वाले आर्किटेक्चर का अध्ययन करके आगे अन्वेषण करें। आर्किटेक्चरल सिद्धांतों और सिफारिशों के लिए Well-Architected Framework for AI and Machine Learning से परामर्श करें।