RAG सिस्टम के लिए LLM मूल्यांकन में महारत हासिल करना: मेट्रिक्स और चुनौतियाँ

सटीकता और विश्वसनीयता सुनिश्चित करने के लिए रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम के भीतर लार्ज लैंग्वेज मॉडल (LLM) का मूल्यांकन करना महत्वपूर्ण है। RAG सिस्टम प्रासंगिक दस्तावेज़ प्राप्त करने वाले रिट्रीवल घटक को एकीकृत करके LLM को बढ़ाते हैं, जिससे वे प्रासंगिक प्रतिक्रियाएँ उत्पन्न कर पाते हैं। यह लेख RAG में LLM प्रदर्शन का आकलन करने के लिए एक व्यापक मार्गदर्शिका प्रदान करता है, जिसमें आवश्यक आयाम, मेट्रिक्स और बेंचमार्क शामिल हैं। चाहे आप एक अनुभवी व्यवसायी हों या RAG में नए हों, यह मार्गदर्शिका आपको यह सुनिश्चित करने के लिए ज्ञान से सुसज्जित करती है कि आपके RAG सिस्टम मजबूत और सटीक हैं। RAG सिस्टम पारंपरिक LLM की तुलना में अधिक बहुमुखी बनाने के लिए बाहरी जानकारी को गतिशील रूप से शामिल करते हैं जो केवल पूर्व-प्रशिक्षित ज्ञान पर निर्भर करते हैं। उदाहरण के लिए, एक RAG सिस्टम चिकित्सा संबंधी प्रश्न के लिए नवीनतम शोध पत्र प्राप्त कर सकता है, यह सुनिश्चित करते हुए कि प्रतिक्रिया उपलब्ध सबसे वर्तमान जानकारी पर आधारित है। फाइन-ट्यूनिंग के विपरीत, जो एक पूर्व-प्रशिक्षित मॉडल को एक विशिष्ट कार्य के लिए अनुकूलित करता है, RAG सिस्टम वास्तविक समय में बाहरी डेटाबेस का लाभ उठाते हैं, व्यापक फाइन-ट्यूनिंग की आवश्यकता को कम करते हैं और पुरानी प्रतिक्रियाओं के जोखिम को कम करते हैं।

RAG के लिए LLM का मूल्यांकन करते समय, एक व्यापक मूल्यांकन के लिए कई आयामों पर विचार किया जाना चाहिए: * **निर्देश या चैट:** निर्धारित करें कि मॉडल को निर्देशात्मक उद्देश्यों या संवादी इंटरैक्शन के लिए डिज़ाइन किया गया है या नहीं। निर्देशात्मक मॉडल सीधे प्रश्नों के आधार पर जानकारी प्रदान करने पर ध्यान केंद्रित करते हैं, जबकि संवादी मॉडल मल्टी-टर्न संवादों को संभालते हैं और संदर्भ बनाए रखते हैं। * **संदर्भ लंबाई:** विभिन्न संदर्भ लंबाई को संभालने की मॉडल की क्षमता का मूल्यांकन करें। छोटे संदर्भों में पर्याप्त जानकारी की कमी हो सकती है, जबकि लंबे संदर्भों में स्मृति और प्रसंस्करण की चुनौतियाँ होती हैं। उदाहरण के लिए, एक कानूनी दस्तावेज़ को हजारों टोकन संसाधित करने की आवश्यकता हो सकती है। * **डोमेन:** विभिन्न डोमेन, जैसे कानूनी या चिकित्सा में मॉडल के प्रदर्शन का आकलन करें, प्रत्येक की अपनी अनूठी आवश्यकताएं और शब्दावली होती है। सामान्य ज्ञान पर प्रशिक्षित मॉडल उचित अनुकूलन के बिना विशेष डोमेन में अच्छा प्रदर्शन नहीं कर सकता है। * **सारणीबद्ध डेटा QA:** सारणीबद्ध डेटा पर समझने और तर्क करने की मॉडल की क्षमता का मूल्यांकन करें, जो वित्त और स्वास्थ्य सेवा में कार्यों के लिए आवश्यक है। इसमें फ़िल्टरिंग, सॉर्टिंग और संख्यात्मक गणना शामिल हैं। * **शोर के प्रति मजबूती:** शोर वाले डेटासेट में विशेष रूप से प्रासंगिक विवरणों पर ध्यान केंद्रित करने और अप्रासंगिक जानकारी को फ़िल्टर करने की मॉडल की क्षमता को मापें। * **काउंटरफैक्चुअल रोबस्टनेस:** प्राप्त दस्तावेज़ों में गलत या भ्रामक जानकारी की पहचान करने और उसे संभालने की मॉडल की क्षमता का आकलन करें। * **नकारात्मक अस्वीकृति:** मूल्यांकन करें कि क्या मॉडल यह पहचान सकता है कि उसके पास पर्याप्त जानकारी नहीं है और उचित रूप से उत्तर देने से इनकार कर सकता है। * **सूचना एकीकरण:** एक व्यापक उत्तर प्रदान करने के लिए कई दस्तावेज़ों से जानकारी को संश्लेषित करने की मॉडल की क्षमता को मापें। * **सूचना अद्यतन:** सुनिश्चित करें कि अद्यतित और सटीक प्रतिक्रियाएँ सुनिश्चित करते हुए, मॉडल पुरानी हो जाने वाली जानकारी को संभालने की क्षमता का मूल्यांकन करें।

RAG सिस्टम में LLM का मूल्यांकन करने में व्यक्तिपरक पूर्वाग्रहों, उच्च लागत और तकनीकी सीमाओं सहित कई चुनौतियाँ प्रस्तुत होती हैं। "वाइब चेक" दृष्टिकोण, व्यक्तिपरक मानवीय निर्णयों पर निर्भर करता है, महंगा और समय लेने वाला है। अध्ययन मानवीय वरीयता स्कोर का उपयोग करने में सीमाओं और संभावित पूर्वाग्रहों को उजागर करते हैं, अधिक वस्तुनिष्ठ दृष्टिकोणों की मांग करते हैं। मुखरता जैसे भ्रमित करने वाले कारक मानवीय मूल्यांकनकर्ताओं को गुमराह कर सकते हैं, क्योंकि अधिक मुखर आउटपुट को अक्सर अधिक सटीक माना जाता है। इसके अतिरिक्त, वरीयता स्कोर तथ्यात्मक सटीकता जैसे महत्वपूर्ण पहलुओं को कम प्रतिनिधित्व कर सकते हैं। न्यायाधीशों के रूप में LLM का उपयोग करने में भी चुनौतियाँ प्रस्तुत होती हैं। LLM निर्णय हमेशा मानवीय निर्णयों के साथ सहसंबद्ध नहीं होते हैं, और मालिकाना मॉडल सस्ती नहीं हो सकती हैं और उनके प्रशिक्षण डेटा के बारे में पारदर्शिता की कमी हो सकती है, जिससे अनुपालन संबंधी चिंताएँ बढ़ जाती हैं।

कई मेट्रिक्स को RAG सिस्टम का व्यापक रूप से मूल्यांकन करने के लिए विकसित किया गया है। RAGAS (रिट्रीवल ऑगमेंटेड जनरेशन असेसमेंट) संदर्भ-मुक्त मूल्यांकन के लिए एक ढाँचा है, जो प्राप्त संदर्भ के प्रति उत्पन्न उत्तर की निष्ठा पर ध्यान केंद्रित करता है। यह प्रतिक्रिया को छोटे कथनों में तोड़ता है और प्रत्येक को संदर्भ के विरुद्ध सत्यापित करता है। हालाँकि, इस दृष्टिकोण में समस्याएँ हैं, जिन पर बाद में चर्चा की जाएगी। TruLens एक ग्राउंडेडनेस मेट्रिक प्रदान करता है, जो कॉन्टेक्स्ट एडहेरेंस और RAGAS फेथफुलनेस के समान है, यह मूल्यांकन करता है कि कोई प्रतिक्रिया दिए गए संदर्भ के अनुरूप है या नहीं। यह प्रतिक्रिया को वाक्यों में विभाजित करता है और संदर्भ का समर्थन करने वाले उद्धरण के लिए एक LLM का उपयोग करता है और सूचना ओवरलैप को दर देता है। इस प्रक्रिया में विफलता मोड देखे गए हैं।

चेनपोल (ChainPoll) हैलुसिनेशन डिटेक्शन के लिए एक नया दृष्टिकोण है जो चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग और मॉडल को कई बार पोलिंग को जोड़ता है। CoT प्रॉम्प्टिंग LLM से चरण-दर-चरण अपने तर्क की व्याख्या करने के लिए कहता है, जो मानवीय समस्या-समाधान की नकल करता है। पोलिंग में एक ही प्रश्न को LLM से कई बार पूछना और यादृच्छिक त्रुटियों को फ़िल्टर करने के लिए प्रतिक्रियाओं को एकत्रित करना शामिल है। चेनपोल मॉडल की निश्चितता स्तर को दर्शाने वाला स्कोर प्रदान करने के लिए प्रतिक्रियाओं का औसत निकालता है। यह विधि मानवीय प्रतिक्रिया के साथ 85% सहसंबंध प्रदर्शित करती है और सेल्फचेकजीपीटी (SelfCheckGPT) और जी-इवैल (G-Eval) जैसी अन्य विधियों से बेहतर प्रदर्शन करती है। चेनपोल कुशल और लागत प्रभावी है, एलएलएम एपीआई के बैच अनुरोधों का उपयोग करता है। डिफ़ॉल्ट रूप से, सटीकता और लागत को संतुलित करते हुए OpenAI के GPT-4o-mini का उपयोग किया जाता है। अधिक गहराई से देखने के लिए, पेपर देखें - चेनपोल: एलएलएम हैलुसिनेशन डिटेक्शन के लिए एक उच्च-प्रभावकारिता विधि।

गैलीलियो लूना (Galileo Luna) RAG सेटिंग्स में हैलुसिनेशन डिटेक्शन के लिए फाइन-ट्यून किए गए मूल्यांकन फाउंडेशन मॉडल (EFM) का एक परिवार है। लूना GPT-3.5 और वाणिज्यिक मूल्यांकन फ्रेमवर्क से बेहतर प्रदर्शन करता है, जबकि लागत और विलंबता को काफी कम करता है। यह RAGTruth डेटासेट पर उत्कृष्ट प्रदर्शन करता है और उत्कृष्ट सामान्यीकरण क्षमताएं दिखाता है। लूना एक गतिशील विंडोइंग तकनीक का उपयोग करता है जो इनपुट संदर्भ और प्रतिक्रिया दोनों को अलग-अलग विभाजित करती है, जिससे हैलुसिनेशन डिटेक्शन सटीकता में सुधार होता है। मल्टी-टास्क प्रशिक्षण EFMs को दानेदार अंतर्दृष्टि साझा करने की अनुमति देता है, जिससे अधिक मजबूत मूल्यांकन होता है। लूना को सिंथेटिक डेटा ऑग्मेंटेशन के साथ बड़े, उच्च-गुणवत्ता वाले डेटासेट पर प्रशिक्षित किया जाता है। टोकन-स्तरीय मूल्यांकन पारदर्शिता को बढ़ाता है, और विलंबता अनुकूलन NVIDIA L4 GPU पर एक सेकंड से भी कम समय में 16k इनपुट टोकन तक संसाधित करने की अनुमति देता है।

RAGAS एक फेथफुलनेस स्कोर का उपयोग करता है जो गैलीलियो के कॉन्टेक्स्ट एडहेरेंस स्कोर के समान है, दोनों यह जांचने का लक्ष्य रखते हैं कि कोई प्रतिक्रिया दिए गए संदर्भ में जानकारी से मेल खाती है या नहीं। RAGAS एक प्रतिक्रिया को कथनों में तोड़ता है और प्रत्येक को अलग-अलग मान्य करता है, जो कई तरीकों से विफल हो सकता है जिनसे चेनपोल बचता है। RAGAS अस्वीकृति उत्तरों को अच्छी तरह से संभालता नहीं है, उन्हें 0 का स्कोर असाइन करता है, जो अनुपयोगी है। चेनपोल इन मामलों को शालीनता से संभालता है, यह जांचता है कि अस्वीकृति संदर्भ के अनुरूप है या नहीं। उदाहरण के लिए, यदि LLM प्रतिक्रिया देता है, "प्रदान किए गए संदर्भ में इस बारे में जानकारी नहीं है कि कहाँ है।

RAG सिस्टम के लिए LLM का मूल्यांकन करने के लिए विभिन्न आयामों और चुनौतियों पर विचार करते हुए एक बहुआयामी दृष्टिकोण की आवश्यकता होती है। RAGAS, TruLens, ChainPoll और Galileo Luna जैसे मेट्रिक्स प्रदर्शन का आकलन करने के विभिन्न तरीके प्रदान करते हैं, प्रत्येक की अपनी ताकत और कमजोरियां हैं। इन मूल्यांकन विधियों और उनकी सीमाओं को समझकर, व्यवसायी अधिक मजबूत, सटीक और विश्वसनीय RAG सिस्टम बना सकते हैं।