जेनरेटिव AI सुरक्षा को कॉन्फ़िगर करना: Vertex AI पर कंटेंट फ़िल्टर

जेनरेटिव AI मॉडल, जैसे Vertex AI पर Gemini, सुरक्षा को प्राथमिकता देते हैं लेकिन फिर भी हानिकारक प्रतिक्रियाएँ उत्पन्न कर सकते हैं। कंटेंट फ़िल्टर ब्लॉकिंग थ्रेशोल्ड को समायोजित करके संभावित हानिकारक आउटपुट को ब्लॉक करने के लिए महत्वपूर्ण हैं। ये फ़िल्टर एक बाधा के रूप में कार्य करते हैं लेकिन सीधे मॉडल के व्यवहार को प्रभावित नहीं करते हैं। मॉडल के आउटपुट को निर्देशित करने के लिए, सुरक्षा के लिए सिस्टम निर्देशों की सिफारिश की जाती है। यह लेख इष्टतम सुरक्षा और जिम्मेदार AI प्रथाओं के लिए इन फ़िल्टर को समझने और कॉन्फ़िगर करने के लिए एक व्यापक मार्गदर्शिका प्रदान करता है।

Vertex AI पर Gemini API विभिन्न कारणों से प्रॉम्प्ट को अस्वीकार कर सकता है, जो एनम कोड जैसे `PROHIBITED_CONTENT` (आमतौर पर CSAM), `BLOCKED_REASON_UNSPECIFIED`, और `OTHER` द्वारा इंगित किया जाता है। जब कोई प्रॉम्प्ट ब्लॉक किया जाता है, तो API `blockReason` के साथ फीडबैक प्रदान करता है। असुरक्षित प्रतिक्रियाओं का पता लगाया जाता है और गैर-कॉन्फ़िगर करने योग्य सुरक्षा फ़िल्टर (CSAM, PII), कॉन्फ़िगर करने योग्य कंटेंट फ़िल्टर (हानि श्रेणियां), और उद्धरण फ़िल्टर द्वारा ब्लॉक किया जाता है। API टोकन जनरेशन को रोकने के कारणों को समझाने के लिए `SAFETY`, `RECITATION`, `SPII`, और `PROHIBITED_CONTENT` जैसे एनम कोड का उपयोग करता है। यदि कोई फ़िल्टर प्रतिक्रिया को ब्लॉक करता है, तो `Candidate.content` फ़ील्ड खाली होती है, बिना मॉडल को फीडबैक प्रदान किए।

कॉन्फ़िगर करने योग्य कंटेंट फ़िल्टर सामग्री का मूल्यांकन हानियों की सूची के विरुद्ध करते हैं, प्रत्येक हानि श्रेणी के लिए संभाव्यता और गंभीरता स्कोर असाइन करते हैं। हानि श्रेणियों में हेट स्पीच, उत्पीड़न, यौन रूप से स्पष्ट सामग्री और खतरनाक सामग्री शामिल हैं। संभाव्यता स्कोर हानि की संभावना को दर्शाते हैं, जिन्हें NEGLIGIBLE, LOW, MEDIUM, और HIGH स्तरों में विभाजित किया गया है। गंभीरता स्कोर संभावित हानि के परिमाण को दर्शाते हैं, जिन्हें चार स्तरों में भी विभाजित किया गया है। सामग्री में संभाव्यता और गंभीरता स्कोर के विभिन्न संयोजन हो सकते हैं, जिसके लिए फ़िल्टर के सावधानीपूर्वक कॉन्फ़िगरेशन की आवश्यकता होती है।

कंटेंट फ़िल्टर को Vertex AI में Gemini API या Google Cloud कंसोल का उपयोग करके कॉन्फ़िगर किया जा सकता है। Gemini API `SEVERITY` और `PROBABILITY` विधियों और `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE`, `BLOCK_ONLY_HIGH`, `HARM_BLOCK_THRESHOLD_UNSPECIFIED`, `OFF`, और `BLOCK_NONE` जैसे कई थ्रेशोल्ड स्तरों के साथ फाइन-ग्रेन्ड नियंत्रण प्रदान करता है। Google Cloud कंसोल पूर्वनिर्धारित थ्रेशोल्ड स्तरों के साथ एक सरल UI-आधारित दृष्टिकोण प्रदान करता है: Off, Block few, Block some, और Block most, केवल संभाव्यता स्कोर का उपयोग करके। Gemini API कॉन्फ़िगरेशन के लिए Python, Node.js, Java, Go, C#, और REST में उदाहरण उपलब्ध हैं।

Vertex AI की जेनरेटिव कोड सुविधाओं में उद्धरण फ़िल्टर तब स्रोतों का उद्धरण देता है जब मॉडल किसी वेब पेज से बड़े पैमाने पर उद्धरण लेता है, मूल सामग्री और लाइसेंस आवश्यकताओं के अनुपालन को सुनिश्चित करता है। नागरिक अखंडता फ़िल्टर, वर्तमान में पूर्वावलोकन में है, राजनीतिक चुनावों और उम्मीदवारों से संबंधित प्रॉम्प्ट का पता लगाता है और ब्लॉक करता है। यह डिफ़ॉल्ट रूप से अक्षम है और `CIVIC_INTEGRITY` के लिए ब्लॉकिंग थ्रेशोल्ड को `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE`, या `BLOCK_ONLY_HIGH` पर सेट करके सक्षम किया जा सकता है।

जबकि कंटेंट फ़िल्टर असुरक्षित सामग्री को रोकने के लिए आवश्यक हैं, वे कभी-कभी सौम्य सामग्री को ब्लॉक कर सकते हैं या हानिकारक सामग्री को चूक सकते हैं। सुरक्षा और उचित सामग्री की अनुमति देने के बीच सही संतुलन खोजने के लिए विभिन्न फ़िल्टर सेटिंग्स का परीक्षण करना महत्वपूर्ण है। Gemini 2.5 Flash जैसे उन्नत मॉडल को फ़िल्टर के बिना भी सुरक्षित प्रतिक्रियाएँ उत्पन्न करने के लिए डिज़ाइन किया गया है, जो निरंतर निगरानी और सुरक्षा सेटिंग्स के समायोजन के महत्व पर जोर देता है।

लेख Vertex AI में Gemini API का उपयोग करके कंटेंट फ़िल्टर को कॉन्फ़िगर करने के तरीके के उदाहरण प्रदान करता है, जिसमें Python और REST उदाहरण शामिल हैं। ये उदाहरण दर्शाते हैं कि विभिन्न हानि श्रेणियों के लिए थ्रेशोल्ड कैसे सेट करें, जैसे यौन रूप से स्पष्ट सामग्री, हेट स्पीच, उत्पीड़न और खतरनाक सामग्री। REST उदाहरण विशिष्ट सुरक्षा सेटिंग्स के साथ प्रकाशक मॉडल एंडपॉइंट पर अनुरोध भेजने का तरीका दिखाता है।

Vertex AI पर Gemini जैसे जेनरेटिव AI मॉडल में सुरक्षा और कंटेंट फ़िल्टर को कॉन्फ़िगर करना जिम्मेदार AI विकास के लिए महत्वपूर्ण है। असुरक्षित प्रॉम्प्ट और प्रतिक्रियाओं को समझकर, कॉन्फ़िगर करने योग्य कंटेंट फ़िल्टर का उपयोग करके, और सर्वोत्तम प्रथाओं का पालन करके, डेवलपर्स सुरक्षित और अधिक विश्वसनीय AI एप्लिकेशन बना सकते हैं। कार्यक्षमता और सुरक्षा के बीच इष्टतम संतुलन बनाए रखने के लिए नियमित निगरानी और समायोजन आवश्यक हैं।