Generative KI-Sicherheit konfigurieren: Inhaltsfilter auf Vertex AI

Generative KI-Modelle wie Gemini auf Vertex AI legen Wert auf Sicherheit, können aber dennoch schädliche Antworten erzeugen. Inhaltsfilter sind entscheidend, um potenziell schädliche Ausgaben zu blockieren, indem Schwellenwerte für die Blockierung angepasst werden. Diese Filter wirken als Barriere, beeinflussen aber nicht direkt das Verhalten des Modells. Zur Steuerung der Modellausgabe werden Systemanweisungen für Sicherheit empfohlen. Dieser Artikel bietet eine umfassende Anleitung zum Verständnis und zur Konfiguration dieser Filter für optimale Sicherheit und verantwortungsvolle KI-Praktiken.

Die Gemini API auf Vertex AI kann Prompts aus verschiedenen Gründen ablehnen, angezeigt durch Enum-Codes wie `PROHIBITED_CONTENT` (normalerweise CSAM), `BLOCKED_REASON_UNSPECIFIED` und `OTHER`. Wenn ein Prompt blockiert wird, liefert die API Feedback mit einem `blockReason`. Unsichere Antworten werden von nicht konfigurierbaren Sicherheitsfiltern (CSAM, PII) und konfigurierbaren Inhaltsfiltern (Schadenskategorien) sowie Zitationsfiltern erkannt und blockiert. Die API verwendet Enum-Codes wie `SAFETY`, `RECITATION`, `SPII` und `PROHIBITED_CONTENT`, um zu erklären, warum die Token-Generierung gestoppt wurde. Wenn ein Filter eine Antwort blockiert, ist das Feld `Candidate.content` leer, ohne dem Modell Feedback zu geben.

Konfigurierbare Inhaltsfilter bewerten Inhalte anhand einer Liste von Schäden und weisen für jede Schadenskategorie Wahrscheinlichkeits- und Schweregrad-Scores zu. Zu den Schadenskategorien gehören Hassreden, Belästigung, sexuell explizite Inhalte und gefährliche Inhalte. Wahrscheinlichkeits-Scores spiegeln die Wahrscheinlichkeit eines Schadens wider, diskretisiert in die Stufen NEGLIGIBLE, LOW, MEDIUM und HIGH. Schweregrad-Scores spiegeln die Intensität des potenziellen Schadens wider, ebenfalls diskretisiert in vier Stufen. Inhalte können unterschiedliche Kombinationen von Wahrscheinlichkeits- und Schweregrad-Scores aufweisen, was eine sorgfältige Konfiguration der Filter erfordert.

Inhaltsfilter können über die Gemini API in Vertex AI oder die Google Cloud-Konsole konfiguriert werden. Die Gemini API bietet eine feingranulare Steuerung mit den Methoden `SEVERITY` und `PROBABILITY` sowie mehreren Schwellenwertstufen wie `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE`, `BLOCK_ONLY_HIGH`, `HARM_BLOCK_THRESHOLD_UNSPECIFIED`, `OFF` und `BLOCK_NONE`. Die Google Cloud-Konsole bietet einen einfacheren, UI-basierten Ansatz mit vordefinierten Schwellenwertstufen: Off, Block few, Block some und Block most, wobei nur Wahrscheinlichkeits-Scores verwendet werden. Beispiele in Python, Node.js, Java, Go, C# und REST sind für die Gemini API-Konfiguration verfügbar.

Der Zitationsfilter in den generativen Codefunktionen von Vertex AI zitiert Quellen, wenn das Modell umfangreich aus einer Webseite zitiert, um Originalinhalte und die Einhaltung von Lizenzanforderungen sicherzustellen. Der Civic-Integrity-Filter, der sich derzeit in der Vorschau befindet, erkennt und blockiert Prompts im Zusammenhang mit politischen Wahlen und Kandidaten. Er ist standardmäßig deaktiviert und kann aktiviert werden, indem der Blockierungsschwellenwert für `CIVIC_INTEGRITY` auf `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE` oder `BLOCK_ONLY_HIGH` gesetzt wird.

Obwohl Inhaltsfilter unerlässlich sind, um unsichere Inhalte zu verhindern, können sie gelegentlich harmlose Inhalte blockieren oder schädliche Inhalte übersehen. Das Testen verschiedener Filtereinstellungen ist entscheidend, um die richtige Balance zwischen Sicherheit und der Zulassung angemessener Inhalte zu finden. Fortgeschrittene Modelle wie Gemini 2.5 Flash sind darauf ausgelegt, auch ohne Filter sichere Antworten zu generieren, was die Bedeutung der kontinuierlichen Überwachung und Anpassung von Sicherheitseinstellungen unterstreicht.

Der Artikel enthält Beispiele für die Konfiguration von Inhaltsfiltern mithilfe der Gemini API in Vertex AI, einschließlich Python- und REST-Beispielen. Diese Beispiele zeigen, wie Schwellenwerte für verschiedene Schadenskategorien wie sexuell explizite Inhalte, Hassreden, Belästigung und gefährliche Inhalte festgelegt werden. Das REST-Beispiel zeigt, wie eine Anfrage an den Publisher-Modell-Endpunkt mit spezifischen Sicherheitseinstellungen gesendet wird.

Die Konfiguration von Sicherheits- und Inhaltsfiltern in generativen KI-Modellen wie Gemini auf Vertex AI ist entscheidend für die verantwortungsvolle KI-Entwicklung. Durch das Verständnis von unsicheren Prompts und Antworten, die Nutzung konfigurierbarer Inhaltsfilter und die Befolgung von Best Practices können Entwickler sicherere und zuverlässigere KI-Anwendungen erstellen. Regelmäßige Überwachung und Anpassungen sind unerlässlich, um ein optimales Gleichgewicht zwischen Sicherheit und Funktionalität zu gewährleisten.