Configuration de l'IA générative pour la sécurité : Filtres de contenu sur Vertex AI

Les modèles d'IA générative, comme Gemini sur Vertex AI, privilégient la sécurité mais peuvent toujours produire des réponses nuisibles. Les filtres de contenu sont essentiels pour bloquer les sorties potentiellement dangereuses en ajustant les seuils de blocage. Ces filtres agissent comme une barrière mais n'influencent pas directement le comportement du modèle. Pour guider la sortie du modèle, les instructions système pour la sécurité sont recommandées. Cet article fournit un guide complet pour comprendre et configurer ces filtres pour une sécurité optimale et des pratiques d'IA responsables.

L'API Gemini sur Vertex AI peut rejeter des invites pour diverses raisons, indiquées par des codes d'énumération tels que `PROHIBITED_CONTENT` (généralement CSAM), `BLOCKED_REASON_UNSPECIFIED` et `OTHER`. Lorsqu'une invite est bloquée, l'API fournit un retour d'information avec un `blockReason`. Les réponses non sécurisées sont détectées et bloquées par des filtres de sécurité non configurables (CSAM, PII), des filtres de contenu configurables (catégories de nuisances) et des filtres de citation. L'API utilise des codes d'énumération tels que `SAFETY`, `RECITATION`, `SPII` et `PROHIBITED_CONTENT` pour expliquer pourquoi la génération de jetons s'est arrêtée. Si un filtre bloque une réponse, le champ `Candidate.content` est vide, sans fournir de retour d'information au modèle.

Les filtres de contenu configurables évaluent le contenu par rapport à une liste de nuisances, en attribuant des scores de probabilité et de gravité pour chaque catégorie de nuisance. Les catégories de nuisances comprennent les discours de haine, le harcèlement, le contenu sexuellement explicite et le contenu dangereux. Les scores de probabilité reflètent la probabilité de nuisance, discrétisée en niveaux NÉGLIGEABLE, FAIBLE, MOYEN et ÉLEVÉ. Les scores de gravité reflètent l'ampleur du préjudice potentiel, également discrétisés en quatre niveaux. Le contenu peut avoir des combinaisons variables de scores de probabilité et de gravité, nécessitant une configuration minutieuse des filtres.

Les filtres de contenu peuvent être configurés à l'aide de l'API Gemini dans Vertex AI ou de la console Google Cloud. L'API Gemini offre un contrôle granulaire avec les méthodes `SEVERITY` et `PROBABILITY` et plusieurs niveaux de seuil tels que `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE`, `BLOCK_ONLY_HIGH`, `HARM_BLOCK_THRESHOLD_UNSPECIFIED`, `OFF` et `BLOCK_NONE`. La console Google Cloud fournit une approche plus simple basée sur l'interface utilisateur avec des niveaux de seuil prédéfinis : Désactivé, Bloquer peu, Bloquer certains, et Bloquer la plupart, en utilisant uniquement les scores de probabilité. Des exemples en Python, Node.js, Java, Go, C# et REST sont disponibles pour la configuration de l'API Gemini.

Le filtre de citation dans les fonctionnalités de code génératif de Vertex AI cite les sources lorsque le modèle cite abondamment une page Web, garantissant le contenu original et la conformité aux exigences de licence. Le filtre d'intégrité civique, actuellement en préversion, détecte et bloque les invites liées aux élections politiques et aux candidats. Il est désactivé par défaut et peut être activé en définissant le seuil de blocage pour `CIVIC_INTEGRITY` sur `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE`, ou `BLOCK_ONLY_HIGH`.

Bien que les filtres de contenu soient essentiels pour prévenir le contenu non sécurisé, ils peuvent occasionnellement bloquer du contenu bénin ou manquer du contenu nuisible. Tester différents paramètres de filtre est crucial pour trouver le bon équilibre entre la sécurité et l'autorisation de contenu approprié. Des modèles avancés comme Gemini 2.5 Flash sont conçus pour générer des réponses sécurisées même sans filtres, soulignant l'importance d'une surveillance et d'un ajustement continus des paramètres de sécurité.

L'article fournit des exemples sur la façon de configurer les filtres de contenu à l'aide de l'API Gemini dans Vertex AI, y compris des exemples Python et REST. Ces exemples montrent comment définir des seuils pour différentes catégories de nuisances, telles que le contenu sexuellement explicite, les discours de haine, le harcèlement et le contenu dangereux. L'exemple REST montre comment envoyer une requête au point de terminaison du modèle éditeur avec des paramètres de sécurité spécifiques.

La configuration de la sécurité et des filtres de contenu dans les modèles d'IA générative comme Gemini sur Vertex AI est cruciale pour le développement responsable de l'IA. En comprenant les invites et les réponses non sécurisées, en utilisant les filtres de contenu configurables et en suivant les bonnes pratiques, les développeurs peuvent créer des applications d'IA plus sûres et plus fiables. Une surveillance et des ajustements réguliers sont essentiels pour maintenir un équilibre optimal entre sécurité et fonctionnalité.