Configuración de la IA Generativa Segura: Filtros de Contenido en Vertex AI

Los modelos de IA generativa, como Gemini en Vertex AI, priorizan la seguridad pero aún pueden producir respuestas perjudiciales. Los filtros de contenido son cruciales para bloquear resultados potencialmente dañinos ajustando los umbrales de bloqueo. Estos filtros actúan como una barrera pero no influyen directamente en el comportamiento del modelo. Para guiar la salida del modelo, se recomiendan instrucciones del sistema para la seguridad. Este artículo proporciona una guía completa para comprender y configurar estos filtros para una seguridad óptima y prácticas de IA responsables.

La API de Gemini en Vertex AI puede rechazar prompts por varias razones, indicadas por códigos enum como `PROHIBITED_CONTENT` (generalmente CSAM), `BLOCKED_REASON_UNSPECIFIED` y `OTHER`. Cuando se bloquea un prompt, la API proporciona retroalimentación con un `blockReason`. Las respuestas inseguras son detectadas y bloqueadas por filtros de seguridad no configurables (CSAM, PII), filtros de contenido configurables (categorías de daño) y filtros de citación. La API utiliza códigos enum como `SAFETY`, `RECITATION`, `SPII` y `PROHIBITED_CONTENT` para explicar por qué se detuvo la generación de tokens. Si un filtro bloquea una respuesta, el campo `Candidate.content` está vacío, sin proporcionar retroalimentación al modelo.

Los filtros de contenido configurables evalúan el contenido frente a una lista de daños, asignando puntuaciones de probabilidad y severidad para cada categoría de daño. Las categorías de daño incluyen Discurso de Odio, Acoso, Contenido Sexualmente Explícito y Contenido Peligroso. Las puntuaciones de probabilidad reflejan la probabilidad de daño, discretizadas en niveles NEGLIGIBLE, LOW, MEDIUM y HIGH. Las puntuaciones de severidad reflejan la magnitud del daño potencial, también discretizadas en cuatro niveles. El contenido puede tener combinaciones variables de puntuaciones de probabilidad y severidad, lo que requiere una configuración cuidadosa de los filtros.

Los filtros de contenido se pueden configurar utilizando la API de Gemini en Vertex AI o la consola de Google Cloud. La API de Gemini ofrece un control granular con los métodos `SEVERITY` y `PROBABILITY` y múltiples niveles de umbral como `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE`, `BLOCK_ONLY_HIGH`, `HARM_BLOCK_THRESHOLD_UNSPECIFIED`, `OFF` y `BLOCK_NONE`. La consola de Google Cloud proporciona un enfoque más simple basado en UI con niveles de umbral predefinidos: Off, Block few, Block some y Block most, utilizando solo puntuaciones de probabilidad. Hay ejemplos disponibles en Python, Node.js, Java, Go, C# y REST para la configuración de la API de Gemini.

El filtro de citación en las funciones de código generativo de Vertex AI cita fuentes cuando el modelo cita extensamente de una página web, asegurando el contenido original y el cumplimiento de los requisitos de licencia. El filtro de integridad cívica, actualmente en vista previa, detecta y bloquea prompts relacionados con elecciones políticas y candidatos. Está deshabilitado por defecto y se puede habilitar estableciendo el umbral de bloqueo para `CIVIC_INTEGRITY` en `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE` o `BLOCK_ONLY_HIGH`.

Si bien los filtros de contenido son esenciales para prevenir contenido inseguro, ocasionalmente pueden bloquear contenido benigno o pasar por alto contenido dañino. Probar diferentes configuraciones de filtros es crucial para encontrar el equilibrio adecuado entre seguridad y permitir contenido apropiado. Modelos avanzados como Gemini 2.5 Flash están diseñados para generar respuestas seguras incluso sin filtros, enfatizando la importancia del monitoreo continuo y el ajuste de la configuración de seguridad.

El artículo proporciona ejemplos de cómo configurar filtros de contenido utilizando la API de Gemini en Vertex AI, incluyendo ejemplos en Python y REST. Estos ejemplos demuestran cómo establecer umbrales para diferentes categorías de daño, como contenido sexualmente explícito, discurso de odio, acoso y contenido peligroso. El ejemplo de REST muestra cómo enviar una solicitud al endpoint del modelo publicador con configuraciones de seguridad específicas.

Configurar la seguridad y los filtros de contenido en modelos de IA generativa como Gemini en Vertex AI es crucial para el desarrollo responsable de IA. Al comprender los prompts y respuestas inseguras, utilizar filtros de contenido configurables y seguir las mejores prácticas, los desarrolladores pueden crear aplicaciones de IA más seguras y confiables. El monitoreo y los ajustes regulares son esenciales para mantener un equilibrio óptimo entre seguridad y funcionalidad.