Configurando IA Generativa de Segurança: Filtros de Conteúdo na Vertex AI

Modelos de IA Generativa, como o Gemini na Vertex AI, priorizam a segurança, mas ainda podem produzir respostas prejudiciais. Filtros de conteúdo são cruciais para bloquear saídas potencialmente prejudiciais, ajustando os limites de bloqueio. Esses filtros agem como uma barreira, mas não influenciam diretamente o comportamento do modelo. Para guiar a saída do modelo, são recomendadas instruções de sistema para segurança. Este artigo fornece um guia abrangente para entender e configurar esses filtros para segurança ideal e práticas de IA responsáveis.

A API Gemini na Vertex AI pode rejeitar prompts por vários motivos, indicados por códigos enum como `PROHIBITED_CONTENT` (geralmente CSAM), `BLOCKED_REASON_UNSPECIFIED` e `OTHER`. Quando um prompt é bloqueado, a API fornece feedback com um `blockReason`. Respostas inseguras são detectadas e bloqueadas por filtros de segurança não configuráveis (CSAM, PII), filtros de conteúdo configuráveis (categorias de dano) e filtros de citação. A API usa códigos enum como `SAFETY`, `RECITATION`, `SPII` e `PROHIBITED_CONTENT` para explicar por que a geração de tokens parou. Se um filtro bloquear uma resposta, o campo `Candidate.content` fica vazio, sem fornecer feedback ao modelo.

Filtros de conteúdo configuráveis avaliam o conteúdo em relação a uma lista de danos, atribuindo pontuações de probabilidade e gravidade para cada categoria de dano. As categorias de dano incluem Discurso de Ódio, Assédio, Conteúdo Sexualmente Explícito e Conteúdo Perigoso. Pontuações de probabilidade refletem a probabilidade de dano, discretizadas em níveis NEGLIGIBLE, LOW, MEDIUM e HIGH. Pontuações de gravidade refletem a magnitude do dano potencial, também discretizadas em quatro níveis. O conteúdo pode ter combinações variadas de pontuações de probabilidade e gravidade, exigindo configuração cuidadosa dos filtros.

Filtros de conteúdo podem ser configurados usando a API Gemini na Vertex AI ou o console do Google Cloud. A API Gemini oferece controle granular com os métodos `SEVERITY` e `PROBABILITY` e múltiplos níveis de limite como `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE`, `BLOCK_ONLY_HIGH`, `HARM_BLOCK_THRESHOLD_UNSPECIFIED`, `OFF` e `BLOCK_NONE`. O console do Google Cloud oferece uma abordagem mais simples baseada em UI com níveis de limite predefinidos: Off, Block few, Block some e Block most, usando apenas pontuações de probabilidade. Exemplos em Python, Node.js, Java, Go, C# e REST estão disponíveis para configuração da API Gemini.

O filtro de citação nos recursos de código generativo da Vertex AI cita fontes quando o modelo cita extensivamente uma página da web, garantindo conteúdo original e conformidade com os requisitos de licenciamento. O filtro de integridade cívica, atualmente em preview, detecta e bloqueia prompts relacionados a eleições políticas e candidatos. Ele está desativado por padrão e pode ser ativado definindo o limite de bloqueio para `CIVIC_INTEGRITY` como `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE` ou `BLOCK_ONLY_HIGH`.

Embora os filtros de conteúdo sejam essenciais para prevenir conteúdo inseguro, eles podem ocasionalmente bloquear conteúdo benigno ou não detectar conteúdo prejudicial. Testar diferentes configurações de filtro é crucial para encontrar o equilíbrio certo entre segurança e permissão de conteúdo apropriado. Modelos avançados como o Gemini 2.5 Flash são projetados para gerar respostas seguras mesmo sem filtros, enfatizando a importância do monitoramento contínuo e ajuste das configurações de segurança.

O artigo fornece exemplos de como configurar filtros de conteúdo usando a API Gemini na Vertex AI, incluindo exemplos em Python e REST. Esses exemplos demonstram como definir limites para diferentes categorias de dano, como conteúdo sexualmente explícito, discurso de ódio, assédio e conteúdo perigoso. O exemplo REST mostra como enviar uma solicitação para o endpoint do modelo publisher com configurações de segurança específicas.

Configurar filtros de segurança e conteúdo em modelos de IA Generativa como o Gemini na Vertex AI é crucial para o desenvolvimento responsável de IA. Ao entender prompts e respostas inseguros, utilizar filtros de conteúdo configuráveis e seguir as melhores práticas, os desenvolvedores podem criar aplicações de IA mais seguras e confiáveis. Monitoramento e ajustes regulares são essenciais para manter um equilíbrio ideal entre segurança e funcionalidade.