Настройка генеративного ИИ для безопасности: контент-фильтры в Vertex AI

Генеративные модели ИИ, такие как Gemini в Vertex AI, уделяют первостепенное внимание безопасности, но все же могут генерировать вредоносные ответы. Контент-фильтры имеют решающее значение для блокировки потенциально вредоносных результатов путем настройки пороговых значений блокировки. Эти фильтры действуют как барьер, но не влияют напрямую на поведение модели. Для управления выходными данными модели рекомендуется использовать системные инструкции по безопасности. Эта статья представляет собой подробное руководство по пониманию и настройке этих фильтров для обеспечения оптимальной безопасности и ответственного использования ИИ.

API Gemini в Vertex AI может отклонять запросы по различным причинам, обозначенным кодами перечисления, такими как `PROHIBITED_CONTENT` (обычно CSAM), `BLOCKED_REASON_UNSPECIFIED` и `OTHER`. Когда запрос заблокирован, API предоставляет обратную связь с `blockReason`. Небезопасные ответы обнаруживаются и блокируются неконфигурируемыми фильтрами безопасности (CSAM, PII), настраиваемыми контент-фильтрами (категории вреда) и фильтрами цитирования. API использует коды перечисления, такие как `SAFETY`, `RECITATION`, `SPII` и `PROHIBITED_CONTENT`, чтобы объяснить, почему генерация токенов остановилась. Если фильтр блокирует ответ, поле `Candidate.content` остается пустым, без предоставления обратной связи модели.

Настраиваемые контент-фильтры оценивают контент по списку видов вреда, присваивая вероятностные и оценочные баллы для каждой категории вреда. Категории вреда включают разжигание ненависти, преследование, сексуально откровенный контент и опасный контент. Баллы вероятности отражают вероятность вреда, дискретизированные до уровней NEGLIGIBLE (пренебрежимо малый), LOW (низкий), MEDIUM (средний) и HIGH (высокий). Баллы серьезности отражают степень потенциального вреда, также дискретизированные до четырех уровней. Контент может иметь различные комбинации баллов вероятности и серьезности, что требует тщательной настройки фильтров.

Контент-фильтры можно настраивать с помощью Gemini API в Vertex AI или консоли Google Cloud. Gemini API предлагает детальный контроль с помощью методов `SEVERITY` и `PROBABILITY` и нескольких уровней пороговых значений, таких как `BLOCK_LOW_AND_ABOVE` (блокировать низкий и выше), `BLOCK_MEDIUM_AND_ABOVE` (блокировать средний и выше), `BLOCK_ONLY_HIGH` (блокировать только высокий), `HARM_BLOCK_THRESHOLD_UNSPECIFIED` (не указан порог блокировки вреда), `OFF` (выключено) и `BLOCK_NONE` (не блокировать). Консоль Google Cloud предоставляет более простой подход на основе пользовательского интерфейса с предопределенными уровнями пороговых значений: Off (Выключено), Block few (Блокировать немного), Block some (Блокировать некоторые) и Block most (Блокировать большинство), используя только баллы вероятности. Примеры для настройки Gemini API доступны на Python, Node.js, Java, Go, C# и REST.

Фильтр цитирования в функциях генеративного кода Vertex AI цитирует источники, когда модель обширно цитирует веб-страницу, обеспечивая оригинальность контента и соответствие требованиям лицензии. Фильтр гражданской целостности, в настоящее время находящийся в предварительной версии, обнаруживает и блокирует запросы, связанные с политическими выборами и кандидатами. Он отключен по умолчанию и может быть включен путем установки порогового значения блокировки для `CIVIC_INTEGRITY` на `BLOCK_LOW_AND_ABOVE`, `BLOCK_MEDIUM_AND_ABOVE` или `BLOCK_ONLY_HIGH`.

Хотя контент-фильтры необходимы для предотвращения небезопасного контента, они могут иногда блокировать безобидный контент или пропускать вредоносный. Тестирование различных настроек фильтров имеет решающее значение для достижения правильного баланса между безопасностью и разрешением соответствующего контента. Продвинутые модели, такие как Gemini 2.5 Flash, разработаны для генерации безопасных ответов даже без фильтров, подчеркивая важность постоянного мониторинга и корректировки настроек безопасности.

Статья содержит примеры настройки контент-фильтров с использованием Gemini API в Vertex AI, включая примеры на Python и REST. Эти примеры демонстрируют, как устанавливать пороговые значения для различных категорий вреда, таких как сексуально откровенный контент, разжигание ненависти, преследование и опасный контент. Пример REST показывает, как отправить запрос к конечной точке издательской модели с определенными настройками безопасности.

Настройка безопасности и контент-фильтров в моделях генеративного ИИ, таких как Gemini в Vertex AI, имеет решающее значение для ответственной разработки ИИ. Понимая небезопасные запросы и ответы, используя настраиваемые контент-фильтры и следуя рекомендациям, разработчики могут создавать более безопасные и надежные приложения ИИ. Регулярный мониторинг и корректировки необходимы для поддержания оптимального баланса между безопасностью и функциональностью.