生成AIの安全設定：Vertex AIのコンテンツフィルター

Vertex AI上のGeminiのような生成AIモデルは安全性を最優先していますが、それでも有害な応答を生成する可能性があります。コンテンツフィルターは、ブロックしきい値を調整することで、潜在的に有害な出力をブロックするために不可欠です。これらのフィルターは障壁として機能しますが、モデルの動作に直接影響を与えるわけではありません。モデルの出力をガイドするには、安全性に関するシステム指示が推奨されます。この記事では、最適な安全性と責任あるAIの実践のために、これらのフィルターを理解し設定するための包括的なガイドを提供します。

Vertex AI上のGemini APIは、さまざまな理由でプロンプトを拒否する可能性があり、`PROHIBITED_CONTENT`（通常はCSAM）、`BLOCKED_REASON_UNSPECIFIED`、`OTHER`などの列挙コードで示されます。プロンプトがブロックされた場合、APIは`blockReason`でフィードバックを提供します。安全でない応答は、設定不可能な安全フィルター（CSAM、PII）、設定可能なコンテンツフィルター（有害カテゴリ）、および引用フィルターによって検出およびブロックされます。APIは、トークン生成が停止した理由を説明するために、`SAFETY`、`RECITATION`、`SPII`、`PROHIBITED_CONTENT`などの列挙コードを使用します。フィルターが応答をブロックした場合、`Candidate.content`フィールドは空になり、モデルにフィードバックは提供されません。

設定可能なコンテンツフィルターは、コンテンツを有害リストに対して評価し、各有害カテゴリの確率と重大度スコアを割り当てます。有害カテゴリには、ヘイトスピーチ、ハラスメント、性的に露骨なコンテンツ、危険なコンテンツが含まれます。確率スコアは有害性の可能性を反映し、NEGLIGIBLE、LOW、MEDIUM、HIGHのレベルに離散化されます。重大度スコアは潜在的な有害性の大きさを反映し、こちらも4つのレベルに離散化されます。コンテンツは確率スコアと重大度スコアのさまざまな組み合わせを持つ可能性があり、フィルターの慎重な設定が必要です。

コンテンツフィルターは、Vertex AIのGemini APIまたはGoogle Cloudコンソールを使用して設定できます。Gemini APIは、`SEVERITY`および`PROBABILITY`メソッドと、`BLOCK_LOW_AND_ABOVE`、`BLOCK_MEDIUM_AND_ABOVE`、`BLOCK_ONLY_HIGH`、`HARM_BLOCK_THRESHOLD_UNSPECIFIED`、`OFF`、`BLOCK_NONE`などの複数のしきい値レベルで細かい制御を提供します。Google Cloudコンソールは、確率スコアのみを使用して、Off、Block few、Block some、Block mostの定義済みしきい値レベルを備えた、よりシンプルなUIベースのアプローチを提供します。Gemini API設定については、Python、Node.js、Java、Go、C#、およびRESTの例が利用可能です。

Vertex AIの生成コード機能における引用フィルターは、モデルがWebページから広範囲に引用する場合にソースを引用し、元のコンテンツとライセンス要件への準拠を保証します。現在プレビュー中の市民の誠実性フィルターは、政治選挙および候補者に関連するプロンプトを検出しブロックします。デフォルトでは無効になっており、`CIVIC_INTEGRITY`のブロックしきい値を`BLOCK_LOW_AND_ABOVE`、`BLOCK_MEDIUM_AND_ABOVE`、または`BLOCK_ONLY_HIGH`に設定することで有効にできます。

コンテンツフィルターは安全でないコンテンツを防ぐために不可欠ですが、時には無害なコンテンツをブロックしたり、有害なコンテンツを見逃したりする可能性があります。安全と適切なコンテンツの許可との間の適切なバランスを見つけるには、さまざまなフィルター設定をテストすることが重要です。Gemini 2.5 Flashのような高度なモデルは、フィルターなしでも安全な応答を生成するように設計されており、安全設定の継続的な監視と調整の重要性を強調しています。

この記事では、Vertex AIのGemini APIを使用してコンテンツフィルターを設定する方法の例を示しており、PythonおよびRESTの例が含まれています。これらの例は、性的に露骨なコンテンツ、ヘイトスピーチ、ハラスメント、危険なコンテンツなどのさまざまな有害カテゴリのしきい値を設定する方法を示しています。RESTの例では、特定の安全設定でパブリッシャーモデルのエンドポイントにリクエストを送信する方法を示しています。

Vertex AI上のGeminiのような生成AIモデルで安全性とコンテンツフィルターを設定することは、責任あるAI開発のために不可欠です。安全でないプロンプトと応答を理解し、設定可能なコンテンツフィルターを活用し、ベストプラクティスに従うことで、開発者はより安全で信頼性の高いAIアプリケーションを作成できます。機能性と安全性の最適なバランスを維持するには、定期的な監視と調整が不可欠です。