AI ガードレール

定義

AI ガードレールとは、AI システムの挙動を安全に、話題の範囲内に、ポリシーの枠内に保つために設けるルール、チェック、制約のことです。何を言えるか、何ができるか、何にアクセスできるかを制御します。

別名: 安全ガードレールAI の安全制御ポリシー制約

仕組み

ガードレールは複数の層で働きます。境界を定めるシステムプロンプト内の指示、プロンプトインジェクションや話題外のリクエストを止める入力フィルタ、安全でない応答やポリシー違反の応答を捉える出力チェック、そしてエージェントが触れられるツールとデータを絞る権限の制限です。

サポートでよく使われるガードレールには、ポリシー外の約束をエージェントに禁じること、解約や法務のような機微な話題では人への引き継ぎを必須にすること、エージェントが自律的に実行してよいアクションと承認が必要なアクションを分けることがあります。

自動化を、規模が大きくなっても信頼できるものにするのがガードレールです。AI エージェントがポリシーを勝手に作り出したり、データを漏らしたり、取り返しのつかない操作を実行したりするのを防ぎ、予測しづらいモデルを、顧客の前に出せる制御されたシステムに変えます。

サポートにおける AI ガードレールの例を教えてください。

一定額を超える解約や返金については、エージェントが自律的に実行するのではなく、必ず人に引き継ぐ、というルールです。

ガードレールでハルシネーションは止まりますか？

範囲を絞り、根拠づけを求めることで助けにはなりますが、RAG（検索拡張生成）のような手法と併用するものです。ガードレールは AI が言ってよいこと、してよいことを制限し、根拠づけは言った内容が正確かどうかを高めます。