AI ハルシネーション

定義

AI ハルシネーションとは、言語モデルが流暢で自信ありげでありながら、事実として誤っている、あるいは作り話である応答を生成してしまう現象です。存在しない詳細、ポリシー、出典を作り出します。

別名: ハルシネーション作話AI の捏造

仕組み

言語モデルは、事実を調べるのではなく、もっともらしい続きを予測して文章を生成します。正しい情報を持っていないときでも、自信ありげに聞こえる、しかし単なる作り話の回答を出すことがあります。モデルにとって、もっともらしく聞こえることと、正しいことは別物だからです。

サポートでのハルシネーションは、でっち上げの返金期限、存在しない機能、公式ポリシーのように語られる架空のトラブルシューティング手順、といった形で現れます。

ハルシネーションは、生成 AI を顧客に向けて使うときの中心的なリスクです。誤った回答は信頼を損ない、場合によっては責任問題にもなります。主な防御は、モデルを自社の実際のコンテンツで根拠づけることと、言ってよい内容を制限することです。

AI モデルはなぜハルシネーションを起こすのですか？

検証済みの事実を取り出すのではなく、統計的にもっともらしい文章を生成しているからです。正しい情報がないとき、その空白を自信ありげな作り話で埋めてしまうことがあります。

カスタマーサポートで AI のハルシネーションを防ぐには？

RAG で実際のナレッジソースに回答を根拠づけ、AI が言える内容を制限するガードレールを設け、ドキュメントを正確かつ最新に保ち、確信度が低いときは人に引き継ぐことです。