Temperature(LLM)
定義
Temperature(温度)は、言語モデルの出力をどれだけランダムにするか、決定的にするかを制御する設定です。値が低いと焦点の定まった予測可能な応答になり、高いとより多様で創造的な応答になります。
仕組み
モデルは各ステップで、次に来るトークンの確率分布を生成します。Temperature は、トークンが選ばれる前にこの分布の形を変えます。0 に近いとほぼ常に最も確率の高いトークンが選ばれ、一貫した再現性のある答えになります。値を上げると(たとえば 0.7〜1.0 以上)分布が平坦になり、確率の低いトークンも選ばれやすくなって、出力が多様になります。
候補となるトークンの範囲を同じように狭めたり広げたりする top-p(核サンプリング)などの設定と併せて調整されることがよくあります。
サポートで重要な理由
カスタマーサポートでは、通常は低い Temperature が正解です。求められるのは正確で一貫した、ポリシーに沿った回答であって、創造的なばらつきではありません。同じ質問には同じように答え、参照元に忠実であってほしいからです。高い Temperature が向くのは、多様さがリスクではなく利点になるブレインストーミングや文章の下書きです。
よくある質問
サポートエージェントの Temperature はどれくらいが適切ですか?
通常は 0 に近い低い値です。回答が一貫し、事実に基づき、ポリシーに沿ったものになります。サポートでは創造的な多様さより信頼性が優先されますし、低い Temperature は台本から外れた回答やぶれた回答が出る確率を下げます。
Temperature はハルシネーションの原因になりますか?
Temperature を上げると確率の低いトークンが選ばれやすくなるため、予想外の回答や根拠のない回答が出る確率は上がります。ただしハルシネーションの主な原因は、根拠となる情報が不足していたり弱かったりすることです。低い Temperature と質の高い検索を組み合わせれば、両面からリスクを減らせます。
関連用語
大規模言語モデル(LLM)
大規模言語モデル(LLM)とは、膨大なテキストで学習し、言語を予測・生成するニューラルネットワークです。質問の理解、要約、分類、人間らしい文章の作成といった処理を可能にします。.
AI ハルシネーション
AI ハルシネーションとは、言語モデルが流暢で自信ありげでありながら、事実として誤っている、あるいは作り話である応答を生成してしまう現象です。存在しない詳細、ポリシー、出典を作り出します。.
トークン(LLM)
トークンとは、言語モデルが読み書きする単位となる小さなテキストのかたまりです。単語、単語の一部、文字などにあたり、入力量・出力量・コンテキストの上限、そして多くの場合は課金も、このトークンで測られます。.
プロンプトエンジニアリング
プロンプトエンジニアリングとは、特定のタスクで正確で関連性が高く安定した出力を得るために、言語モデルへ与える指示を設計し、磨き込んでいく実践です。.
システムプロンプト
システムプロンプトとは、会話における AI モデルの役割、振る舞い、トーン、制約を定義する基盤の指示文です。エンドユーザーではなく開発側が設定し、すべてのやり取りに適用されます。.
アイデアを実装に
Macha は既に運用中のヘルプデスク (Zendesk、Freshdesk、Front、Intercom、Gorgias) の上に載る AI エージェント層です。
トライアルを開始