Transformer モデル

仕組み

Transformer は 2017 年の論文「Attention Is All You Need」で登場しました。その核心は自己注意（セルフアテンション）です。各トークンについて、入力中の他のすべてのトークンがどれだけ関連しているかを計算するため、単語を厳密に 1 つずつ処理しなくても、代名詞がどの名詞を指しているかといった長距離の文脈を捉えられます。

テキストはまずトークンに分割され、数値ベクトル（埋め込み）に変換されます。積み重ねられたアテンション層がそのベクトルを変換し、モデルは次のトークンを予測します。アテンションは並列に計算できるため、Transformer は巨大なデータセットで効率よく学習できます。これが今日の大規模言語モデルを可能にしました。

サポートで重要な理由

目にする AI サポートエージェントのほぼすべてが、内部では Transformer の上に構築されています。このアーキテクチャを理解すると、その強みと限界の両方が説明できます。

• 会話全体を文脈として読む。単語を 1 つずつ読むわけではない
• コンテキストウィンドウが固定されているため、一度に考慮できる履歴の量に上限がある
• もっともらしいテキストを予測する仕組みなので、精度には自社データによる接地（RAG）が効く