Agent Evaluation（エージェント評価）

仕組み

チェックリストを一度設定するか、エージェント自身の指示から Macha に作らせると、AI のジャッジが対象範囲内のすべての過去の会話にそれを適用します。対象はチャットセッション、自律トリガーの実行、サブエージェントへの引き継ぎ、埋め込みチャットボットの会話などです。項目は常に 2 つ含まれます。指示の順守（はい / 一部 / いいえ）と、短い理由です。「正しいツールを呼んだか」「ポリシーが認める場合にのみ返金したか」といった独自のチェックも追加できます。

総合スコアは部分点方式です。「はい」の件数に「一部」の件数の半分を足し、総件数で割ります。結果は一覧表、グラフ付きのレポート、そして会話ごとの理由として返るため、スレッド全体を読み直さなくても判定を検証できます。

Auto-Eval と手動評価の違い

すべてのワークスペースで Auto-Eval をどのプランでも無料で使えます。エージェントを作成した時点から、Macha は固定のジャッジを使い、稼働中の指示に照らしてすべての自律実行を採点します。会話数の上限はなく、費用もかかりません。手動評価も全プランに含まれる設定可能なフローです。対象範囲を選び、独自のルーブリックを定義し、ジャッジのモデルを選び、特定バージョンの指示に照らして評価できます。

プロンプトの変更を測るのはこのやり方です。変更前と変更後に実行してスコアを比べれば、その編集が効いたかどうかを推測せずに済みます。評価の対象は過去の会話であって、進行中の会話ではありません。リアルタイムの制御には、エージェントの指示と確認ゲートを使ってください。