Macha
継続的な評価

分かりやすいものだけでなく、 すべての会話を採点。

エージェントが処理するすべての会話が、自身の指示に照らして採点されます。どのルールが守られ、どのルールがずれたか、ずれた瞬間に正確に分かります。

採点対象 conv_6a5a1206 · @refundAgent
指示に従いましたか はい

エージェントはチケットを取得し、お客様の注文履歴を確認し、返金期限と照合してから返信しました。

守られた

ポリシーを引用する前に、必ずお客様の注文詳細を確認する。

指示で必須とされている返品理由を尋ねずに返金を提案しました。

守られなかった

返金を承認する前に、返品理由をお客様に確認する。

チケット 8421 · 返金の返信

はい · 返金ポリシーチェックに従った

2m

チケット 8420 · 配送に関する質問

一部 · 追跡リンクをスキップ

4m

チケット 8419 · 返品リクエスト

はい · 返品理由を確認した

7m

チケット 8418 · エスカレーション

いいえ · 引き継ぎステップを見逃した

11m

すべての会話を採点。

  • はい / 一部 / いいえ

    すべての会話に、文章での根拠を伴う明確な判定。

  • すべてのプランで無料

    継続的な評価はすべての会話で実行され、追加料金はかかりません。

  • 正しいバージョンに照らして採点

    その後に編集した内容ではなく、会話が行われた時点でライブだった指示に照らして判定します。

ジャッジは該当ルールをそのまま引用します。

  • そのままの引用

    ルールが引用されるとき、あなたの指示から直接引用されます。言い換えはありません。

  • 守られた、守られなかった、曖昧

    ジャッジが参照するすべてのルールにタグ付けされるので、何が守られ何がずれたか一目で分かります。

  • 評価ではなくレビューとして読める

    ルールと理由が並ぶので、レビュアーは判断が正しかったか間違っていたかを正確に知ることができます。

理由 · @wismoAgent · チケット 8421

チケットを読み、指示どおりに Shopify の注文検索に直行しました。

守られた

配送に関するすべての質問について、返信前に注文を確認する。

追跡リンクと配達予定を同じメッセージに含めました。

守られた

追跡 URL と配達予定時間を同じ返信内で共有する。

1 つのミス: 保留ステータスの方が正確だったのに、チケットのステータスをオープンのままにしていました。

守られなかった

お客様がまだ配達を待っている場合は、返信前にチケットを保留に設定する。

順守状況を時系列で追跡。

採点されたすべての会話がローリングの順守スコアに反映されます。動きがあれば、どのルールがずれ始めたか正確に分かります。

順守スコア

86%

↑ 4% 先週比
Yes 312
一部 48
No 11

過去 30 日

@refundAgent
371 件の会話を採点
Jun 18Jun 25Jul 2Jul 9Today

違反の多いルール · 22 件の会話

返金を承認する前に、返品理由をお客様に確認してください。

7月2日から低下傾向。サンプルセットでモデルを戻したところ、1日で回復しました。

Claude Code で構築

コーディングエージェントで拡張。

継続的な評価は、その後に何を接続してもいいライブ信号です。夜間のサマリー。順守率が下がったときの Slack 通知。チーム向けの週次レポート。

Macha の API キーを Claude Code や Codex に渡すと、評価の形を読み取り、あなたが思い描くワークフローを構築してくれます。配管を書く必要はありません。

Claude Code と Codex で構築
Slack

#support-quality

Macha evals bot · 9:00 AM

@refundAgent の週次順守状況 @refundAgent

Yes

312

一部

48

No

11

最多のミス: 「返品理由を確認する」、22 件の会話。

すべての採点が届く仕組み

会話

@refundAgent

get_ticket を呼び出し、注文履歴を確認し、返信を送信。

1

会話が完了

チャット、自律実行、埋め込み、引き継ぎ。実行が終わった瞬間、採点がバックグラウンドで開始します。

Y
守られた
N
守られなかった
GPT-5 ジャッジ
2

ジャッジが採点

ジャッジは完全なトレースを読み、守られたルールとずれたルールをそのまま引用します。

ローリングスコア
違反の多いルール
ドリフト警告
3

順守の推移を見る

ローリングスコア、違反の多いルール、ドリフト警告。すべてクエリ可能、すべてエクスポート可能。

評価についての 質問。

エージェントが処理するすべての会話を採点することについて知っておくべきすべて。

エージェントが処理するすべての会話が、LLM ジャッジによって自身の指示に照らして採点されます。ジャッジは判定 (はい、一部、いいえ) を選び、守られたルールやずれたルールをそのまま引用し、すべての判定をクエリ、グループ化、エクスポート可能なレコードとして保存します。
いいえ。継続的な評価は、トライアルを含むすべてのプランで無料で含まれています。判定はクレジットを消費しないので、メーターを気にせず、すべてのエージェントのすべての会話でオンにしておけます。
ジャッジは完了した会話の完全なトレースを読み、1 つの質問に答えます: エージェントは自身の指示に従いましたか? 会話が行われた時点でライブだった指示に照らして採点し、引用するルールをそのまま引用し、参照する各ルールに守られた、守られなかった、曖昧のタグを付けます。
結果がエージェント間で、また時間経過で比較可能になるよう、ジャッジとそのスキーマは固定されています。あなたがカスタマイズするのはエージェント自身の指示です。書くルールはすべて、今後の会話でジャッジが照らして採点するルールになります。チーム別やワークフロー別のバリアントが欲しい場合、継続的な評価と並行して独自の手動スタディを立ち上げることもできます。
いいえ。採点は会話完了後にファイア・アンド・フォーゲットでバックグラウンドで実行されます。エージェントはジャッジを待たずにお客様に返信し、実行が完了すると判定が自然に届きます。
Zendesk
Zendesk Marketplace で 5.0

世界中のサポートチームに 愛されています

サポートチームから届いた Macha AI の声をご覧ください。

The application seems excellent to me! We are still testing, and we need support for some details and they were extremely efficient too!

Daniela Costa

Daniela Costa

Head of Support, Seabra

Macha has been a great addition to our support toolkit. It generates clear, well-organized responses that fit naturally into our workflow. One feature we particularly appreciate is its ability to automatically reply in the same language as the ticket.

Marius F

Marius F

Support Head, Zentana

We've been using Macha for a little while now and it's been really great addition so far! It's powerful, convenient, and makes getting work done a lot easier for our agents.

Alexander Wedén

Alexander Wedén

Head of Support

Support team is very helpful and responsive. Really enjoy how lightweight this is within Zendesk itself vs other more intrusive tools.

Cathleen Wright

Cathleen Wright

Zendesk Admin, Cortex IO

So far it's pretty good! Our queries are a little nuanced, so we can't always use it, but it's got enough utility for us. It can even incorporate our bilingual country with greetings in a second language.

Jae Oliver

Jae Oliver

Head of Support, Wise

Really enjoying using Macha, it has made a noticeable difference to our support team in a short amount of time. I really like the ticket summary feature, saves us a lot of time.

Harry Jackson

Harry Jackson

Head of Support, Crumb

Macha AI is a great addition to my workspace! It's powerful, convenient, and it really makes productivity so much easier for our agents!

Dave G

Dave G

Head of Support, Cyber Power Systems

Very impressed! AI integration for Zendesk has certainly come a long way and Macha seems to set the standard for now. This will for sure save lot of time in our support team.

Pauli Juel

Pauli Juel

Head of CS, Dokument24

Macha has been working great for us so far! The auto-responses are accurate and our resolution time has dropped significantly.

Lana T

Lana T

Zendesk Admin, Swotzy

Macha AI is a great addition. The knowledge base feature means our agents always have the right answers at their fingertips.

Mischa Wolf

Mischa Wolf

Head of Support, Topi

We're enjoying this integration so far. It's made our support team more efficient and our customers get faster responses.

Paula G

Paula G

Head of Customer Support, Xly Studio

The team enjoys using it. It saves considerable time on common questions and the integration options are excellent.

Kilian Leister

Kilian Leister

Support Head, Didriksons

チームを AI で加速する準備はできましたか?

数分で始められます。ツールを接続し、エージェントを設定すれば、あとは AI が引き受けます。

500 無料クレジット · 期限なし、クレジットカード不要