Macha
Avaliação contínua

Avalie cada conversa, não só as óbvias.

Cada conversa que seu agente conduz é avaliada contra suas próprias instruções. Veja exatamente qual regra foi seguida e qual falhou, no momento em que falha.

Nota para conv_6a5a1206 · @refundAgent agora mesmo
Instruções seguidas Sim

O agente puxou o ticket, verificou o histórico de pedidos do cliente e checou a janela de reembolso antes de responder.

Seguida

Sempre confirme os detalhes do pedido do cliente antes de citar política.

Ele ofereceu reembolso sem perguntar o motivo da devolução, o que as instruções exigem.

Não seguida

Antes de aprovar um reembolso, pergunte ao cliente o motivo da devolução.

Ticket 8421 · resposta de reembolso

Sim · seguiu checagem de política de reembolso

2m

Ticket 8420 · pergunta de envio

Parcialmente · pulou o link de rastreamento

4m

Ticket 8419 · pedido de devolução

Sim · perguntou o motivo da devolução

7m

Ticket 8418 · escalonamento

Não · pulou etapa de repasse

11m

Avalie cada conversa.

  • Sim / Parcialmente / Não

    Um veredicto claro em cada conversa com justificativa por escrito.

  • Grátis em todo plano

    A avaliação contínua roda em cada conversa, sem custo extra.

  • Avaliada contra a versão certa

    Julgada contra as instruções que estavam no ar quando a conversa aconteceu, não o que você editou depois.

O juiz cita a regra exata.

  • Citações literais

    Quando uma regra é citada, é citada direto das suas instruções. Sem paráfrase.

  • Seguida, não seguida, ambígua

    Cada regra que o juiz referencia é marcada, então você vê num relance o que se manteve e o que falhou.

  • Leia como uma review, não uma nota

    Regra + raciocínio juntos, então quem revisa sabe exatamente por que uma decisão foi certa ou errada.

Por quê · @wismoAgent · ticket 8421

Leu o ticket e foi direto para a busca de pedido no Shopify como instruído.

Seguida

Para cada pergunta de envio, consulte o pedido antes de responder.

Incluiu o link de rastreamento e a janela de entrega na mesma mensagem.

Seguida

Compartilhe a URL de rastreamento e a janela estimada de entrega na mesma resposta.

O único escorregão: deixou o status do ticket aberto quando pendente teria sido mais preciso.

Não seguida

Se o cliente ainda aguarda a entrega, coloque o ticket em pendente antes de responder.

Acompanhe a aderência ao longo do tempo.

Cada conversa avaliada contribui para uma pontuação de aderência móvel. Quando ela se mexe, você sabe exatamente qual regra começou a falhar.

Pontuação de aderência

86%

↑ 4% vs. semana passada
Sim 312
Parcialmente 48
Não 11

Últimos 30 dias

@refundAgent
371 conversas avaliadas
Jun 18Jun 25Jul 2Jul 9Today

Regra que mais falha · 22 conversas

Antes de aprovar um reembolso, pergunte ao cliente o motivo da devolução.

Começou a cair em 2 de julho. Reverter o modelo no conjunto de amostra restaurou em um dia.

Construído com Claude Code

Amplie com um agente de código.

Avaliação contínua é um sinal ao vivo que você pode plugar no que vier depois. Um resumo noturno. Um ping no Slack quando a aderência cai. Um relatório semanal para seu time.

Entregue sua chave da API do Macha ao Claude Code ou Codex e ele consegue ler o formato das suas avaliações e construir o fluxo que você tem em mente, sem você escrever o encanamento.

Criar com Claude Code e Codex
Slack

#qualidade-suporte

Bot de evals Macha · 9:00

Aderência semanal de @refundAgent

Sim

312

Parcialmente

48

Não

11

Falha principal: "perguntar motivo da devolução", 22 conversas.

Como cada nota chega

Conversa

@refundAgent

Chamou get_ticket, verificou histórico de pedidos, enviou resposta.

1

A conversa termina

Chat, autônomo, embed ou repasse. No momento em que a execução termina, a nota dispara em background.

Y
Seguida
N
Não seguida
Juiz GPT-5
2

O juiz avalia

O juiz lê o rastro completo e cita a regra exata que foi seguida e a exata que falhou.

Pontuação móvel
Regra que mais falha
Alertas de deriva
3

Veja a aderência se mover

Uma pontuação móvel, a regra que mais falha e alertas de deriva. Tudo consultável, tudo exportável.

Perguntas sobre avaliação.

Tudo que você precisa saber sobre avaliar cada conversa que seu agente conduz.

Cada conversa que seu agente conduz é avaliada contra as próprias instruções por um juiz LLM. O juiz escolhe um veredicto (Sim, Parcialmente ou Não), cita as regras exatas que viu serem seguidas ou falharem, e guarda cada julgamento como um registro que você pode consultar, agrupar e exportar.
Não. Avaliação contínua é grátis em todo plano, inclusive testes. Os julgamentos não consomem seus créditos, então você pode deixar ativa em cada agente e cada conversa sem olhar o medidor.
O juiz lê o rastro completo de uma conversa terminada e responde a uma pergunta: o agente seguiu as próprias instruções? Ele pontua contra as instruções que estavam no ar quando a conversa aconteceu, cita a regra literalmente e marca cada regra citada como seguida, não seguida ou ambígua.
O juiz e o esquema dele são travados para que os resultados sejam comparáveis entre agentes e no tempo. O que você personaliza são as instruções do próprio agente. Cada regra que você escreve é uma regra contra a qual o juiz vai avaliar em conversas futuras. Se quiser uma variante por time ou por fluxo, dá pra rodar seus próprios estudos manuais junto com a avaliação contínua.
Não. A nota roda depois que a conversa termina, dispara-e-esquece, em background. Seu agente responde ao cliente sem esperar o juiz, e o julgamento chega sozinho quando a execução termina.
Zendesk
5,0 no Zendesk Marketplace

Amado por equipes de suporte no mundo todo

Veja o que as equipes de suporte estão dizendo sobre o Macha AI.

The application seems excellent to me! We are still testing, and we need support for some details and they were extremely efficient too!

Daniela Costa

Daniela Costa

Head of Support, Seabra

Macha has been a great addition to our support toolkit. It generates clear, well-organized responses that fit naturally into our workflow. One feature we particularly appreciate is its ability to automatically reply in the same language as the ticket.

Marius F

Marius F

Support Head, Zentana

We've been using Macha for a little while now and it's been really great addition so far! It's powerful, convenient, and makes getting work done a lot easier for our agents.

Alexander Wedén

Alexander Wedén

Head of Support

Support team is very helpful and responsive. Really enjoy how lightweight this is within Zendesk itself vs other more intrusive tools.

Cathleen Wright

Cathleen Wright

Zendesk Admin, Cortex IO

So far it's pretty good! Our queries are a little nuanced, so we can't always use it, but it's got enough utility for us. It can even incorporate our bilingual country with greetings in a second language.

Jae Oliver

Jae Oliver

Head of Support, Wise

Really enjoying using Macha, it has made a noticeable difference to our support team in a short amount of time. I really like the ticket summary feature, saves us a lot of time.

Harry Jackson

Harry Jackson

Head of Support, Crumb

Macha AI is a great addition to my workspace! It's powerful, convenient, and it really makes productivity so much easier for our agents!

Dave G

Dave G

Head of Support, Cyber Power Systems

Very impressed! AI integration for Zendesk has certainly come a long way and Macha seems to set the standard for now. This will for sure save lot of time in our support team.

Pauli Juel

Pauli Juel

Head of CS, Dokument24

Macha has been working great for us so far! The auto-responses are accurate and our resolution time has dropped significantly.

Lana T

Lana T

Zendesk Admin, Swotzy

Macha AI is a great addition. The knowledge base feature means our agents always have the right answers at their fingertips.

Mischa Wolf

Mischa Wolf

Head of Support, Topi

We're enjoying this integration so far. It's made our support team more efficient and our customers get faster responses.

Paula G

Paula G

Head of Customer Support, Xly Studio

The team enjoys using it. It saves considerable time on common questions and the integration options are excellent.

Kilian Leister

Kilian Leister

Support Head, Didriksons

Pronto para turbinar seu time com IA?

Comece em minutos. Conecte suas ferramentas, configure seus agentes e deixe a IA cuidar do resto.

500 créditos grátis · sem limite de tempo, sem cartão de crédito