Macha
Evaluación continua

Califica cada conversación, no solo las obvias.

Cada conversación que tu agente maneja se califica contra sus propias instrucciones. Ve exactamente qué regla se siguió y cuál se saltó, en el momento en que se salta.

Calificación para conv_6a5a1206 · @refundAgent ahora mismo
Instrucciones seguidas

El agente extrajo el ticket, revisó el historial de pedidos del cliente y comprobó la ventana de reembolso antes de responder.

Seguida

Siempre confirma los detalles del pedido del cliente antes de citar política.

Ofreció un reembolso sin preguntar el motivo de la devolución, cosa que las instrucciones exigen.

No seguida

Antes de aprobar un reembolso, pregunta al cliente el motivo de la devolución.

Ticket 8421 · respuesta de reembolso

Sí · siguió el chequeo de política de reembolso

2m

Ticket 8420 · pregunta de envío

Parcialmente · omitió el enlace de seguimiento

4m

Ticket 8419 · solicitud de devolución

Sí · preguntó el motivo de la devolución

7m

Ticket 8418 · escalado

No · se saltó el paso de entrega

11m

Califica cada conversación.

  • Sí / Parcialmente / No

    Un veredicto claro en cada conversación con una justificación escrita.

  • Gratis en todos los planes

    La evaluación continua corre en cada conversación, sin coste extra.

  • Calificada contra la versión correcta

    Juzgada contra las instrucciones que estaban en vivo cuando ocurrió la conversación, no lo que hayas editado después.

El juez cita la regla exacta.

  • Citas textuales

    Cuando se cita una regla, se cita directamente de tus instrucciones. Sin paráfrasis.

  • Seguida, no seguida, ambigua

    Cada regla que el juez referencia está etiquetada, así que ves de un vistazo qué se cumplió y qué se saltó.

  • Léelo como una reseña, no una nota

    Regla + razonamiento juntos, así un revisor sabe exactamente por qué una decisión fue correcta o incorrecta.

Por qué · @wismoAgent · ticket 8421

Leyó el ticket, luego fue directo a la consulta del pedido en Shopify como indicaba la instrucción.

Seguida

Para cada pregunta de envío, consulta el pedido antes de responder.

Incluyó el enlace de seguimiento y la ventana de entrega en el mismo mensaje.

Seguida

Comparte la URL de seguimiento y la ventana estimada de entrega en la misma respuesta.

El único fallo: dejó el estado del ticket abierto cuando pendiente habría sido más preciso.

No seguida

Si el cliente aún espera la entrega, pon el ticket en pendiente antes de responder.

Mira la adherencia en el tiempo.

Cada conversación calificada contribuye a una puntuación de adherencia móvil. Cuando se mueve, sabes exactamente qué regla empezó a fallar.

Puntuación de adherencia

86%

↑ 4% vs. semana pasada
312
Parcialmente 48
No 11

Últimos 30 días

@refundAgent
371 conversaciones evaluadas
Jun 18Jun 25Jul 2Jul 9Today

Regla que más falla · 22 conversaciones

Antes de aprobar un reembolso, pregunta al cliente el motivo de la devolución.

Empezó a fallar el 2 de julio. Revertir el modelo en el conjunto de muestra lo restauró en un día.

Construido con Claude Code

Extiéndelo con un agente de código.

La evaluación continua es una señal en vivo que puedes conectar con lo que venga después. Un resumen nocturno. Un ping en Slack cuando cae la adherencia. Un informe semanal para tu equipo.

Dale tu clave API de Macha a Claude Code o Codex y podrá leer la forma de tus evaluaciones y construir el flujo que tienes en mente, sin que tú escribas la fontanería.

Crear con Claude Code y Codex
Slack

#calidad-soporte

Bot de evals Macha · 9:00 AM

Adherencia semanal para @refundAgent

312

Parcialmente

48

No

11

Fallo principal: «preguntar motivo de la devolución», 22 conversaciones.

Cómo aterriza cada calificación

Conversación

@refundAgent

Llamó a get_ticket, revisó el historial de pedidos, envió respuesta.

1

La conversación termina

Chat, autónomo, embed o traspaso. En el momento en que termina la ejecución, la calificación se dispara en segundo plano.

Y
Seguida
N
No seguida
Juez GPT-5
2

El juez califica

El juez lee la traza completa y cita la regla exacta que se siguió y la exacta que se saltó.

Puntuación móvil
Regla que más falla
Alertas de deriva
3

Mira moverse la adherencia

Una puntuación móvil, la regla que más falla y alertas de deriva. Todo consultable, todo exportable.

Preguntas sobre evaluación.

Todo lo que necesitas saber sobre calificar cada conversación que tu agente maneja.

Cada conversación que tu agente maneja es calificada contra sus propias instrucciones por un juez LLM. El juez elige un veredicto (Sí, Parcialmente o No), cita las reglas exactas que vio seguidas o saltadas, y guarda cada juicio como un registro que puedes consultar, agrupar y exportar.
No. La evaluación continua se incluye gratis en todos los planes, incluidas las pruebas. Los juicios no consumen tus créditos, así que puedes mantenerla activada en cada agente y cada conversación sin mirar el contador.
El juez lee la traza completa de una conversación terminada y responde una pregunta: ¿siguió el agente sus propias instrucciones? Puntúa contra las instrucciones que estaban en vivo cuando ocurrió la conversación, cita la regla textualmente y etiqueta cada regla citada como seguida, no seguida o ambigua.
El juez y su esquema están fijos para que los resultados sean comparables entre agentes y en el tiempo. Lo que personalizas son las instrucciones del propio agente. Cada regla que escribes es una regla contra la que el juez calificará en futuras conversaciones. Si quieres una variante por equipo o por flujo, también puedes lanzar tus propios estudios manuales junto a la evaluación continua.
No. La calificación corre después de que termine la conversación, dispara-y-olvida, en segundo plano. Tu agente responde al cliente sin esperar al juez, y el juicio aterriza solo cuando la ejecución ha terminado.
Zendesk
5.0 en Zendesk Marketplace

Amado por equipos de soporte en todo el mundo

Mira lo que los equipos de soporte están diciendo sobre Macha AI.

The application seems excellent to me! We are still testing, and we need support for some details and they were extremely efficient too!

Daniela Costa

Daniela Costa

Head of Support, Seabra

Macha has been a great addition to our support toolkit. It generates clear, well-organized responses that fit naturally into our workflow. One feature we particularly appreciate is its ability to automatically reply in the same language as the ticket.

Marius F

Marius F

Support Head, Zentana

We've been using Macha for a little while now and it's been really great addition so far! It's powerful, convenient, and makes getting work done a lot easier for our agents.

Alexander Wedén

Alexander Wedén

Head of Support

Support team is very helpful and responsive. Really enjoy how lightweight this is within Zendesk itself vs other more intrusive tools.

Cathleen Wright

Cathleen Wright

Zendesk Admin, Cortex IO

So far it's pretty good! Our queries are a little nuanced, so we can't always use it, but it's got enough utility for us. It can even incorporate our bilingual country with greetings in a second language.

Jae Oliver

Jae Oliver

Head of Support, Wise

Really enjoying using Macha, it has made a noticeable difference to our support team in a short amount of time. I really like the ticket summary feature, saves us a lot of time.

Harry Jackson

Harry Jackson

Head of Support, Crumb

Macha AI is a great addition to my workspace! It's powerful, convenient, and it really makes productivity so much easier for our agents!

Dave G

Dave G

Head of Support, Cyber Power Systems

Very impressed! AI integration for Zendesk has certainly come a long way and Macha seems to set the standard for now. This will for sure save lot of time in our support team.

Pauli Juel

Pauli Juel

Head of CS, Dokument24

Macha has been working great for us so far! The auto-responses are accurate and our resolution time has dropped significantly.

Lana T

Lana T

Zendesk Admin, Swotzy

Macha AI is a great addition. The knowledge base feature means our agents always have the right answers at their fingertips.

Mischa Wolf

Mischa Wolf

Head of Support, Topi

We're enjoying this integration so far. It's made our support team more efficient and our customers get faster responses.

Paula G

Paula G

Head of Customer Support, Xly Studio

The team enjoys using it. It saves considerable time on common questions and the integration options are excellent.

Kilian Leister

Kilian Leister

Support Head, Didriksons

¿Listo para potenciar a tu equipo con IA?

Empieza en minutos. Conecta tus herramientas, configura tus agentes y deja que la IA se encargue del resto.

500 créditos gratis · sin límite de tiempo, sin tarjeta de crédito