Évaluation d'agent

Comment cela fonctionne

Vous définissez une grille une fois — ou vous laissez Macha la construire à partir des instructions de l'agent — et un juge IA l'applique à toutes les conversations passées concernées : sessions de chat, exécutions autonomes déclenchées, délégations à des sous-agents, conversations du chatbot embarqué. Deux champs sont toujours présents : Instructions followed, le respect des instructions (Yes / Partially / No), et un bref Why, le motif du verdict. Vous ajoutez vos propres contrôles, du type « le bon outil a été appelé » ou « remboursement accordé uniquement lorsque la politique l'autorisait ».

Le score principal accorde un crédit partiel — le nombre de Yes plus la moitié des Partially, rapporté au total — et les résultats reviennent sous forme de tableau, de rapport avec graphiques et de motif par conversation, afin que vous puissiez auditer un verdict sans relire tout le fil.

Auto-Eval et évaluations manuelles

Chaque espace de travail dispose d'Auto-Eval gratuitement sur toutes les formules : dès la création d'un agent, Macha note chaque exécution autonome au regard de ses instructions en vigueur avec un juge prédéfini, sans plafond de conversations et sans coût. Les évaluations manuelles, également incluses dans toutes les formules, sont le parcours configurable — vous choisissez le périmètre, définissez une grille personnalisée, sélectionnez le modèle juge et évaluez au regard d'une version précise des instructions.

C'est ainsi que l'on mesure une modification de prompt : lancer une évaluation avant et après, puis comparer les scores, au lieu de deviner si le changement a aidé. L'évaluation porte sur les conversations passées, pas sur celles en cours — pour un contrôle en temps réel, utilisez les instructions de l'agent et les points de confirmation.