MachaBot Crawler

MachaBot est le crawler web opéré par Macha (AGZ Technologies Private Limited). Il récupère les pages web publiques afin que les clients Macha puissent les utiliser comme sources de connaissances pour leurs agents IA, par exemple pour répondre à des questions support à partir d'un centre d'aide publié, d'un catalogue produit ou d'un site marketing.

Comment identifier MachaBot

MachaBot envoie l'en-tête User-Agent suivant sur chaque requête :

Mozilla/5.0 (compatible; MachaBot/1.0; +https://getmacha.com/policies/crawler)

Si vous voyez cette chaîne dans vos logs d'accès, le trafic provient de Macha.

Ce que MachaBot explore

• Uniquement les sites qu'un client Macha a explicitement ajoutés à son compte comme source de connaissance.
• Uniquement les pages publiquement accessibles sans authentification.
• Uniquement les pages du même domaine que l'URL ajoutée par le client.
• Jusqu'à un petit nombre fini de pages par source (la limite dépend du plan Macha du client).

MachaBot n'essaie pas de se connecter, de soumettre des formulaires, de contourner les paywalls ou de récupérer des ressources derrière une authentification.

Comportement du crawl

• Les requêtes sont séquentielles avec un timeout de 15 secondes par page.
• Les ressources non HTML (images, PDF, vidéo, archives, polices, scripts, feuilles de style) sont ignorées lors de la découverte.
• Les pages de plus de 2 Mo sont abandonnées en cours de téléchargement pour éviter de surcharger votre origine.
• MachaBot n'exécute pas JavaScript, il ne lit que le HTML rendu côté serveur.

Comment autoriser MachaBot

Aucune action requise, MachaBot suivra vos règles robots.txt existantes pour User-agent: *. Pour l'autoriser explicitement :

User-agent: MachaBot
Allow: /

Comment bloquer MachaBot

Ajoutez ce qui suit à votre robots.txt pour interdire tout crawl par MachaBot :

User-agent: MachaBot
Disallow: /

MachaBot arrêtera de crawler votre site dès la prochaine exécution planifiée après publication de la règle.

Contact

Si MachaBot pose problème pour votre site, ou si vous avez des questions sur son comportement, écrivez à [email protected] et nous répondrons rapidement.