MachaBot Crawler

MachaBot es el crawler web operado por Macha (AGZ Technologies Private Limited). Recupera páginas web públicas para que los clientes de Macha puedan usarlas como fuentes de conocimiento para sus agentes de IA, por ejemplo, para responder preguntas de soporte a partir de un centro de ayuda publicado, un catálogo de producto o un sitio de marketing.

Cómo identificar a MachaBot

MachaBot envía la siguiente cabecera User-Agent en cada petición:

Mozilla/5.0 (compatible; MachaBot/1.0; +https://getmacha.com/policies/crawler)

Si ve esta cadena en sus logs de acceso, el tráfico proviene de Macha.

Qué rastrea MachaBot

• Solo sitios que un cliente de Macha ha añadido explícitamente a su cuenta como fuente de conocimiento.
• Solo páginas accesibles públicamente sin autenticación.
• Solo páginas del mismo dominio que la URL que el cliente añadió.
• Hasta un número pequeño y finito de páginas por fuente (el límite lo fija el plan de Macha del cliente).

MachaBot no intenta iniciar sesión, enviar formularios, saltarse muros de pago ni obtener recursos detrás de un login.

Comportamiento del rastreo

• Las peticiones se hacen secuencialmente con un timeout de 15 segundos por página.
• Los recursos no HTML (imágenes, PDFs, vídeo, archivos, fuentes, scripts, hojas de estilo) se omiten durante el descubrimiento.
• Las páginas de más de 2 MB se abortan a mitad de descarga para no cargar tu origen.
• MachaBot no ejecuta JavaScript, solo lee HTML renderizado en servidor.

Cómo permitir a MachaBot

No hace falta hacer nada: MachaBot seguirá las reglas de robots.txt existentes para User-agent: *. Para permitirlo explícitamente:

User-agent: MachaBot
Allow: /

Cómo bloquear a MachaBot

Añade lo siguiente a tu robots.txt para prohibir todo rastreo de MachaBot:

User-agent: MachaBot
Disallow: /

MachaBot dejará de rastrear tu sitio en su próxima ejecución programada tras publicar la regla.

Contacto

Si MachaBot está causando problemas en tu sitio, o tienes preguntas sobre su comportamiento, escríbenos a [email protected] y responderemos rápido.