MachaBot Crawler

O MachaBot é o crawler web operado pela Macha (AGZ Technologies Private Limited). Ele busca páginas web públicas para que os clientes da Macha possam usá-las como fontes de conhecimento para seus agentes de IA, por exemplo, pra responder perguntas de suporte a partir de uma central de ajuda publicada, catálogo de produto ou site de marketing.

Como identificar o MachaBot

O MachaBot envia o seguinte cabeçalho User-Agent em toda requisição:

Mozilla/5.0 (compatible; MachaBot/1.0; +https://getmacha.com/policies/crawler)

Se você vir essa string nos logs de acesso, o tráfego veio da Macha.

O que o MachaBot rastreia

• Apenas sites que um cliente Macha adicionou explicitamente à conta como fonte de conhecimento.
• Apenas páginas acessíveis publicamente sem autenticação.
• Apenas páginas no mesmo domínio da URL adicionada pelo cliente.
• Até um número pequeno e finito de páginas por fonte (o limite depende do plano Macha do cliente).

O MachaBot não tenta logar, enviar formulários, burlar paywalls nem buscar recursos atrás de login.

Comportamento do crawl

• As requisições são feitas em sequência com timeout de 15 segundos por página.
• Recursos não HTML (imagens, PDFs, vídeo, arquivos, fontes, scripts, folhas de estilo) são ignorados na descoberta.
• Páginas maiores que 2 MB são abortadas no meio do download pra não sobrecarregar sua origem.
• O MachaBot não executa JavaScript, lê apenas HTML renderizado no servidor.

Como permitir o MachaBot

Não é preciso ação, o MachaBot segue as regras existentes de robots.txt para User-agent: *. Pra permitir explicitamente:

User-agent: MachaBot
Allow: /

Como bloquear o MachaBot

Adicione o seguinte ao seu robots.txt pra proibir todo crawl pelo MachaBot:

User-agent: MachaBot
Disallow: /

O MachaBot vai parar de rastrear seu site na próxima execução agendada após a regra ser publicada.

Contato

Se o MachaBot estiver causando problemas no seu site, ou se você tiver dúvidas sobre o comportamento dele, escreva pra [email protected] e vamos responder rápido.