MachaBot Crawler

MachaBot ist der von Macha (AGZ Technologies Private Limited) betriebene Web-Crawler. Er ruft öffentliche Webseiten ab, damit Macha-Kunden sie als Wissensquellen für ihre KI-Agents nutzen können, z. B. um Supportfragen aus einem veröffentlichten Help Center, Produktkatalog oder Marketing-Website zu beantworten.

Wie Sie MachaBot erkennen

MachaBot sendet bei jeder Anfrage folgenden User-Agent-Header:

Mozilla/5.0 (compatible; MachaBot/1.0; +https://getmacha.com/policies/crawler)

Wenn Sie diesen String in Ihren Zugriffslogs sehen, stammt der Traffic von Macha.

Was MachaBot crawlt

• Nur Websites, die ein Macha-Kunde ausdrücklich als Wissensquelle in seinem Konto hinzugefügt hat.
• Nur Seiten, die öffentlich ohne Authentifizierung erreichbar sind.
• Nur Seiten auf derselben Domain wie die vom Kunden hinzugefügte URL.
• Bis zu einer kleinen, endlichen Anzahl von Seiten pro Quelle (das Limit ist im Macha-Plan des Kunden festgelegt).

MachaBot versucht nicht sich anzumelden, Formulare abzusenden, Paywalls zu umgehen oder Ressourcen hinter einem Login abzurufen.

Crawl-Verhalten

• Anfragen erfolgen sequenziell mit einem Timeout von 15 Sekunden pro Seite.
• Nicht-HTML-Ressourcen (Bilder, PDFs, Video, Archive, Schriftarten, Skripte, Stylesheets) werden bei der Erkennung übersprungen.
• Seiten größer als 2 MB werden während des Downloads abgebrochen, um Ihre Origin nicht zu belasten.
• MachaBot führt kein JavaScript aus, er liest nur serverseitig gerendertes HTML.

Wie Sie MachaBot erlauben

Keine Aktion nötig, MachaBot folgt Ihren bestehenden robots.txt-Regeln für User-agent: *. Um es explizit zu erlauben:

User-agent: MachaBot
Allow: /

Wie Sie MachaBot blockieren

Fügen Sie Folgendes zu Ihrer robots.txt hinzu, um jegliches Crawlen durch MachaBot zu verbieten:

User-agent: MachaBot
Disallow: /

MachaBot wird das Crawlen Ihrer Website beim nächsten geplanten Lauf nach Veröffentlichung der Regel einstellen.

Kontakt

Falls MachaBot Probleme auf Ihrer Website verursacht oder Sie Fragen zum Verhalten haben, schreiben Sie an [email protected] und wir antworten schnell.