MachaBot クローラー

MachaBot は Macha (AGZ Technologies Private Limited) が運用する Web クローラーです。Macha のお客様が AI エージェントの知識ソースとして利用できるよう、公開されている Web ページを取得します。たとえば、公開ヘルプセンター、製品カタログ、マーケティングサイトからサポート質問に答えるためです。

MachaBot の識別方法

MachaBot はすべてのリクエストで以下の User-Agent ヘッダーを送信します:

Mozilla/5.0 (compatible; MachaBot/1.0; +https://getmacha.com/policies/crawler)

アクセスログにこの文字列が見つかった場合、そのトラフィックは Macha からのものです。

MachaBot がクロールする対象

• Macha のお客様が知識ソースとしてアカウントに明示的に追加した Web サイトのみ。
• 認証なしで公開アクセスできるページのみ。
• お客様が追加した URL と同じドメイン上のページのみ。
• 各ソースあたり、少数の有限ページまで (制限はお客様の Macha プランで設定されます)。

MachaBot はログインの試行、フォーム送信、ペイウォールの回避、ログイン後のリソース取得は行いません。

クロールの挙動

• リクエストは 1 ページあたり 15 秒のタイムアウトで順次実行されます。
• 非 HTML リソース (画像、PDF、動画、アーカイブ、フォント、スクリプト、スタイルシート) は検出時にスキップされます。
• 2 MB を超えるページはオリジンサーバーへの負荷を避けるためダウンロード中に中断されます。
• MachaBot は JavaScript を実行せず、サーバーレンダリングされた HTML のみを読み取ります。

MachaBot の許可方法

操作は不要です。MachaBot は既存の robots.txt の User-agent: * ルールに従います。明示的に許可するには:

User-agent: MachaBot
Allow: /

MachaBot のブロック方法

MachaBot によるすべてのクロールを禁止するには、robots.txt に以下を追加してください:

User-agent: MachaBot
Disallow: /

ルールが公開された後の次回のスケジュール実行で MachaBot はサイトのクロールを停止します。

お問い合わせ

MachaBot がサイトに問題を起こしている場合、または挙動についてご質問がある場合は [email protected] までメールでお知らせください。速やかに対応いたします。