Cloudflare AI Crawl Control後、AIコンテンツサイトはAIクローラーをブロックすべきか
短い結論
AIクローラーを一括で許可・遮断する前に、どのクローラーがどのページを取得し、引用や流入を返しているかを測り、ページ価値ごとにallow、block、またはpay-per-crawl待ちを決めます。
情報源
- Cloudflare Blog: Introducing Pay Per Crawl, July 1, 2025
- Cloudflare Docs: AI Crawl Control overview, updated Apr 23, 2026
- Cloudflare Docs: Manage AI crawlers, updated Apr 23, 2026
- Cloudflare Docs: What is Pay Per Crawl, updated Apr 23, 2026
- Cloudflare Docs: Pay Per Crawl FAQ, updated Apr 23, 2026
- Cloudflare Docs: managed robots.txt for AI crawlers, updated May 5, 2026
- Axios: People Inc. CEO on Google search and AI crawler tension, June 23, 2026
いま書く理由
CloudflareはAI Crawl Control、managed robots.txt、allow/block、Pay Per Crawlを実運用の機能として文書化しています。
Pay Per Crawlはallow、charge、blockを分けますが、FAQではcharge対象crawlerに単一価格しか設定できない制約も示されています。
Axiosの2026-06-23記事は、検索発見とAI利用制限の間で出版社がまだ難しい判断を迫られていることを示しています。
AIクローラー判断表
| 操作 | 向いているページ | 先に確認すること |
|---|---|---|
| Allow | 検索発見、AI引用、既存契約に価値がある公開ページ | referral、引用、ブランド検索、メール登録、アフィリエイトクリック |
| Block | 高頻度に取得されるが商業価値が見えないページ | 検索、プレビュー、監視、提携crawlerへの誤傷 |
| Charge | 商業価値がありAI crawler需要もあるページ | 資格、zone単位価格、成功リクエスト課金、payout条件 |
| Managed robots.txt | まず意思表示だけしたいサイト | robots.txtは強制ではない。GSCが新しい指示を警告する場合がある |
| ログ確認 | すべてのサイトの初手 | crawler、パス、状態コード、帯域、cache、referral、conversion |
本文：スイッチを切る前にページを分ける
Cloudflare AI Crawl Controlの価値は可視化です。ドキュメントはcrawler activity、request patterns、robots.txt violations、crawlerごとのallow、block、beta範囲でのchargeを説明しています。勘でrobots.txtを書き換えるより安全な出発点です。
Pay Per Crawlは重要な方向性ですが、保証収入ではありません。Cloudflareは有料アクセスにHTTP 200、未払いには402 Payment Requiredを使う設計を説明しています。サイト所有者はzone単位の価格を設定できますが、資格、crawler参加、価格粒度、実行範囲は別途確認が必要です。
managed robots.txtは第一層のシグナルに向いています。search、ai-input、ai-trainなどのcontent signalsと、既知AI crawlerへのDisallowを追加できます。ただしrobots.txt遵守は任意で、強制にはAI Crawl Control、WAF、Bot Managementが必要です。
保守的な運営では、ページを検索発見が必要なページ、AI引用は許容するが回報を測りたいページ、取得されたくないページに分けます。ログと転換データなしに全サイトを遮断したり開放したりしないことが重要です。
向いている人
- Cloudflareを使っていて、ログやbotレポートを確認できるサイト運営者。
- 独自チェックリスト、チュートリアル、ツールページ、レビュー、資料ページを持つサイト。
- crawler、referral、アフィリエイトクリック、メール登録、インフラ費を一緒に記録できる人。
- 検索可視性を残しつつ、無償の学習・スクレイピング圧力を下げたい人。
向かない人
- まだコンテンツ資産がなく、crawler課金だけで収益化したい人。
- Googlebot、Bingbot、AI bot、監視bot、提携crawlerを分けて見ない人。
- ロールバックなしで全サイトblockルールをコピーする人。
- Pay Per Crawl、sitemap、IndexNow、robots.txtを収益やランキングの証拠と考える人。
未検証情報
- 本サイトはPay Per Crawlの資格、収益、payout、AI crawler参加率、小規模サイトの成果を検証していません。
- Cloudflare plan、WAF/Bot Management設定、cache、流入構成で結果は変わります。
- 大手出版社の交渉力は個人のAIコンテンツサイトにはそのまま適用できません。
- AI crawlerの課金や遮断は、検索順位、引用、広告収益、アフィリエイト収入の改善を保証しません。
リスク
- 検索crawler、プレビューbot、監視bot、提携crawlerを誤って遮断する。
- 早すぎる遮断で引用、ブランド発見、協業の機会を減らす。
- 価値の高いページをAI学習や要約に使われても回報を測れない。
- robots.txtを安全境界と誤解し、無視するscraperを見落とす。
- WAFやbotルール設定後にログを見直さず、誤検知を放置する。
最小テスト
- 商業ページ10件、ツールまたは資料ページ5件、通常記事5件を選びます。
- 14日間、crawler名、リクエスト量、パス、状態コード、帯域、cache hit、referral転換を記録します。
- referralも商業価値もなく異常に多いcrawlerは、全サイトではなくパス単位でblockを試します。
- 価値がありそうなcrawlerはallowのまま、ブランド検索、引用、アフィリエイトクリック、メール登録を別で記録します。
- 資格がある場合のみPay Per Crawlを評価し、ない場合はmanaged robots.txtと狭いWAFルールから始めます。
撤退シグナル
- ルール変更後に検索クロール、sitemap発見、プレビューカード、監視が壊れる。
- AI crawler負荷はあるが、referral、引用、提携、メール登録、アフィリエイト信号がない。
- ルールが複雑で、どのパスを許可・遮断し、どう戻すか説明できない。
- crawler収入の可能性のために速度、canonical、広告体験、読みやすさを犠牲にする。
- AI crawlerを止めれば流入、順位、収益が戻ると断言する教材やツールを信じる。
FAQ
小規模サイトは今Pay Per Crawlを有効化すべきですか？
標準回答にはしないでください。資格、crawler需要、現在のreferral価値、コンテンツの商業価値を確認してから小さく試します。
robots.txtでAI crawlerを止められますか？
主に意思表示です。遵守は任意なので、強制にはAI Crawl Control、WAF、Bot Managementが必要です。
AI crawlerをブロックするとGoogle検索に影響しますか？
広すぎるルールやcrawler判定の誤りがあると影響し得ます。ログを見て、狭い範囲から試してください。
次の一手
crawler判断表を作り、crawler名、パス、リクエスト量、robots.txt挙動、referral価値、ページ価値、推奨操作、戻し方を記録します。