クロール1回への課金は1年で終わった。Cloudflareが選び直した単位

Cloudflareは2025年7月、AIクローラーに1回ごとの料金を請求する仕組みを公開した。それからちょうど1年後の2026年7月1日、同社は課金の単位そのものを置き換えると発表した。

新しい名前はPay Per Useである。クロールした回数ではなく、取り込んだ内容がAIの回答で使われた分を測る。

同社は理由をこう書いている。1ページは、一度クロールされただけで何千もの回答に引用されることもあれば、何度もクロールされて一度も使われないこともある、と。

回数は、価値の目安として粗すぎた。数える単位が変われば、サイト側が交渉できる相手も条件も変わる。

クロール回数は、価値の目安として粗すぎた

2025年のPay Per Crawlは、仕組みとしては明快だった。料金を払わないクローラーにはHTTP 402（Payment Required）を返し、crawler-priceヘッダーで価格を示す。

クローラー側はcrawler-exact-priceまたはcrawler-max-priceで支払いの意思を返す。Cloudflareが決済の元請けとなり、集めた金額を発行者へ分配する設計である。

価格はサイト側が一律に決め、払うかどうかをクローラーが選ぶ。値づけの根拠は取得の手間であり、その先でどう使われるかは計算に入っていなかった。

導入の背景も明確だった。AIクローラーに内容を使わせてもよいが対価は受け取りたい、という声を報道機関や出版社から繰り返し聞いた、と同社は書いている。

同社は当時これを第三の道と呼んでいた。全面的に遮断するか、無償で開放するかの二択に、対価という選択肢を足すという意味である。

ただし1年運用してみると、単位そのものに歪みがあった。品質の高いボットによるクロールの50%超は、変更のないページを取り直しているだけだったという。

取得の回数と、実際の利用の量は連動しない。ページを一度読んで何千の回答で引くAIと、毎日読んで一度も使わないAIが、同じ料金表の上に並んでいた。

料金表の設計は、そのまま何を価値と見なすかの宣言でもある。回数で測るかぎり、測れるのは相手の作業量であって、こちらの内容が果たした役割ではない。

Pay Per Useは、二つの異なる払い方から始まる

Pay Per Useは、単一の価格表ではない。AI企業がそれぞれの払い方を持ち込み、Cloudflareがその仕組みを、参加するサイトへ広げる形をとる。

最初の提携先は二社である。Ceramic.aiは、検索結果に内容が現れたときに支払うpay-per-query型を採る。

You.comは、事前の包括契約を結ばず、必要になった有料の内容をその都度買う形をとる。単価も条件も、二社で同じではない。

Ceramic.aiの型では、検索結果に現れること自体が支払いの条件になる。露出が取引の単位になるため、サイト側は引用されやすい形を整える動機を持つ。

発行者から見ると、扱いは一律いくらではなくなる。どのAI企業と、どの単位で、いくらで取り引きするかを個別に見る作業が増える。

背景となる数字も示されている。GoogleのAI要約が表示される場面では、従来型のリンクがクリックされるのは8%、要約のなかのリンクは1%にとどまるという。

流入で回収できない分を、利用そのものへの支払いで埋める。Pay Per Useの発想は、この差から来ている。

ただし、利用を測るという発想には課題も残る。回答での引用は、基本的にAI企業側のログにしか現れない情報である。

サイト側から検証しにくい数字を根拠に精算する構図は、広告の取引でも繰り返されてきた。第三者による検証をどう組み込むかは、これからの論点になる。

9月15日、広告のあるページで既定値が変わる

同じ7月1日、Cloudflareはもう一つの変更も告知した。2026年9月15日から、同社へ新しく登録するドメインでは、広告を表示するページの既定値が変わる。

変わるのはボットの種類ごとの扱いである。TrainingとAgentは既定でブロックされ、Searchは既定で許可される。

分類は三つに整理されている。Searchは内容を収集して索引化する挙動、Agentは人の代わりにその場で動く自動処理、Trainingはモデルの学習や微調整のための取得を指す。

Agentを既定で止める判断は、やや重い。人の代わりに買い物や予約を進める自動処理まで含むため、遮断は将来の取引経路を閉じる可能性も抱えている。

広告を基準にした理由も書かれている。広告は、そのページに人が来て見ることをサイト運営者が意図した合図であり、事業を支える収益源である、という説明である。

広告の有無で既定値を分ける設計は、収益の形をそのまま扱いの基準にしたものである。購読や資料請求で成り立つサイトには、別の判断が要る。

Searchを通す理由は、訪問者を最も自然に戻す挙動だからだという。検索の側も形を変えているが、Google AI Modeの仕組みを見るかぎり、参照元へのリンクは残っている。

複合目的のクローラーは、すべての挙動に応じて扱われる。Googlebot、Applebot、BingBotのように検索と学習を兼ねるものは、Trainingを遮断した設定では通らなくなる。

9月15日より前にSecurity設定で希望を示しておけば、既定値の変更は適用されない。何もしないことが、そのまま一つの選択になる期日である。

既定値の変更は、判断を先送りにしていたサイトの扱いを決める作業でもある。何も設定していないサイトが、どちら側に倒れるのかが変わる。

自社サイトで、いま確認しておくこと

対象は新しく登録するドメインであり、既存の設定が自動で書き換わるわけではない。ただし新規のサイトを立てる予定があるなら、影響は9月15日から始まる。

Cloudflareはウェブのドメインの20%超を扱うとしている。1社の既定値の変更が、事実上の標準に近い効果を持つ場面がある。

AI企業の側から見ると、期日までに学習用と検索用のクローラーを分けておく必要が生じる。兼用のままでは、遮断の対象に入る可能性が高くなる。

分離が進めば、サイト側の設定は細かくできる。学習は断り、検索は通し、エージェントは条件付きで通す、といった書き分けが現実的になる。

一方で、この種の設定は宣言としての性格も持つ。相手が読んで従うことを前提にした部分が残るため、宣言だけで遮断が完結するわけではない。

確かめておきたい点は、大きく三つに整理できる。

• 自社サイトに広告を表示するページがあるか、そこで学習用クローラーを通したいか
• 検索と学習を兼ねるクローラーを遮断したとき、検索からの流入がどれだけ減るか
• AI企業ごとに単価と単位が違う前提で、誰と何を取り引きするか

施策の前に、公開されている条件を読む姿勢は変わらない。LLMO対策の多くは、Googleの公式条件に含まれないで見たとおり、噂と要件の距離は近くない。

課金の単位が読まれた回数から使われた量へ移るなら、記録すべきものも移る。次に数えるのは、クロールのログではなく、回答での登場かもしれない。