Cloudflare 出杀招！预设「封锁 AI 爬虫」掀起付费抓取内容新战争

Cloudflare 新制预设封锁 AI 爬虫并推「Pay-Per-Crawl」市集，可能迫使 AI 业者付费取用内容，内容出版商与 CDN 迎来新估值叙事。 （前情提要：Meta狂抢AI人才，祖克伯喊「年薪破亿美元」；Sam Altman酸：买不到最好员工 ） （背景补充：OpenAI 传将推 AI 版 Office 办公软体，与微软、Google 正面交锋 ） 当前全球超 16% 的网路流量都通过 Cloudflare，是网路生态重要基石。本周，该公司发布新规：即日起所有新注册网域，皆预设封锁 AI 爬虫，并同步推出「Pay Per Crawl」机制。这一步，让长期免费捞取资料的大模型忽然面临收费闸门，也让内容拥有者首次握住议价杠杆。 政策要点：预设封锁与按次付费 Cloudflare 新规把爬虫存取模式从「预设允许」翻转为「需经许可」，新网域立即启用阻挡；旧客户则可在后台一键切换。 更关键的是「Pay Per Crawl」新制，网站管理员得以为「训练、推论、搜寻」三种用途设定不同价格。当爬虫抵达网站，伺服器将回传 HTTP 402 Payment Required，要求先付费再取用。由 Cloudflare 代收费用及结算，并提供用途、频率与付款报表。 执行长 Matthew Prince 公开说： 「我们的目标，是让内容创作者重新掌握对智慧财产的控制权，并从中获得合理回报。」 市场反应：媒体欢迎，实验室忧虑 已公开承认流量受到影响的大型出版商如 TIME 与 BuzzFeed 已加入试点，希望透过新机制为流量增添订阅与授权之外的第三条收入（毕竟 AI 整理过资料后，读者就没必要在浏览原始网页）。 相反的，OpenAI、Google 等开发者则警告，Cloudflare 正成为「中介商」，并强调他们一直遵守 robots.txt。英国律师 Matthew Holman 指出： 「若封锁政策普遍生效，必然拖慢模型训练速度，这会是短期内 AI 产业的巨大挑战。」 根据推估，若透过付费新增 1 兆个训练标记，成本可能达数亿美元，直接推高模型研发门槛。 资本视角：内容授权成新赛道 专家估算，「内容授权」的市场规模有机会从零衍生成数十亿美元级产业。同时，若 Cloudflare 成功推广付费模式，差异化将进一步扩大，对 Fastly、Akamai 构成压力，资本市场已重新评价 Cloudflare 的战略位置。 后续观察：资料黑暗期还是价值重分配 假如未来「预设封锁 AI 爬虫」被其他 CDN 或云服务广泛采纳，大模型可能陷入短暂「资料黑暗期」。业者势必需寻找替代方案，例如生成合成资料、与内容持有人签订授权协议，或利用区块链追踪版权。欧盟 GDPR 与法国 CNIL 对资料「合法利益」与「最小化」的强调，也与此趋势相符。 Cloudflare 新制度等于把「资料就是新石油」具象化：AI 公司未来或不再能免费加油，而要依量付费；不过对内容生产方来说则可能是好消息，能把数位资产变现，揭开价值重估的序幕。 相关报导 下载他人创作再 AI 洗图违法！中国首例 AI 侵犯著作权刑案宣判入狱＋罚金 马斯克喊AI知识错误太多「Grok3.5要重建人类正确版」；CZ回应：历史观点单一化会有问题 〈Cloudflare 出杀招！预设「封锁 AI 爬虫」掀起付费抓取内容新战争〉这篇文章最早发布于动区BlockTempo《动区动趋-最具影响力的区块链新闻媒体》。