AI如何破坏互联网经济

# AI如何破坏互联网经济

作者：Gabe Tramble https://x.com/rohinlohe 与 Paul Timofeev https://www.linkedin.com/in/kylecorcoran47/

特别感谢Cloudflare的Rohin Lohe、TollBit的Jennifer Ong与Kyle Corcoran、Visa的Tim Conard与Cuy Sheffield，以及Parallel.ai的Son Do，感谢他们提供的反馈与贡献。(https://www.linkedin.com/in/tim-conard-a51458115) (https://x.com/cuysheffield) (https://www.linkedin.com/in/sqdo) (https://Parallel.ai)

2026年3月19日，Cloudflare首席执行官Matthew Prince——其公司是全球最大的内容分发网络，覆盖约20%的互联网——预测称，受生成式AI兴起驱动的机器人流量将在2027年超过人类流量。仅仅数月之后，Prince宣布，代理流量增长如此之快，机器人流量已经提前超越了人类流量。在Cloudflare网络中，机器人约占HTML内容HTTP请求的60%，而来自人类的请求仅占38.2%。随着自动化系统产生的HTML页面请求份额超过人类，AI代理在机器流量中所占比例持续上升，互联网的底层商业模式正在崩溃。(https://x.com/eastdakota) (https://x.com/Cloudflare) (https://x.com/eastdakota/status/2062212701414187452?s=46) (https://radar.cloudflare.com/)

## 支撑开放网络的那笔交易

万维网实现了前所未有的全球信息民主化，而支撑这一使命的，是一套简单直接的"内容换流量"以物易物机制：发布者在网络上发布内容，搜索引擎则在内容与用户需求匹配时将读者引导至其网站。发布者以内容的形式向网络提供信息或娱乐；搜索引擎帮助将读者引导至相关网页；广告商则通过在用户被引导到的网页上展示定向广告，从用户访问中实现变现。这一协同循环共同构建起了价值数十亿美元的广告机器，为免费、无付费墙的开放网络提供了资金支持。

这套交换机制资助了大量可免费获取的信息，同时也将分发权力集中于搜索和广告平台。它奖励了行为广告、SEO优化的内容量产以及以互动为导向的内容，使发布者日益依赖推荐流量和注意力驱动的流量。如今，AI正在瓦解这一本已脆弱的交易中的推荐流量环节，而替代方案尚未就绪。

谷歌的广告收入从2001年（其首个完整披露广告数据的年份）的6690万美元增长至2025年的2947亿美元，增长了约4400倍。

然而，近年来AI聊天机器人应用的爆炸式增长，为人们在网络上发现信息引入了一种新范式。从设计上看，这些AI应用通过将用户留在聊天界面内部来优先保障用户便利性。这一特性虽然对用户而言十分便捷，却对发布者造成了尤为严重的损害。搜索引擎过去会将读者引导至内容来源的网站，而AI应用则转而对信息进行压缩和摘要，将其作为对用户提示词的最终回复的一部分呈现出来。随着发布者逐渐失去与用户的直接关系，并开始接收到更少的人类网络流量，他们将越来越难以从网络流量中实现变现。

一种新兴的解决方案是为互联网上的内容和搜索引入新的"按请求付费"支付基础设施。本文探讨了人工智能如何"破坏互联网"、该解决方案的两种不同实现路径，以及当前新兴的按请求付费网络的发展现状。

## AI爬虫与以物易物模式的终结

搜索引擎使用爬虫——一种专为网页索引设计的自动化程序——来构建网络"地图"。在传统的以内容换流量模式下，发布者允许这些爬虫免费复制其文本，因为搜索引擎会将真实读者引导回其网站作为回报。为了管理这种访问权限，业界依赖一种名为robots.txt的文本文件，这是一套未加密的、基于自愿遵守的荣誉系统。robots.txt之所以能长期有效运作，是因为违反robots.txt意味着失去获取发布者内容的机会，这会对搜索引擎的网络索引造成负面影响。

生成式AI应用通过将爬虫从索引工具转变为主动消费者，颠覆了网络的内容换流量的以物易物交换模式，这一点在模型训练和实时检索中表现得最为明显。在训练阶段，GPT或Claude等大型语言模型从从开放网络抓取的海量数据语料库中学习，其中包括各类书籍、文章、代码和艺术作品。模型在这些人类知识的总和上进行训练，并将其提供给用户，既不附上原始来源的链接，也不向创作者支付任何报酬。在实时检索网络信息以回答用户提示时，模型在用户提问的确切时刻对实时网络进行索引，提取相关段落并重新格式化。模型并不将读者引导至原始页面，而是将信息重新表述为一条简洁的内联回复，完整地回答了提示中的问题。爬虫对一个页面只索引一次，而模型可以将其抓取到的内容提供给数百万读者，却无一例外地不会将任何读者带回原始来源。

影响

综合提取机制、行为数据、联邦法律纠纷以及艺术创作的侵权问题，可以清楚地看出：开放网络的基础正在经历结构性崩塌，其影响已在多个相互关联的领域中显现。

AI爬虫的行为影响可通过"抓取与引流比"来衡量，即爬虫抓取的页面数量与其实际回传给来源站点的用户数量之比。Cloudflare的数据显示，仅在过去六个月内，单纯训练用途（43.9%）和训练兼搜索用途（41.5%）合计占据了Cloudflare网络所观测到的已识别AI爬虫请求总量的85%以上。Googlebot每向其来源站点回传一名访客，仍会爬取近五个页面——过去一年的比例为5.3——这与历史交换比例较为接近；而每家主要AI平台的对应比例则比Googlebot高出一到三个数量级。过去一年间，Anthropic的ClaudeBot平均每向来源站点回传一名访客，就要爬取4200个页面；Mistral为884个，OpenAI为731个，Perplexity为147个。Cloudflare也指出，来自原生应用的引流请求不携带引荐来源标头，因此上述比例可能夸大了这种失衡程度。皮尤研究中心的一项研究发现，当AI摘要拦截搜索查询时，人工点击率从15%降至8%，附带摘要的直接点击归因降至1%，且有26%的用户会完全放弃浏览会话。(https://x.com/AnthropicAI) (https://x.com/MistralAI) (https://x.com/perplexity_ai) (https://www.pewresearch.org/short-reads/2025/07/22/google-users-are-less-likely-to-click-on-links-when-an-ai-summary-appears-in-the-results/)

AI爬虫还引发了法律诉讼。在Bartz诉Anthropic案中，法官William Alsup裁定，对合法获取的书籍进行训练属于合理使用，因为该使用具有转化性，即创造了新的内容而非替代书籍本身；而Anthropic下载盗版图书库的指控则进入审判程序。Anthropic以15亿美元私下达成和解，约合约50万册图书中每部作品3000美元。此结果被普遍解读为Anthropic的胜利，因为训练数据合理使用的裁定依然成立，而和解也堵住了可能远高于此的法定赔偿风险。随着案件和解，始终没有法院确认在盗版内容上进行训练究竟应付出何种代价。与此同时，纽约时报诉OpenAI及微软案仍在进行中，OpenAI被迫提交2000万条ChatGPT对话记录，作为调查模型在多大程度上复制文章、从而替代付费订阅的证据。(https://copyrightalliance.org/wp-content/uploads/2025/06/Bartz-v.-Anthropic-Order.pdf)(https://arstechnica.com/tech-policy/2026/06/microsoft-built-supercomputer-to-help-openai-infringe-copyrights-nyt-alleged/)

这些案件凸显出，AI爬虫无节制抓取所带来的代价，尤其由独立创作者和视觉艺术家承担。2025年初，当OpenAI发布宫崎骏吉卜力工作室风格的图像生成功能时，现行版权保护的薄弱暴露无遗。由于美国法律保护的是作品的具体表达而非整体风格，AI模型可以系统性地克隆一种历经数十年人类劳动积累而成的艺术美学，却无需点名创作者或给予任何补偿。OpenAI的政策屏蔽了以宫崎骏这样的在世艺术家为对象的提示词，却完全允许以"吉卜力工作室"为主题的提示词。龙猫这样的具体角色受到保护，但吉卜力的整体风格却不受保护——这让艺术家几乎无从诉诸法律，尽管模型之所以能呈现该风格，正是因为它在该工作室的影片上进行了训练。按请求付费的基础设施无法解决上述所有问题。它可以对未来访问作品的行为进行计量和补偿，但无法追溯性地补偿艺术家已在训练中被使用的素材，也无法阻止模型复现其已习得的风格。这些损害需要独立的许可、版权和执法救济机制来解决。(https://x.com/OpenAI)

总而言之，针对内容换流量这一交换模式崩溃所出现的两种主要应对方式——诉讼与私下许可——至今不过是权宜之计，而非可规模化的商业模式。诉讼迄今只是为过去的抓取行为定了价，而未能约束持续及未来的爬取行为；私下双边许可协议则让大型媒体集团得以将其内容档案直接出售给AI实验室（例如OpenAI与新闻集团签订的2.5亿美元合同，或谷歌与Reddit据报每年6000万美元的协议）。尽管这些交易金额不菲，但一项市场调查发现，大多数私下协议的金额不及被许可方预期AI营收的百分之一。然而，谈判此类协议需要大量的财务和法律资源，这意味着网络上由数百万独立内容创作者构成的长尾生态，依然无法以任何方式批量应对AI爬虫。

由此可见，支撑开放网络长达三十年的、依赖荣誉制度的明文robots.txt协议，以及"以内容换流量"的易货交换模式，已无法承受一个在经济上以数据消费而非推荐流量为优化目标的互联网——在这个互联网中，爬虫是头等消费者。过去，发布者乐于承担100%的内容生产成本，因为他们能够获取100%的消费者流量与关注；而生成式AI在几乎不作任何归因的情况下将内容全盘消化，实际上切断了内容生产者获取人类网络流量的来源，使其无从产生广告或订阅收入，同时还要为机器人抓取承担高昂的托管费用，却得不到任何流量回报。这种挤压从两个方向同时发生：为机器人提供服务所消耗的带宽和算力与为真实读者服务并无二致，但机器人离开时既不会浏览广告，也不会开启订阅。在爬取与引荐比例高达数百乃至数千的情况下，发布者每产生一次可货币化的访问，就要承担数千次请求的服务成本。由于发布者无力只为让机器人免费复制文本而支付服务器费用，互联网需要一种新的方式来确保创作者为其所生产的内容获得报酬。随着人们越来越多地阅读AI摘要而非访问网站，发布者已无法再单靠人类注意力获利。因此，货币化的节点转移到了AI机器人实际抓取数据的那一刻，随之而来的下一个合乎逻辑的步骤，便是引入新的原生网络按请求付费的支付基础设施。

## 按请求付费的网络

要在整个互联网范围内推广按请求付费模式，需要一种能够高效计量内容与服务器访问的方式。尽管这一活动中越来越大的份额由AI爬虫驱动，但该框架同样适用于任何非人类交互，包括数据馈送和自动化API。简而言之，要访问付费内容，一个软件必须以编程方式向另一个软件付款，这一过程被正式称为机器支付。(https://radar.cloudflare.com/ai-insights)

为支持机器支付的规模化落地，基础设施公司在网络路由层构建自动化计费关卡，以便在请求发生的毫秒级时刻向机器人收费。然而，目前的实施方案大体上分为两种截然不同的路径：一是**封闭市场模式**，要求爬虫注册账户并获取唯一数字密钥，通过中间路由代理访问网站；二是**开放协议模式**，围绕标准化公共软件规则和机器可读的报头头部构建，支持在更广泛的数字支付通道上完成结算。

封闭市场模式

门控市场模式将网络内容视为通过企业中介管理的私有资产。在这一框架下，机器支付本身之前需要先进行身份验证和访问授权。发布商将其网络配置为将进入的AI爬虫从面向公众、面向人类的网站重定向至由市场提供商管理的辅助专用网址。在此网关处，平台将爬虫的身份凭证与数据库进行核对，评估发布商的自定义访问规则，追踪使用情况，并将页面格式化为机器可读文本。金融交易发生在互联网协议层之外。当机器人发出请求时，市场记录使用情况，并从AI公司预先充值的信用余额中计费。结算随后定期通过Stripe Connect等商户平台以法定货币进行，因为对每个请求单独刷卡收费，手续费将高于请求本身的费用。在AI爬虫与发布商源服务器之间设置直接中介，有助于最大化安全性、保护服务器免受流量高峰冲击，并确保只有经过验证的企业合作伙伴才能获得访问权限。然而，这一框架若大规模实施，有将开放网络变成一系列需要授权的付费商店的风险，进一步损害人类用户的体验。(https://x.com/stripe)

针对网络按次付费支付基础设施的第一波门控市场浪潮，最具代表性的是TollBit以及Cloudflare按次爬取（Pay-Per-Crawl）的首个版本。TollBit是一个用于管理、监控和变现AI代理网络流量的平台；发布商部署时需设置一个专用子域名（例如 https://tollbit.thedailydispatching.com/），当检测到AI爬虫试图访问主站时，服务器会自动将其重定向至TollBit的子域名，爬虫只有在付费后才能获得访问权限。TollBit会核查AI公司是否拥有已注册的计费账户，记录机器人请求的页面数量，以清洁文本格式传递数据，同时以美元处理付款。这一流程需要API密钥，因此目前内容定价的查询并不支持自助服务：AI开发者必须先向TollBit注册。(https://x.com/TollbitOfficial)

2025年7月1日，Cloudflare推出了其按次爬取模型的初始版本。Cloudflare在域名系统（DNS）和内容分发网络层面运营，这意味着它在网络流量实际到达内容发布商的物理源服务器之前就已介入处理。在按次爬取V1版本中，Cloudflare将其边缘级Web应用防火墙（WAF）整合进来，默认在其网络中自动检测并屏蔽已知的AI爬虫。当AI爬虫请求访问受按次爬取保护的域名时，Cloudflare会在请求到达发布商网页之前将其拦截，并在站点所有者选择将内容变现的情况下促成支付。(https://blog.cloudflare.com/introducing-pay-per-crawl/)

**门控市场的挑战**

TollBit依赖开发者API配置、专有密钥以及传统银行支付通道。通过Stripe等商户网络路由按请求计费的交易，会产生固定的交易处理费用（通常约为三十美分加上总费用的一定百分比），这使得实时处理单笔零点几美分的请求在经济上根本不可行。为了绕过这一成本障碍，开发者需要手动在封闭的市场中间商处注册账户、生成专属API密钥，并通过信用卡或银行转账预充值余额，平台随后从中持续扣除费用。因此，智能体及其他自主软件目前尚无法独立发现并按需购买数据；相反，人工管理员必须手动建立商业账户、监控各服务商间不断波动的余额，并统筹管理安全密钥。

尽管将人工纳入监管环节是许多以AI为核心的流程中不可或缺的部分，但采用封闭市场模式来大规模管理网络内容访问权限，隐含着对可预测、线性网络流量模式的假设，这与现代软件的实际运行规律直接相悖。AI智能体和爬虫通过推理循环动态选择各自的导航路径，这些路径取决于用户给定的提示词，因此它们往往会频繁遭遇包含任务所需精确数据的陌生域名；在任务执行中途强制要求人工介入完成注册流程，会迅速造成执行瓶颈，进而严重损害用户体验。统一费率订阅制在这里也并非最优解——AI智能体随时可按指令运行，其使用往往呈现出不可预测的集中爆发式特征（例如，某人可能连续三天从事研究密集型项目，随后停歇两周）。

在访问受保护内容和数据所需的预付资金存款与定制软件集成之间，封闭市场实际上构成了一套高度许可化的系统。一方面，网络发布商能够从成熟科技企业获得受控且经过验证的流量；另一方面，跨平台管理预充值账户所带来的行政与财务负担，限制了非匿名访问，阻碍了独立开发者的自发抓取行为，也制约了缺乏高流量企业级流量的中小型发布商的变现机会。相比之下，机器与机器之间的直接金融握手，允许发布商为爬虫所请求的文本和数据附加微额费用；这一设计理念构成了开放协议模型的基础。

## The Open Alternative: x402 and MPP

开放协议是一种基于公开、标准化通信规则构建的网络架构。现代网络的大部分基础设施正是建立在开放协议之上，包括HTTP、SMTP和TCP/IP，时至今日仍在沿用。近年来，HTTP 402状态码——这一被预留却闲置逾三十年的状态码——已成为核心的原生网络基础设施组件，用于在利用区块链支付通道的开源协议上支持机器支付。(https://shoal.xyz/research/writing/http-402-how-machines-move-money/)

早在2015年，基于HTTP 402的比特币支付便已进入实验阶段，其中21co比特币计算机与闪电网络L402是这一领域的先驱。2025年5月，x402协议首次将稳定币引入HTTP 402流程，而Stripe联合Tempo推出的机器支付协议（MPP）等方案也同时支持比特币、信用卡与稳定币支付。信用卡选项面向宏观交易而非微支付，原因在于固定的信用卡手续费会远超零点几美分的请求金额。稳定币依然是使按请求计费定价模式可行的核心支付轨道。(https://x.com/tempo)

x402将支付指令直接嵌入数据交换代码之中，从而消除了注册第三方账户或依赖专有清算机构的必要。当AI爬虫请求某一网页时，托管服务器会原生返回一个机器可读的响应（载荷头部），该头部直接嵌入连接元数据之中。头部信息包含每次请求的精确价格、指定的支付网络，以及接收方的数字账单地址。

区块链在促进机器支付方面正扮演着日益重要的角色，因为它提供了一个不可篡改的、可编程的金融层，其运行速度与自动化程度与软件逻辑原生匹配。稳定币等加密资产在结构上与AI智能体同处于Web的近端，因为它们依托与AI智能体和爬虫相同的原生Web基础设施而存在，以软件代码的形式运行，可通过简单的API端点与密码学签名进行集成。与信用卡和金融科技公司相比，使用区块链支付轨道的成本和手续费要低得多——在主流高吞吐量链上通常每笔转账仅需几分之一美分——尽管越来越多的金融科技公司正积极寻求缩小这一差距（例如Wise）。(https://btsesolutions.com/articles/crypto-vs-traditional-payments-2026) (https://owners.wise.com/news-releases/news-release-details/wise-group-plc-reports-full-year-2026-financial-results)

区块链支付轨道还在设计上为每笔支付提供密码学收据与验证机制。每一次按请求支付的循环都会生成一份永久存储的收据，其中包含买方的数字签名、所请求的URL以及精确的时间戳。由于这些指令存储于公链之上，任何自动化智能体均可解析传入的元数据，使用兼容资产（如稳定币）完成微支付，并在单次连续的HTTP握手中完成内容下载。而传统银行支付轨道的结算需要数天时间，以通过清算所在商业银行账本之间核对借贷，区块链结算则在网络节点验证数字签名并更新全球链状态后即刻完成，如前所述，这一过程在主流链上通常仅需数秒。开放协议方案最重要的意义在于，它实现了网络数据访问的标准化，使任何规模的内容发布者都能将其资产变现，同时允许任何拥有充值自动化账户的开发者无需事先申请行政许可即可进行爬取。

2026年6月15日，亚马逊云服务（AWS）将x402协议直接集成至CloudFront及其Web应用防火墙（WAF）。此配置使互联网约四分之一的流量能够直接通过现有云控制台激活自动化代理计费，向付费机器人交付内容。Cloudflare随后跟进：其Pay-Per-Crawl V1版本需要Cloudflare以商户身份通过Stripe处理支付，而更新推出的Cloudflare货币化网关则将Cloudflare完全从支付环节中移除，支付直接以点对点方式转入卖方钱包。(https://aws.amazon.com/about-aws/whats-new/2026/06/aws-waf-ai-traffic-monetization/)

封闭市场模式与开放协议模式之间的核心差异，在于谁被允许购买网络内容的访问权限。在封闭市场模式下，访问权限仅限于经过审核的白名单；除非其母公司已与中介平台手动签署企业合同并完成背景审查，否则AI机器人无法购买内容。在开放协议模式下，访问完全自动化且不设限制；互联网上的任何软件程序均可即时购买并下载数据，前提是其自动化计费账户能够当场结清所要求的微额费用。随着两套系统在互联网路由网络中陆续铺开，发布者面临两种截然不同的基础设施选择。封闭市场模式面向那些将严格安全合规、法律免责保护及精选企业合作关系置于首位的企业级机构。相反，开放协议模式则服务于需要无摩擦微交易的自动化工作流，使独立开发者与发布者构成的多元生态系统能够以编程方式交换数据，无需承担任何行政负担。

**AI爬虫今日实际遭遇**

为衡量按请求付费网络的实际覆盖范围，Shoal Research于2026年8月19日以AI爬虫（GPTBot）身份对108家主要媒体发布商及消费者网站进行了探测。此后样本已从108个扩展至500个域名。以下结果描述的是8月初始运行情况。针对每次请求，我们记录了状态码、重定向链、响应头及挑战响应体，并通过计算SHA-256哈希值以确保各采集批次间的数据完整性。当且仅当某端点的HTTP 402响应在Payment-Required / X-Payment-Required头部返回可解析的支付参数，或返回有效的x402 JSON挑战载荷时，该端点才被归类为x402可付费或代理可付费端点。(https://github.com/shoalresearch/x402-publisher-study)

在108家发布商中，网络呈现出三种主要应对姿态：

- **免费提供（49.1%，n=53）**：53个域名以HTTP 200 OK公开提供其首页，允许不限量抓取。

- **在边界处拦截（33.3%，n=36，合并计算）**：31个域名返回HTTP 403 Forbidden，两个要求身份验证（HTTP 401），两个拒绝了内容协商（HTTP 406），一个返回法律屏蔽（HTTP 451）。另有三家发布商在多次尝试后均超时无响应。

- **返回HTTP 402（14.8%，n=16）**：恰好16家发布商返回了HTTP 402 Payment Required状态码。

关键在于，数据集中没有任何一家发布商返回开放的、机器可支付的挑战响应。

在16个HTTP 402响应中，有10个重定向至TollBit Bot付费墙，另有6个返回了静态HTML许可联系表单。通过对基准数据集中全部13家TollBit托管发布商使用已认证开发者密钥进行二次验证，每一次费率查询均返回HTTP 403。API载荷明确说明内容提供商已禁用程序化访问，且未返回任何按次抓取的费率信息。

解读上述结果的一种方式是：TollBit正在充当早期AI合作伙伴，协助传统出版商测试并理解内容按使用付费的计费模式，同时仍将对代理程序的受控访问权交还给出版商。一套需要手动开发者注册、专有API密钥以及企业白名单的系统，难以扩展至在动态网络路径中穿行的海量自主代理；它更像是一项过渡性措施——旨在保护既有收益，同时等待永久性的原生机器结算标准逐步成形。目前尚处早期阶段，我们认为TollBit等服务商正致力于理解并探索如何在此类服务所涉及的访问、授权与自主性之间寻求平衡。

我们还于8月19日提取了完整的Coinbase CDP注册表，以梳理x402的实际使用者以及网络上已上线的服务——该网络声称拥有逾1.5万个端点，其中数百个处于活跃使用状态。(https://x.com/coinbase)

主流内容出版商尚未采用x402，但在这一缺席之下，供给侧市场已然欣欣向荣。虽然消费者媒体尚未积极接入，但开发者工具、专业数据供应商和代理网络已迅速部署了开放式机器支付端点；x402生态系统中的知名主体包括Tavily、Nansen、CoinGecko、Chainlink、Apify、Browserbase等数据API，以及近期加入的Ramp。x402的顶级服务提供商涵盖ChatGPT、Claude、TripAdvisor和Perplexity等名称，但尚无主要内容出版商入驻。(https://x.com/tavilyai) (https://x.com/nansen_ai) (https://x.com/coingecko) (https://x.com/chainlink) (https://blog.apify.com/introducing-x402-agentic-payments/) (https://www.browserbase.com/blog/browserbase-and-coinbase-x402) (https://x.com/teddy_riker/status/2090467979121013077?s=20) (https://agentic.market/)

15,073个活跃端点表明，软件正在公开的公共轨道上为其他软件主动定价并出售程序化访问权。部分追踪该网络的机构报告称，若将捆绑市场纳入统计，端点总数可达5万之多。然而，这些端点目前仍严格集中于网络抓取、AI工具调用和实时数据馈送领域；将整个注册表与主流消费者媒体和出版域名（《纽约时报》、路透社、ESPN、维基百科）进行交叉比对后，匹配率为零——但我们预期这一状况将缓慢而确定地改变，因为通常只需一个大名鼎鼎的先行者即可"开启先河"。网络变现模式的历史性转变往往始于单一头部机构打破"现有格局"：《纽约时报》于2011年推出计量付费墙；美联社于2023年确立了商业AI数据交易的先例，继而引发了新闻集团、《时代》杂志和康泰纳仕的连锁反应。因此，我们预计，一旦首家一线出版商在开放协议（如x402、MPP）上为其访问权定价，其余市场参与者将迅速跟进，毫不迟疑。

开放协议方式面临的挑战

开放式按需付费协议的基础设施已经就位，但市场本身仍处于起步阶段。开放支付的技术管道正在积极部署：发布者拥有机器可读的权利框架（如RSL），AWS CloudFront和Cloudflare上的托管与路由网关可以按毫秒级请求收费，结算轨道涵盖信用卡、数字资产和稳定币，所有这些均可通过x402和MPP等协议进行普遍访问。目前积极采用方面最大的障碍完全在于需求侧。

首先，没有任何主流AI实验室通过开放机器支付通道为消费者网络内容路由生产级爬虫流量，我们认为主要有三个原因。第一，爬虫缺乏集成钱包、自动采购预算，更重要的是，缺乏为其所请求内容实际付费的商业义务。正如我们的爬虫探测所示，网络上大部分内容仍完全无门控，这意味着被HTTP 402拦截的智能体可以简单地丢弃该URL，从开放的、无门控的竞争对手处以零成本提取几乎完全相同的内容。法律环境进一步强化了这一动态：根据联邦裁决——如法官威廉·阿尔苏普在Bartz v. Anthropic案中的判决——法院认定，摄取合法可访问的作品用于训练AI模型属于转化性合理使用。尽管阿尔苏普对保留非法获取的盗版数据集的行为予以惩罚，但基于开放网络上可访问内容进行训练不承担任何版权责任。由于提取公开网络文本在法律层面是免费的，AI实验室没有商业动力自愿支付开放式微费用。

**AI搜索提供商的补偿方式**

生产级采用仍然有限，但AI搜索提供商开始将补偿视为产品设计的一部分。

在一次未发布的Shoal Signal采访中，Parallel公司的前沿部署工程师Son Do介绍了Index项目——该项目直接与发布者合作，衡量每个来源对智能体最终答案的贡献程度，并与这些来源分享收益。Do预计，发布者和其他数据提供商将转向基于使用量的模式，由代理支付通道支持大量小额交易。Index表明，在主流AI实验室尚未形成标准采购行为之前，补偿机制已经进入了AI搜索与检索产品的设计之中。(https://www.linkedin.com/in/sqdo) (https://x.com/p0) (https://parallel.ai/blog/introducing-index-by-parallel)

超越法律和经济层面的义务缺失，现有的开放支付协议还存在一个简单的结构性缺陷——即对"按请求付费"循环中错误的环节进行计量：协议计量的是初始HTTP抓取行为，而非下游推理行为，而下游推理才是模型综合所摄取的知识、响应用户提示并生成答案的环节。如果一个AI模型能够一次性吸收某篇报道，并在数百万次用户问答中反复复现其内容，那么抓取原始HTML所收取的不足一分钱的费用根本无法补偿创作者。尽管RSL等框架定义了"按推理付费"的选项，但Cloudflare或AWS等网络层关卡无法检测神经网络的潜在权重，也就无法以密码学方式验证某个特定输出token究竟源自哪些训练文档。Cloudflare于2026年7月与Ceramic.ai及You.com开展的试点项目，恰恰揭示了这一技术瓶颈。该举措试图摆脱按抓取次数收费的模式，测试一种"按查询付费"的模型——只有当出版商的文本被实际引用于面向用户的AI答案中时，才对其进行补偿。尽管这一方向正确地指向了价值创造的时刻，但Cloudflare等网络边缘提供商处于AI服务器之外，意味着Cloudflare无法独立核实模型在生成过程中究竟引用了哪些来源。因此，整个系统不得不依赖AI公司自行统计引用次数并自我申报所欠费用，最终又退回到了一种"荣誉制度"。

开放协议面临的另一根本性挑战在于：你实际上无法阻止AI爬虫为内容支付一次微额费用后，便将文本写入其内部缓存或记忆，并无限期地调用这些数据。你同样无法阻止AI爬虫跨越不同网站和出版商，将这一过程重复数千次。正如Tempo的MPP联合作者Brendan Ryan在我们进行的一次Shoal Signal采访中所言，卖家的收费能力在很大程度上取决于其信息是否具有唯一性、时效性，以及是否难以被缓存。(https://x.com/brendan_j_ryan)(https://shoal.xyz/research/episodes/tempo-mpp-agent-payments/)

这一局限对于前文所探讨的静态创意作品和新闻报道而言尤为突出。静态文本在发布后几乎立即便失去其经济价值，即便借助AI工具的检索机制加以收集也无济于事。一旦AI模型读取了一篇调查报道、历史文章或新闻资讯，这些信息便被吸收进模型的记忆之中。此后，模型便可永久借助这些事实回答问题，而无需再次访问原始网站。正因如此，那些仅仅将公开网络文本与AI界面打包在一起的软件工具，将会迅速看到利润消失殆尽——因为竞争对手可以基于同样的免费信息构建完全相同的爬虫。

由此，一条简单的基本规律浮现出来：静态数据的定价能力几乎在瞬间消失，而动态且难以被抓取的信息则能持续保持其可付费性。由于AI模型能够一次性读取未设付费墙的文章或历史报告，并将这些知识永久存储于其权重之中，按请求收费的微额付费模式无法支撑依赖静态文本的商业模式；持续性付费仅适用于那些必须被不断生产和持续验证的信息。我们认为，这类内容归根结底可分为以下三大主要类别：

首先是实时的、短暂性的状态数据，包括实时订单簿、亚秒级金融定价、突发新闻遥测数据以及物联网传感器信息流。AI模型无法依靠数月前的训练权重或过期缓存来回答有关世界当前状态的查询；它必须在特定的那一秒向源服务器发出一次全新的付费API请求，才能获取当下的真实情况。

其次是从未触及公开网络的专有离线数据。以私募市场情报为例，历史融资轮次和高管变动等发布在新闻稿中的信息，很快便会被低成本竞争对手爬取并商品化。真正的定价权属于那些开展一手、人工研究的提供商——例如通过与基金经理保持的保密关系，直接获取非公开的股权架构条款、私募交易估值以及经过核实的有限合伙人出资分配情况。由于这些数据从未被索引在任何公开URL上，自动爬虫既无法绕过付费墙，也无法免费提取这些内容。

第三是独特的人声与品牌声誉。正如媒体策略师Ashni Christ在Shoal Signal上所指出的，一个被屏蔽或下线的普通新闻聚合信息流，会立刻被一个完全相同的自动化爬虫所取代，受众毫无损失。然而，当一位拥有固定观点的真实分析师、调查记者或创作者停止发布内容时，读者会立刻察觉，并主动寻找他们的去向。现场采访、主观分析以及直接接触，既无法由大型语言模型预先计算并存储在中间缓存中，也无法从静态训练集中复制，这使得实时信息流、私有离线记录与个人视角，成为唯一能够可靠维持定价能力的资产。(https://x.com/ashnichrist) (https://x.com/Shoalresearch/status/2051350822332801086?s=20)

## Closing Thoughts

互联网正在崩溃——至少表面看来如此。

为了加速彼此之间的沟通与协作，人类构建并连接起了覆盖全球的计算机与软件网络。数十年来，每一个相继出现的技术层级都致力于让这种交流更快、更高效，最终演化出了专为大规模自动化而生的软件。生成式AI将这种自动化能力一举交到了数亿人手中。然而，随着自动化软件接管网络，信息的发现、整合与消费方式正在被从根本上改变。这一转变最为严峻的后果体现在经济层面：通过广告曝光和人工引荐模式来实现网络流量变现，已不再可行——而正是这两种模式在过去三十年里支撑着开放网络的运转；这也正是我们如今看到按请求付费的网络模式正在形成的原因。

目前存在两种截然不同的现行路径，这是网络世界亘古不变的老故事：中心化的闭源中介，提供法币结算、开箱即用的合规方案以及熟悉的企业级接入流程，但同时也带来平台锁定与受许可的守门人机制；以及开放协议，提供无需许可的访问渠道和通过稳定币实现的可编程微支付，尽管在企业级分发、推理归因，乃至最关键的——真实的出版商采用率方面，仍存在明显差距。

我们亲自测试了按需付费网络的现状，结果表明开放支付协议所需的基础设施和供给侧已经就绪。x402等开放协议已经在积极推动数据采集、工具调用、AI推理和实时数据源等功能性市场的运转，但目前仍未获得主流在线出版商的支持。TollBit等平台目前以程序化变现市场的定位进行推广，但数据显示，出版商将其作为临时解决方案，用以封堵爬虫并引导AI实验室达成私下的线下协议。

这说明，究竟是封闭式市场还是开放协议"胜出"，目前远未有定论。事实上，谁说非得二选一不可？未来很可能两种方式并存，分别服务于不同客户和不同使用场景。稳定币将与预付积分、订阅制及传统发票一样被广泛使用。这场博弈远不像某些人所认为的、或至少声称认为的那样是零和游戏。至少在相当一段时间内不会如此。

然而，尽管互联网正处于一个拐点，人们很容易对未来走向作出前瞻性预测，但有必要退一步，记住网络的历史不过三十年，而它在这三十年里始终在持续演进。无论新兴的按需付费网络最终在支付基础设施上向封闭式市场还是开放协议收敛，一种可能始终存在：在这个资金充裕、持续演进的AI领域，进一步的发展或许会令两种方式都变得无关紧要，转而为一种全新的、尚未探索的路径奠定基础。就目前而言，我们认为更有可能看到的是：开放协议与封闭式市场的采用率同步增长，分别服务于不同细分市场和不同使用场景。然而，正如任何前瞻性论断一样，一切终将由时间来检验。

旧有契约的瓦解最终或许能催生一个更健康的网络，但与此同时，也可能提高全球那些无力承担按需付费或代理服务的人获取信息的成本。不过，机器直接支付或许能为出版商提供一种途径，使其得以从机器使用中获益，而无需完全依赖广告或平台掌控的流量分发。最终结果将取决于这些新的支付基础设施是否对独立出版商保持开放，还是会沦为另一层守门人。

# References

Amazon Web Services. (2026, June 15). AWS WAF announces AI traffic monetization. https://aws.amazon.com/about-aws/whats-new/2026/06/aws-waf-ai-traffic-monetization/

Attridge, M. (2026, May 14). Authors, publishers near final approval of $1.5 billion Anthropic copyright settlement. Courthouse News Service. https://www.courthousenews.com/authors-publishers-near-final-approval-of-1-5-billion-anthropic-copyright-settlement/

Bartz v. Anthropic, Order on fair use (N.D. Cal. June 2025). https://copyrightalliance.org/wp-content/uploads/2025/06/Bartz-v.-Anthropic-Order.pdf

Bloomberg Law. (2026, January 5). OpenAI must turn over 20 million ChatGPT logs, judge affirms. https://news.bloomberglaw.com/ip-law/openai-must-turn-over-20-million-chatgpt-logs-judge-affirms

Chainalysis. (2026, June 3). Inside x402: 100M agentic payments on Base. https://www.chainalysis.com/blog/x402-agentic-payments-adoption/

Chapekis, A., & Lieb, A. (2025, July 22). Google users are less likely to click on links when an AI summary appears in the results. Pew Research Center. https://www.pewresearch.org/short-reads/2025/07/22/google-users-are-less-likely-to-click-on-links-when-an-ai-summary-appears-in-the-results/

Christ, A. (2026, May 4). New media in the age of AI: TBPN, OpenAI, and media defensibility (Episode 5) Video podcast episode]. In G. Tramble (Host), Shoal Signal. [https://x.com/Shoalresearch/status/2051350822332801086

Cloudflare. (2025a, July 1). Cloudflare just changed how AI crawlers scrape the Internet at large Press release]. [https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/

Cloudflare.（2025b，7月1日）。内容独立日：无补偿则无AI抓取。https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/

Cloudflare.（2025c，8月29日）。抓取与点击的差距：Cloudflare关于AI机器人、训练及引荐流量的数据。https://blog.cloudflare.com/crawlers-click-ai-bots-training/

Cloudflare.（2025d，7月1日）。推出按抓取付费。https://blog.cloudflare.com/introducing-pay-per-crawl/

Cloudflare.（2025e，7月1日）。推出按抓取付费（私测版）[更新日志]。https://developers.cloudflare.com/changelog/post/2025-07-01-pay-per-crawl/

Coinbase.（2026，6月15日）。Coinbase与AWS通过x402让出版商将AI代理纳为付费客户。https://www.coinbase.com/blog/coinbase-and-aws-let-publishers-accept-agents-as-customers-via-x402

CoinDesk.（2026a，5月5日）。AI代理正在破坏网络经济，但Cloudflare表示x402能够提供解决方案。https://www.coindesk.com/tech/2026/05/05/ai-agents-are-breaking-web-economics-but-cloudflare-says-x402-can-help

CoinDesk.（2026b，3月11日）。Coinbase支持的AI支付协议希望解决小额支付问题，但需求尚未形成。https://www.coindesk.com/markets/2026/03/11/coinbase-backed-ai-payments-protocol-wants-to-fix-micropayment-but-demand-is-just-not-there-yet

Conroy, M.（2026，7月1日）。让AI搜索更智能。Cloudflare。https://blog.cloudflare.com/making-ai-search-smarter/

Fast Company.（2025，3月28日）。OpenAI的吉卜力风格图像再度引发AI与版权之争。https://www.fastcompany.com/91308222/openais-studio-ghibli-style-images-renew-the-debate-over-ai-and-copyright

The Independent.（2025，3月27日）。ChatGPT病毒式传播的吉卜力风格图像凸显AI版权问题。https://www.independent.co.uk/news/studio-ghibli-hayao-miyazaki-openai-chatgpt-los-angeles-b2722945.html

蒙特克莱尔州立大学传播与媒体学院。（2025，4月）。关于吉卜力AI趋势的社交媒体研究。https://www.montclair.edu/college-of-communication-and-media/wp-content/uploads/sites/20/2025/04/Montclair-Social-Media-Study-Ghibli-AI.pdf

News Corp.（2024，5月22日）。News Corp与OpenAI签署具有里程碑意义的多年期全球合作协议[新闻稿]。https://investors.newscorp.com/news-releases/news-release-details/news-corp-and-openai-sign-landmark-multi-year-global-partnership

Quartz.（2026，5月27日）。AI训练数据的价格：从500万美元到2.5亿美元。https://qz.com/ai-training-data-pricing-licensing-deals-market-052126

RSL Collective.（2025，12月10日）。RSL AI许可协议1.0正式成为行业标准[新闻稿]。https://rslstandard.org/press/rsl-1-specification-2025

Ryan, B.（2026）。关于机器支付与内容防御性的对话[待发表访谈]。Shoal Signal。

Shin, L.（2026，3月30日）。2030年机器经济。Artemis Research。https://research.artemis.ai/p/machine-economy-2030

Shoal Research.（2026，9月9日）。x402与出版商内容访问，108家出版商扩展至500家[数据集]。GitHub。https://github.com/shoalresearch/x402-publisher-study

Stripe.（2026）。推出机器支付协议。https://stripe.com/blog/machine-payments-protocol

Tempo Labs与Stripe.（2026，3月30日）。支付HTTP认证方案（互联网草案编号：draft-httpauth-payment-00）。https://github.com/tempoxyz/mpp-specs