OpenAI、谷歌、微软和 Anthropic 联手推行 AI 数据抓取退出标准

OpenAI、谷歌、微软与 Anthropic 近日共同宣布，将推行一种新的通用标准，允许内容发布方通过该机制统一拒绝其网站内容被用于 AI 数据抓取。借助这套管控方案，内容提供者能一次性向多家 AI 公司表明自身在 AI 模型训练方面的内容使用意愿，无需再为每家企业逐一设置独立规则。

这一标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，并将被嵌入网站的 robots.txt 文件中。

长期以来，robots.txt 文件用于向网络爬虫指示哪些网站内容可以抓取、哪些应当禁止，适用范围涵盖搜索索引、网页存档以及 AI 模型训练。目前，网站必须针对每一家 AI 企业分别说明其在 AI 训练方面的内容使用偏好。在此情况下，各类 AI 爬虫持续抓取网站内容，将网页素材输入 AI 模型进行训练，这让内容发布方感到颇为棘手。

报道指出，当前网站需向各家公司单独声明训练偏好，而新标准正是为了简化这一过程。Anthropic 已率先采纳该标准，OpenAI 计划在未来几个月内跟进，谷歌与微软则预计在明年实施。Meta 发言人 Andy Stone 也表示支持建立此类通用信号，但未透露具体的执行时间表。