人工智能机器人现在已成为网络的新用户类别和流量来源，禁令并未阻止它们。

人工智能已开始控制大量网络流量

根据 Akamai 最近发布在《Wired》杂志上的报告，基于 AI 的机器人正在占据越来越多的网站访问份额。报告描述了如何将对这些机器人的数据阻断以及它们的巧妙操作转变为互联网中的真正“军备竞赛”。

发生了什么

- 新型访客
专家指出，AI 机器人不仅仅复制内容——它们成为了一类新的用户。大型门户网站的所有者试图限制机器人可以收集和用于训练其模型的材料。

- 实时数据采集
一些机器人即时从网络中获取信息，并将其用于改进自身服务：商品实时价格、电影院排片表、新闻简报等。

增长统计

- robots.txt 违规
超过 13% 的机器人忽略 *robots.txt* 文件的指令。从第二季度到第四季度，这种行为增长了 400%，而管理员阻止它们的尝试仅增加了 336%。

- 隐蔽性
一些机器人伪装请求头，模拟普通浏览器请求，以绕过防护。

服务与解决方案

存在许多合法的数据采集目的：网络安全、新闻调查等。然而，大多数防御机制目前对所有场景都采用相同的处理方式。

市场趋势

- 现在已有超过 40 家公司提供用于 AI 学习所需数据收集的机器人。
- 带有 AI 的搜索引擎和类似 OpenClaw 的代理正在活跃起来。
- 一些企业已帮助其他公司寻找 AI 代理材料，并开发针对机器学习优化内容的工具。

这些发展预示着“完整营销渠道”的出现，其中搜索、广告、媒体与商业将整合为一个统一生态系统。