阻止AI机器人流量：保护企业网站

在AI时代，爬虫和机器人正在拖慢网站速度，一些研究人员认为，互联网最脆弱网站的解决方案已经出现。

作者：Kristina Beek，Dark Reading副编辑
2025年7月23日
4分钟阅读时间

当互联网用户在线购物、支付账单或通过谷歌搜索答案时，他们可能没有意识到还有其他人也在浏览同一个网站。区别在于：有些访问者可能是人类，而其他往往不是。

根据Imperva的《2024恶意机器人报告》，十年来首次，自动化流量超过了人类在线活动，去年占所有网络流量的51%。与2023年恶意机器人占互联网流量32%相比，2025年这一数字已上升至37%。

报告指出，随着人工智能（AI）和大语言模型（LLM）的快速采用，机器人的创建变得更加容易和可扩展。AI工具降低了威胁参与者的入门门槛，使他们能够以比以往更快的速度创建和部署恶意机器人。

因此，自动化流量量正在增加，安全团队面临压力需要适应和保护其环境，因为机器人占据了上风，而网站在机器人拖慢系统、降低真实人类用户性能的情况下努力维持运营。

小型组织无法应对机器人涌入

受此影响最大的群体是小型组织，它们可能无法获得高级工具来阻止这种非人类活动的涌入，或者很容易被其压垮。

相关阅读：灵活"Gunra"勒索软件进化出Linux变种

Quanta Sciences创始人Rama Hoetzlein计划在今年黑帽美国大会上分享他的公司关于网络上AI生成流量巨大规模的发现，会议主题为"在AI机器人时代保护小型组织"。

“我们是一个知识AI组织，专注于与纽约伊萨卡本地合作伙伴——社区科学研究所合作，“Hoetzlein说。“他们是一个公共非营利组织，我帮助维护他们的数据库和服务器。”

在20天的时间里，Hoetzlein和他的团队发现90%的流量来自AI爬虫和机器人。超过15万次访问，这个数字相当于每天约7000次来自机器人的访问。

他说，这些机器人试图从它们爬取的组织中抓取数据。随着AI公司继续获得关注，它们产生的问题只会变得更糟。

“AI公司迫切需要建立数据中心来获取可以输入训练模型的信息，“他说。“因此，他们使用从互联网收集的这些信息来训练模型。通常他们会设置这些爬虫来自主[抓取]这些信息。”

相关阅读：AI生成的Linux挖矿程序’Koske’击败人类恶意软件

传统防护方法存在明显不足

Quanta Sciences的研究人员首先查看了市场上可用的工具，发现它们不够用。主要问题是这些工具无法区分活动；许多只提供摘要统计信息，如网站每月或每天获得多少访问量，但无法确定哪些访问是人类，哪些是AI。

有些人可能会问，当传统工具经常无法区分时，如何开始区分访问，但Hoetzlein表示这可以通过多种方式完成。

“有几个指标，“Hoetzlein说。“一个是它们来自C类子网内的许多不同IP，所以你知道它们位于数据中心的一组IP中。第二，如果你查看它们的名称并进行反向名称[搜索]，你可以看到它们通常是大型组织或AI收集组织。因此，一旦你知道要寻找什么，回溯并看到这些确实不是人类行为者并不太难。”

Logrip将能够识别AI和机器人爬虫访问并阻止它们，尽管Hoetzlein计划仅在8月的黑帽大会上揭示后者是如何完成的。

相关阅读：执法部门打击XSS——但会持续吗？

实施Logrip的网站将能够根据其需要定制工具，以解决网站上不需要的非人类访问者问题。

“例如，[在]社区科学研究所，他们的政策非常开放，因为他们是一个公共组织或非营利组织，“Hoetzlein说。“他们希望公开分享数据，但不希望服务器被拖慢到人类用户无法使用的程度。”

反过来，该研究所的政策相对宽松，允许网站上的爬虫和机器人，但不会多到压垮服务器并减慢真实访问者的应用程序速度。

“它实际上旨在过滤和识别，“他补充说，“并根据策略阻止某些东西。”

了解更多：黑帽新闻

关于作者

Kristina Beek
Dark Reading副编辑
熟练的作家和编辑，为Dark Reading报道网络安全。

查看更多Kristina Beek的内容

随时了解最新的网络安全威胁、新发现的漏洞、数据泄露信息和新兴趋势。每天或每周直接发送到您的电子邮件收件箱。

更多洞察

网络研讨会
解决ICS/OT修补和漏洞管理难题
2025年7月29日
为更有效的安全合作伙伴关系制定路线图
2025年8月13日
更多网络研讨会

活动
[虚拟活动] 现代企业的战略安全
2025年6月25日
[虚拟活动] 数据泄露剖析
2025年6月17日
[会议] 黑帽美国 - 8月2-7日 - 了解更多
2025年8月1日
更多活动

您可能还喜欢
抱歉！暂无推荐显示

编辑选择
一群人学习
网络安全运营
网络职业机会：权衡认证与学位
网络职业机会：权衡认证与学位
作者：Kristina Beek, Tara Seals
2025年7月25日

火蚁特写
漏洞与威胁
‘火蚁’网络间谍入侵隔离的VMware系统
‘火蚁’网络间谍入侵隔离的VMware系统
作者：Rob Wright
2025年7月25日
5分钟阅读

网络研讨会
解决ICS/OT修补和漏洞管理难题
2025年7月29日
为更有效的安全合作伙伴关系制定路线图
2025年8月13日
更多网络研讨会

白皮书
Cortex XSIAM：机器主导、人力赋权的安全平台
XSIAM买家指南：如何为AI时代转型SOC
SOC转型的5个基本步骤
XSIAM信息图：谈论革命
SOC转型的5个基本步骤
更多白皮书

活动
[虚拟活动] 现代企业的战略安全
2025年6月25日
[虚拟活动] 数据泄露剖析
2025年6月17日
[会议] 黑帽美国 - 8月2-7日 - 了解更多
2025年8月1日
更多活动

发现更多
黑帽
Omdia
与我们合作
关于我们
广告
重印
加入我们
新闻通讯注册
关注我们

版权所有 © 2025 TechTarget, Inc. d/b/a Informa TechTarget。本网站由Informa TechTarget拥有和运营，这是一个全球网络的一部分，该网络通知、影响并连接全球技术买家和卖家。所有版权归其所有。Informa PLC的注册办公室是5 Howick Place, London SW1P 1WG。在英格兰和威尔士注册。TechTarget, Inc.的注册办公室是275 Grove St. Newton, MA 02466。

首页|Cookie政策|隐私|使用条款