未被检测到的网络内容抓取爬虫程序对电商行业影响严重

2024年 7月2日 – 负责支持和保护网络生活的云服务提供商阿卡迈技术公司（Akamai Technologies, Inc.，以下简称：Akamai），近日发布了新一期的《互联网现状》(SOTI) 报告，详细介绍了随着网络内容抓取爬虫程序的激增，许多企业都会面临安全和业务威胁。《侵蚀您的利润：网络爬虫程序对电商行业有何影响》报告发现，爬虫程序流量占整个网络流量的 42%，且 65% 的爬虫程序是恶意的。

由于电商行业依赖于创收型 Web 应用程序，高风险爬虫程序流量对该行业的影响最大。尽管某些爬虫程序对业务是有益的，但网络抓取类爬虫程序却被用于获取竞争情报和开展间谍活动、囤积库存、创建假冒网站以及其他对利润和客户体验产生负面影响的活动。目前尚无法律禁止使用抓取类爬虫程序，而且由于人工智能 (AI) 僵尸网络的兴起，检测它们并非易事，但公司可以采取一些措施来加以缓解。

Akamai 亚太地区及日本安全技术和战略总监Reuben Koh 表示：“每家电商平台都在一定程度上依赖网络爬虫机器人。当这些机器人被滥用时，挑战就出现了，因为它们的功能相似，很难区分好坏。此外，快速发展的爬虫环境使防火墙等传统防御措施失效，这进一步加剧了这一问题。现在，电子商务企业，尤其是作为全球主要商业中心的亚太及日本地区的电子商务企业，比以往任何时候都更需要投资于合适的解决方案。以成功应对恶意机器人发起的不可预测和反复的攻击。这是由于这些企业在实现区域化并扩大客户群的时候，往往会面临更多威胁。”

该报告的主要调查结果如下：

• AI 僵尸网络能够发现并抓取格式或位置不一致的非结构化数据和内容。 此外，还可以通过收集、提取并处理数据，利用实际的商业情报来改进决策过程。

• 抓取类爬虫程序可以通过抓取产品图片、说明和价格信息，创建假冒商店或网络钓鱼网站，窃取凭据或信用卡信息，进而形成更复杂的网络钓鱼活动。

• 爬虫程序的使用可进一步导致新帐户开设滥用的增加。根据最近的研究，50% 的欺诈损失是爬虫程序所致。

• 无论抓取类爬虫程序是出于恶意还是善意目的抓取企业数据，都可能导致企业遭受包括网站性能下降、网站指标染污、网络钓鱼网站发起的盗用凭据攻击，以及计算成本攀升等技术影响。

《侵蚀您的利润：网络爬虫程序对电商行业有何影响》研究报告介绍了缓解抓取类爬虫程序的策略，并结合案例研究，说明采取有效防护措施能够显著提升网站的运行速度和效率。此外，该研究报告还指出，在应对这些日益增多的攻击时，必须考虑合规性问题。

今年是 Akamai 发布《互联网现状》(SOTI) 报告 10 周年。 SOTI 系列报告以 Akamai Connected Cloud 收集的数据为基础，提供有关网络安全和 Web 性能形势的专家见解。