KELA报告称,2024年暗网中提及恶意AI工具的次数激增200%

KELA公司的情报收集平台全年监控和分析网络犯罪地下社区,包括暗网论坛、Telegram频道和威胁行为者的活动。研究人员发现,威胁行为者不断改进AI越狱技术,以绕过公共AI平台的安全限制。

KELA报告称,2024年暗网中提及恶意AI工具的次数激增200%

威胁情报公司KELAKELA Research and Strategy Ltd.)近日发布的一份新报告显示,2024年,暗网中对恶意人工智能工具的讨论与提及已经增加了200%,该报告强调网络犯罪分子如何迅速采用人工智能工具和策略。

这一发现来自KELA的《2025年人工智能威胁报告:网络犯罪分子如何利用人工智能技术武器化》,该报告使用了KELA情报收集平台的数据,KELA公司的情报收集平台全年监控和分析网络犯罪地下社区,包括暗网论坛、Telegram频道和威胁行为者的活动。研究人员发现,威胁行为者不断改进AI越狱技术,以绕过公共AI平台的安全限制。

报告显示,2024年,有关越狱和在暗网使用恶意AI工具的讨论激增,其中,与越狱ChatGPT等合法AI工具相关的讨论量增加了52%,而有关恶意AI工具和策略的讨论增加了219%。前者是关于如何绕过此类AI平台内置的防护以执行恶意活动,而后者则与KELA所说的“暗黑人工智能工具”有关。

研究发现,网络犯罪分子越来越多地传播和利用所谓的“暗黑人工智能工具”,包括越狱模型和WormGPT和FraudGPT等专门构建的恶意应用程序。这些工具旨在自动执行核心网络犯罪活动,例如网络钓鱼、恶意软件开发和金融欺诈。这些要么是公开可用的生成式人工智能(GenAI)工具的越狱版本,通常作为网络犯罪地下服务提供,要么是使用定制的开源大型语言模型(LLM)构建的。例如,WormGPT基于GPT-J LLM版本,专门针对商业电子邮件泄露(BEC)和网络钓鱼等恶意活动而定制。

报告指出:“这些暗黑人工智能工具已经演变成人工智能即服务(AIaaS),为网络犯罪分子提供自动化、基于订阅的人工智能工具,使他们能够生成任何恶意内容。”“这降低了进入门槛,使网络钓鱼、深度伪造和欺诈骗局等可扩展攻击成为可能。”

通过消除AI公司设置的安全防护限制并添加自定义功能,人工智能系统降低了技术水平较低的攻击者进行大规模复杂攻击的障碍。KELA补充道,此类工具已经变得如此普及,需求量如此之大,以至于一些威胁行为者开始使用假冒版本来欺骗同行。

该供应商指出,威胁行为者还使用基于LLM的GenAI工具来:

  • 自动化并增强网络钓鱼/社交工程的复杂性,包括通过深度伪造音频和视频
  • 自动扫描和分析漏洞(渗透测试),以加速攻击周期
  • 增强恶意软件和漏洞开发,包括信息窃取程序和勒索软件
  • 自动化和优化身份欺诈,包括使用深度伪造工具绕过验证检查
  • 自动执行其他网络攻击,如密码破解、凭证填充和DDoS

在网络钓鱼方面,KELA发现网络钓鱼活动变得越来越复杂,威胁行为者利用生成式人工智能来制作令人信服的社会工程内容,有时还会使用深度伪造的音频和视频来冒充高管并欺骗员工授权欺诈交易。

研究还发现,人工智能正在加速恶意软件的发展,使得高度规避性的勒索软件和信息窃取程序得以快速创建,对传统的检测和响应方法构成了重大挑战。

KELA的AI产品和研究主管Yael Kishon表示:“我们正目睹网络威胁形势发生了巨大变化。网络犯罪分子不仅在使用人工智能,他们还在暗网地下生态系统中建立专门用于人工智能网络犯罪的整个部分。企业必须采用人工智能驱动的防御措施来对抗这种日益增长的威胁。”

为了应对日益严重的人工智能网络威胁,KELA建议各企业投资于员工培训,监控不断发展的人工智能威胁和策略,并实施人工智能驱动的安全措施,例如基于自动情报的红队和生成人工智能模型的对手模拟。

Anwangxia.com原创文章,作者:anwangxia,如若转载,请注明出处:https://www.anwangxia.com/4023.html

Leave a Reply

Your email address will not be published. Required fields are marked *