AI对网络威胁的近期影响

NCSC评估

在2023年11月的布莱切利AI安全峰会期间，国际领导人齐聚一堂，讨论了AI模型在促进经济增长、推动科学进步和提供广泛公共利益方面的巨大潜力。他们还强调了AI技术不负责任的开发和使用可能带来的安全风险。英国政府正在评估和解决与AI相关的潜在威胁和风险。

虽然关注AI带来的风险至关重要，但我们也必须抓住它为网络防御者提供的重大机遇。例如，AI可以改进网络攻击的检测和分类，并识别恶意电子邮件和钓鱼活动，最终使它们更容易被反击。

峰会宣言强调了以确保AI的设计、开发、部署和使用方式安全、以人为本、可信赖和负责任的重要性，以造福所有人。NCSC继续与国际合作伙伴和行业合作，提供关于AI安全开发和使用的指导，以便我们能够实现AI为社会带来的好处，于2023年11月发布了《安全AI系统开发指南》。

关键判断

人工智能（AI）几乎肯定会在未来两年内增加网络攻击的数量并提高其影响。然而，对网络威胁的影响将是不均衡的（见表1）。

到2025年的威胁来自现有战术、技术和程序（TTP）的演变和增强。

所有类型的网络威胁行为体——国家和非国家、技能高低不等——已经在不同程度地使用AI。

AI在侦察和社会工程方面提供了能力提升，几乎肯定使两者更有效、更高效且更难以检测。

网络操作中更复杂的AI使用很可能仅限于那些能够获得高质量训练数据、具有重要专业知识（在AI和网络领域）和资源的威胁行为体。更高级的使用在2025年之前不太可能实现。

AI几乎肯定会使针对英国的网络攻击更具影响力，因为威胁行为体将能够更快、更有效地分析外泄数据，并利用它来训练AI模型。

AI降低了新手网络犯罪分子、雇佣黑客和黑客活动分子进行有效访问和信息收集操作的门槛。这种增强的访问可能会在未来两年内加剧全球勒索软件威胁。

朝着2025年及以后发展，AI驱动能力在犯罪和商业市场中的商品化几乎肯定会使网络犯罪和国家行为体获得改进的能力。

评估

AI对网络威胁的影响是不均衡的；无论是在网络威胁行为体的使用方面，还是在能力提升方面。

表1：未来两年AI导致的能力提升程度

AI主要将为威胁行为体在社会工程方面提供能力提升。生成式AI（GenAI）已经可以用于与受害者进行令人信服的互动，包括创建诱饵文档，而没有通常揭示钓鱼的翻译、拼写和语法错误。随着模型的演变和采用的增加，这在未来两年内很可能会增加。

AI快速总结数据的能力也很可能使威胁行为体能够识别高价值资产进行检查和外泄，增强未来两年网络攻击的价值和影响。

包括勒索软件行为体在内的威胁行为体已经在使用AI来提高网络操作某些方面的效率和有效性，例如侦察、钓鱼和编码。这一趋势几乎肯定会持续到2025年及以后。钓鱼通常旨在传递恶意软件或窃取密码信息，在提供网络犯罪分子进行勒索软件攻击或其他网络犯罪所需的初始网络访问方面发挥着重要作用。因此，网络犯罪分子使用可用的AI模型来改进访问可能会在短期内加剧全球勒索软件威胁。

AI可能通过使现有技术更高效来协助恶意软件和漏洞开发、漏洞研究和横向移动。然而，在短期内，这些领域将继续依赖人类专业知识，这意味着任何有限的提升很可能仅限于现有的有能力威胁行为体。AI有潜力生成可以逃避当前安全过滤器检测的恶意软件，但前提是它接受了高质量的漏洞利用数据训练。高度能力国家拥有足够大的恶意软件库来有效训练AI模型用于此目的是一个现实的可能性。

随着技术的发展，网络弹性挑战将变得更加严峻。到2025年，GenAI和大型语言模型（LLMs）将使每个人，无论其网络安全理解水平如何，都难以评估电子邮件或密码重置请求是否真实，或识别钓鱼、欺骗或社会工程尝试。修复新识别漏洞的安全更新发布与威胁行为体利用未修补软件之间的时间已经在减少。这加剧了网络管理员在漏洞被利用之前修补已知漏洞的挑战。随着识别易受攻击设备的侦察变得更快、更精确，AI很可能会加速这一挑战。

专业知识、设备、时间和财务资源目前对于在网络操作中利用更高级的AI使用至关重要。只有那些投资于AI、拥有资源和专业知识并能获得高质量数据的人才能在2025年之前从其在复杂网络攻击中的使用中受益。高能力国家行为体几乎肯定是网络威胁行为体中最能利用AI在高级网络操作中潜力的。其他国家行为体和大多数向全球各国提供能力的商业公司将在未来18个月内在社会工程、侦察和数据外泄方面获得中等能力提升。有能力和成熟的犯罪集团也可能拥有足够的训练数据和资源来获得一些提升。

然而，随着时间的推移，随着更复杂的AI模型普及和采用增加，这些因素的重要性可能会降低，这是一个现实的可能性。公开可用的AI模型已经在很大程度上消除了行为体创建自己的复制技术的需要，特别是在低复杂度的操作中，如鱼叉式钓鱼。技能较低的网络行为体几乎肯定会在2025年之前在这种类型的操作中获得显著的能力提升。网络犯罪能力的商品化，例如“即服务”商业模式，几乎可以肯定有能力的集团将货币化AI驱动的网络工具，使改进的能力可供任何愿意支付的人使用。

到2025年，在高质量数据上训练AI对于其在网络操作中的有效使用仍然至关重要。目标自动侦察、社会工程和恶意软件的扩展障碍主要与数据相关。但到2025年及以后，随着成功的外泄发生，喂养AI的数据几乎肯定会改善，实现更快、更精确的网络操作。

网络操作数量和复杂性及影响的增加将表明威胁行为体能够有效利用AI。这很可能会在短期内加剧英国政府和私营部门的网络弹性挑战。

术语表

人工智能：能够执行通常需要人类智能的任务的计算机系统。这可能包括视觉感知、语音识别或语言之间的翻译。现代AI通常使用机器学习算法构建。算法在数据中找到复杂的模式，可用于形成规则。

生成式AI（GenAI）：能够生成新内容的AI，例如文本、图像或视频。大型语言模型（LLMs）是生成式AI的一个例子。

变革性AI：具有对社会变革性影响的先进AI系统。一个例子是人工通用智能，即自主系统学习在大多数智力任务中超越人类能力的假设概念。

侦察：网络攻击链的第一阶段，涉及研究目标以识别未来攻击的潜在访问向量。

鱼叉式钓鱼：向个人发送有针对性的电子邮件、短信、社交媒体、呼叫或其他消息的做法，以诱使他们进行互动，例如点击链接，以获取对其系统、设备或账户或个人信息的访问。

社会工程：操纵人们执行特定行动或泄露对攻击者有用的信息的做法。