DBIR的漏洞利用签名“森林”——Trail of Bits博客

Dan Guido
2016年5月5日
攻击, 漏洞利用, 论文评审

如果您遵循2016年Verizon数据泄露调查报告(DBIR)中的建议，您的组织将面临更多风险而非减少。该报告最明显的缺陷是声称TLS FREAK漏洞是互联网上“十大”最常被利用的漏洞之一。没有经验丰富的安全从业者认为FREAK被广泛利用。Verizon还在哪些地方出错了？

这个问题动摇了报告的其余部分。DBIR是一项协作努力，涉及60多个组织的专有数据。它是企业防御者的最佳信息来源，这就是为什么其关于数据泄露中使用的漏洞部分包含误导性数据、分析和建议是一种悲剧。

Verizon必须“做得更好”。他们必须为从合作者那里接受的数据设定更高的标准。我建议他们基于有记录的数据泄露进行分析，与基于代理的安全供应商合作，并在审查过程中包括红队。我将在后面详细阐述这些观点。

深入漏洞数据

在本文的其余部分，我将重点关注DBIR的漏洞部分（第13-16页）。在那里，Verizon使用不良数据讨论了数据泄露中使用的软件漏洞利用趋势。该部分由Kenna Security（前身为Risk I/O）贡献，这是一家拥有1000万美元风险投资的漏洞管理初创公司。与报告的其他部分不同，此部分没有任何内容基于数据泄露。

Kenna Security网站声称他们撰写了2016年DBIR中的漏洞部分

很容易批评漏洞部分的分析。它重复了安全社区长期攻击的常见套路，比如简单计算已知漏洞（图11、12和13）。计算漏洞未能考虑资产数量、它们对业务的重要性或它们的影响。底层数据也有问题。

Verizon在该部分的标题中指出，部分数据来自漏洞扫描器。在脚注8中，他们分享了一些底层数据，即Kenna检测到的十大被利用漏洞列表。根据报告，这些漏洞占互联网上成功利用流量的85%。

脚注8列出了数据泄露中最常用的漏洞

OSVDB的Jericho是第一个剖析此CVE列表的人。他指出，DBIR从未解释如何检测成功利用（他们随后的澄清站不住脚），也未说明在漏洞扫描器上下文中成功利用的含义。更糟糕的是，他指出“前十名”中包括晦涩的本地权限提升、Windows 95的拒绝服务漏洞以及来自Oracle CPU的看似任意的CVE。

NCC的Rory McCune是第二个注意到前十名列表中差异的人。Rory重点关注了Kenna前十名中的一个事实是FREAK TLS漏洞，该漏洞需要网络中间人、易受攻击的服务器、易受攻击的客户端才能利用，并且需要大量的计算能力才能大规模实施。此外，成功利用不会产生易于识别的网络签名。面对所有这些反对FREAK广泛利用的证据，Kenna的非凡主张需要非凡的证据。

当被问及2015年DBIR中的类似错误时，Kenna的首席数据科学家Michael Roytman解释说，“数据集基于IDS利用签名与开放漏洞的相关性。”Roytman后来指出，关于数据的分歧可能源于对“成功利用”含义的不同意见。

这些陈述表明，漏洞数据与DBIR中使用的所有其他数据不同。这些“超级漏洞”的“成功利用流量”不是确认数据泄露的结果，而是通过将漏洞扫描器输出与入侵检测系统(IDS)警报相关联而合成的。这种关联的结果并未描述野外使用的真实漏洞利用的频率或策略。

用伪科学混淆视听

面对越来越多的批评，Verizon和Kenna发表了一篇博客文章，忽略了批评者，试图通过诉诸权威来混淆他们的分析，用行话代替反驳，并重申报告中危险的企业安全策略。

Kenna的博客文章以诉诸权威和对批评者的人身攻击开始

Kenna博客文章的前半部分移动了球门柱。他们提出了一个新的前十名列表，在许多方面，比原始列表更与数据泄露脱节。十个中的四个现在是拒绝服务(DoS)漏洞，不允许未经授权访问数据。另外两个是FREAK，如果成功利用，只允许访问HTTPS流量。三个是15年前的UPnP漏洞利用，只影响Windows XP SP0及更低版本。最后的漏洞利用是Heartbleed，尽管可能具有毁灭性影响，但自发现以来可以追溯到少数确认的数据泄露。

Kenna的帖子确实回答了批评者对定义“成功利用”方法的呼吁：一个“事件”，其中1)扫描器检测到开放漏洞，2) IDS触发该漏洞，以及3)触发一个或多个利用后妥协指标(IOCs)，大概都在同一主机上。这种方法未能考虑安全产品的最大挑战：误报。

Kenna使用基于IDS签名的成功利用合成基准

数据中的缺陷

如前所述，TLS FREAK漏洞是DBIR漏洞部分中最突出的错误。FREAK需要作为网络中间人(MITM)的特殊访问权限。成功利用只会降低TLS的保护。攻击者然后必须分解512位RSA模数来解密会话数据；在报告制作时，每次会话的攻击成本约为75美元。解密结果后，他们只会得到一个聊天记录；无法访问客户端或服务器设备。考虑到所有这些努力、低回报以及其他漏洞利用的相对容易和前景，TLS FREAK漏洞不可能成为2015年十大最常被利用的漏洞之一。

该部分其余数据基于入侵检测系统和漏洞扫描器之间的相关性。这种方法产生可疑的结果。

所有可用证据（威胁情报报告、Microsoft SIR等）显示，真实攻击发生在客户端：Office、PDF、Flash、浏览器等。这些在Microsoft数据和关于APT的DFIR报告中如此突出的漏洞并未出现在DBIR中。为什么漏洞利用工具包和APT使用Flash作为向量，而Kenna的前十名未能列出单个Flash漏洞？因为，总的来说，这类攻击对IDS和漏洞扫描器不可见。Kenna的数据来自无法看到实际攻击的来源。

入侵检测系统设计用于检查流量并将已知签名数据库应用于特定协议字段。如果出现匹配，大多数产品将发出警报并继续处理下一个数据包。这种“首次退出”模式有助于性能，但可能导致攻击遮蔽，其中第一个匹配流量的签名生成唯一警报。当第一个匹配的签名是误报时，这个问题会变得更糟。

Kenna报告的SNMP漏洞（CVE-2002-0012, CVE-2002-0013）突出了依赖IDS数据的问题。这些漏洞的IDS签名通常由良性安全扫描和网络发现工具触发。一个14年前的DoS攻击极不可能成为企业网络中最常被利用的漏洞之一。

漏洞扫描器以误报而闻名。这些产品通常依赖凭据来收集系统信息，但作为最后手段回退到不太可靠的测试方法。Kenna报告的UPnP问题（CVE-2001-0877, CVE-2001-0876）是漏洞扫描数据中的误报。与SNMP问题类似，这些漏洞通常在不是Windows 98、ME或XP的系统上被标记，并被熟悉漏洞扫描器输出的人视为线路噪声。

@mroytman @thegrugq 查看了博客中提到的漏洞，我的印象是这些来自nessus扫描的原始计数[1/2]
— 📟 Richard Westmoreland (@RSWestmoreland) 2016年5月2日

@mroytman @thegrugq 与未调整的面向公众的snort传感器的原始计数相关。噪声分析师必须学会过滤。[2/2]
— 📟 Richard Westmoreland (@RSWestmoreland) 2016年5月2日

不清楚Kenna三步算法的最后一步，即检测利用后IOCs，如何支持相关性。在重新发布的前十名列表中，四个漏洞是DoS漏洞，两个启用HTTPS降级。DoS的利用后IOC是什么？在所有列出的情况下，目标主机会崩溃，停止接收进一步流量，并可能重新启动。更准确地解释利用后IOCs意味着“触发了多个IDS签名”。

对Kenna结果的最简单解释？相关性方法中的严重错误。

方法论问题

Kenna声称其数据集中有2亿多个成功利用事件。在我们所知的几乎所有情况下，攻击者使用很少的漏洞利用。Duqu仅用两个漏洞利用欺骗了Kaspersky。Phineas Phisher仅用一个漏洞利用黑客攻击了Hacking Team。Stuxnet坚持使用四个漏洞利用。名单还在继续。一年内没有5000多万次泄露。这是数据质量差的标志。从前面描述的三步算法回溯，我得出结论，Kenna计算了触发的IDS签名，而不是成功利用事件。

依赖从扫描器和IDS收集的数据存在一些显著限制。在部署这些设备并与Kenna共享结果数据的数千家公司中，只有极少数努力正确配置其系统。没有这种配置，结果数据是无用的误报杂音。聚合数千个客户嘈杂的数据集无法调谐到有意义的信号。但这正是Kenna要求DBIR读者接受作为漏洞部分基础的内容。

让我们记住扫描互联网的数百家公司、公共倡议和机器人。以密歇根大学的Scans.io为例。他们每天扫描整个互联网数十次。许多这些扫描会触发Kenna的三部分测试来检测成功利用。按IDS事件触发次数加权结果会产生不成比例的事件数量。如果结果未针对另一个因素进行归一化，大数字将扭曲结果和见解。

Kenna按IDS事件数量加权了他们的结果

最后，还有企业运行蜜罐的问题。蜜罐对任何黑客攻击尝试做出积极回应。这也将与Kenna的三部分算法“相关”。没有迹象表明此类系统已从DBIR的数据集中删除。

在进行研究的过程中，科学家经常构建他们认为现实世界如何运作的模型，然后用经验数据回测它们。高质量的经验漏洞利用发生率数据可从US-CERT获得，该机构协调所有美国政府机构的安全事件，以及Microsoft，该公司拥有独特的数据源，如Windows Defender和来自数百万台PC的崩溃报告。从他们的报告中，只有Heartbleed漏洞出现在Kenna的列表中。US-CERT和Microsoft的其余数据和建议匹配。他们都不同意Kenna。

如果数据与经验证据不符并且明显错误，您需要查看数据质量。💩 pic.twitter.com/mkA9hkdaIx
— thaddeus e. grugq (@thegrugq) 2016年5月2日

忽略DBIR的漏洞建议

“当我们防御者共同对抗有感知的攻击者时，这绝对是必不可少的。” — Kenna Security

即使您表面接受DBIR的漏洞分析，也没有基础假设人类攻击者行为像机器人。扫描和IDS数据与真实攻击者的行为不相关。确定攻击者真正行为的唯一方法是研究真实攻击。

Kenna Security基于错误假设倡导危险的补丁策略

经验数据不同意这种方法。每当新的漏洞利用和漏洞出现时，攻击就会激增。这种误导性建议有可能造成真实、可预防的伤害。事实上，DBIR的漏洞部分既倡导这一立场，又仅在一页后反驳它。

DBIR在第13页呈现错误信息……
……然后仅一页后直接自相矛盾

该部分的建议成为纯漏洞计数许多相同批评的受害者：它们未能考虑资产数量、它们的关键性、漏洞的影响以及它们如何被真实攻击者使用。在不承认数据来源的情况下，Verizon和Kenna将读者引向危险的道路。

2017年DBIR的改进

“如果我们因为漏洞利用签名而迷失了森林，那将是一种耻辱。”
— Michael Roytman, 首席数据科学家, Kenna

Kenna反驳中的这句结束语概括了问题：漏洞利用签名被用来代替真实攻击的数据。他们在过去一年收集数据时跳过了重要步骤，基于扫描器和IDS设备跳转到假设，并似乎希望他们的结论与安全专业人员实地所见一致。最重要的是，这一事件证明了在没有从业者充分输入的情况下应用数据科学的愚蠢。由此产生的分析和建议不应被认真对待。

Kenna对2015年DBIR的贡献收到了类似批评，但他们2016年没有改变。相反，Verizon扩展了漏洞部分并将其用作建议的基础。令人震惊的是，Verizon和Kenna没有对自己的表现进行批判性思考。他们需要在收集和分析数据的方式上更加雄心勃勃。

以下是Verizon 2017年DBIR如何改进其漏洞报告：

从确认的数据泄露中收集漏洞利用数据。这是DBIR其余数据的基础。他们对漏洞利用的分析应该同样严格。与我在Twitter上被告知的相反，有足够的数据实现统计相关性。距离2017年报告还有一年时间，有足够时间纠正收集和分析漏洞利用数据的过程。关于漏洞扫描和IDS签名的信息既不服务于信息安全社区，也不服务于他们的客户。

也就是说，如果Verizon想花更多时间完善从合作伙伴那里接收的数据质量，为什么不在此期间与基于代理的安全供应商合作？基于主机的收集比网络数据更接近漏洞利用。CrowdStrike、FireEye、Bit9、Novetta、Symantec等都在主机上拥有代理，可以基于进程执行和内存检查检测成功利用；更可靠的因素。

最后，在未來报告的审查过程中包括红队。直到2014年DBIR，攻击者的模式才分为九类；从业者多年前 developed 的实践。如果DBIR背后的团队与了解如何破坏和防御系统的从业者交谈，该技术本应 readily available。在审查过程中涉及红队将加强报告的结论和建议。

做得更好

对于2016年DBIR，Verizon从供应商那里接受了大量低质量数据。他们逐字重印了分析。显然，没有理解漏洞的人参与审查过程。DBIR团队为 credibility 投入了一些数据科学词汇，和一些分散注意力的笑话，并要求读者的信任。

更糟糕的是，Verizon支持报告，而不是承认和纠正错误。

世界各地的专业人士和企业依赖此报告做出重要的安全决策。Verizon有责任保持我们行业的可靠来源。

我要感谢HD Moore、Thomas Ptacek、Grugq、Dan Rosenberg、Mike Russell、Rafael Turner、Trail of Bits的整个团队以及许多其他无法引用他们对这篇博客文章的贡献和评论的人。

更新1：
Rory McCune发布了一个后续，他指出Kenna观察到的FREAK利用的巨大峰值恰好与密歇根大学扫描整个互联网的时间相同。这支持了良性全网扫描进入Kenna数据集的理论，在那里它们按发生频率缩放。

Kenna的FREAK数据与密歇根大学的全网扫描完全重叠

此外，FREAK的一位作者公开否认了它被广泛利用的任何 notion。

更新2：
Rob Graham指出，典型的FREAK IDS签名不检测攻击，而只检测提供弱密码套件的TLS客户端。这支持了底层数据未被检查也未在DBIR中使用此数据之前咨询从业者的理论。

更新3：
Justin Kennedy分享了他对客户进行的五年渗透测试的漏洞利用数据，并指出FREAK和拒绝服务攻击从未一次协助 compromise 目标。这支持了DBIR中的漏洞利用数据扭曲实地 view 的理论。

更新4：
Threatbutt通过发布他们的 Danger Zone Incident Retort (DZIR) 使这一事件 immortalized。

更新5：
Kenna Security CEO Karim Toubba在他们的博客上发表了道歉。他指出，在将其交付给Verizon纳入DBIR之前，他们未用自己的产品确认任何分析。

Kenna对DBIR的贡献未由其自己的产品验证

此外，Karim指出，他们的平台将FREAK排名为“25 out of 100”，然而，即使这个排名基于可用证据也 orders of magnitude 太高。这引入了Kenna分析中暴露的问题是否延伸到他们的产品中的问题。

Kenna的产品将FREAK优先级 orders of magnitude 高于它可能应该的水平

最后，我认为这篇博客文章中的批评适用于他们对DBIR的整个贡献，而不仅仅是他们的“十大成功利用漏洞”列表。试图将这种批评 pigeonhole 到前十名忽略了报告的其他部分基于来自Kenna的相同或类似数据的事实。

更新6：
Verizon发表了自己的道歉。

更新7：
Verizon发布了2017年DBIR，不再有来自Kenna的章节。

如果您喜欢这篇文章，请分享：
Twitter
LinkedIn
GitHub
Mastodon
Hacker News

页面内容
深入漏洞数据
用伪科学混淆视听
数据中的缺陷
方法论问题
忽略DBIR的漏洞建议
2017年DBIR的改进
做得更好
最近帖子
非传统创新者奖学金
在您的PajaMAS中劫持多代理系统
我们构建了MCP一直需要的安全层
利用废弃硬件中的零日漏洞
Inside EthCC[8]：成为智能合约审计员
© 2025 Trail of Bits。
使用Hugo和Mainroad主题生成。