DrP: Meta的大规模根因分析平台

在现代数字化环境中，事件调查可能是一项艰巨的任务，因为大规模系统由众多相互关联的组件和依赖项组成。 DrP是一个根因分析平台，由Meta设计，旨在通过程序化方式自动化调查过程，显著减少事件的平均解决时间，并减轻待命人员的负担。如今，DrP已被Meta超过300个团队使用，每天运行50，000次分析，并已成功将MTTR降低了20-80%。通过了解DrP及其能力，我们可以为高效的事件解决和提升系统可靠性开辟新的可能性。

它是什么

DrP是一个端到端的平台，旨在自动化大规模系统的调查过程。它解决了手动调查的低效问题，后者通常依赖过时的操作手册和临时脚本。这些传统方法可能导致更长的停机时间和增加的待命负担，因为工程师需要花费无数小时进行事件分类和调试。

DrP通过提供一个富有表现力和灵活性的SDK来编写调查操作手册（称为分析器），从而提供了一个全面的解决方案。这些分析器由一个可扩展的后端系统执行，该系统与主流工作流（如告警和事件管理工具）无缝集成。此外，DrP还包括一个后处理系统，用于根据调查结果（如缓解步骤）自动化执行操作。

DrP的关键组件包括：

富有表现力的SDK：DrP SDK允许工程师将调查工作流编写为分析器。它提供了丰富的辅助库和机器学习算法，用于数据访问和问题隔离分析，例如异常检测、事件隔离、时间序列关联和维度分析。
可扩展的后端：后端系统执行分析器，提供多租户和隔离的执行环境。它确保分析器能够大规模运行，每天处理成千上万的自动化分析。
与工作流集成：DrP与告警和事件管理工具集成，允许在事件发生时自动触发分析器。这种集成确保待命工程师能够立即获得调查结果。
后处理系统：调查结束后，后处理系统可以根据分析结果采取自动化操作。例如，它可以创建任务或拉取请求来缓解调查中发现的问题。

工作原理

编写工作流

创建自动化操作手册（分析器）的过程始于DrP SDK。工程师列举调查步骤，列出输入和隔离问题区域的潜在路径。SDK提供了API和库来将这些工作流程序化，允许工程师以类型安全的方式捕获所有必需的输入参数和上下文。

列举调查步骤：工程师首先列出调查事件所需的步骤，包括输入和隔离问题的潜在路径。
引导代码：DrP SDK提供引导代码，用于创建带有预填充样板代码的模板分析器。工程师扩展此代码以捕获所有必要的输入参数和上下文。
数据访问和分析：SDK包含用于数据访问和分析的库，例如维度分析和时间序列关联。工程师使用这些库将主要的调查决策树编码到分析器中。
分析器链式调用：对于依赖服务分析，SDK的API允许无缝地链式调用分析器，传递上下文并获取输出。
输出和后处理：输出方法捕获分析结果，使用特殊的数据结构同时支持文本和机器可读格式。后处理方法基于分析器发现自动化执行操作。

创建完成后，分析器会经过测试并发送进行代码审查。DrP提供了集成到代码审查工具中的自动化回溯测试，确保在部署前分析器具有高质量。

消费工作流

在生产环境中，分析器与UI、CLI、告警和事件管理系统等工具集成。分析器可以在告警激活时自动触发，为待命工程师提供即时结果并改善响应时间。DrP后端管理系统管理一个用于请求的队列和一个用于安全执行的工作池，结果以异步方式返回。

与告警集成：DrP与告警系统集成，允许分析器在告警激活时自动触发。这为待命工程师提供了即时分析结果。
执行与监控：后端系统管理分析器请求队列和执行工作池。它监控执行情况，确保分析器安全高效地运行。
后处理与洞察：一个独立的后处理系统处理分析结果，用发现注解告警。DrP Insights系统定期分析输出，以识别和排序首要告警原因，帮助团队优先考虑可靠性改进工作。

为何重要

降低MTTR

DrP在降低MTTR方面展示了显著的改进，覆盖了不同的团队和用例。通过自动化手动调查，DrP能够更快地对事件进行分类和缓解，从而加速系统恢复并提升可用性。

效率：自动化调查减少了工程师花在手动分类上的时间，使他们能够专注于更复杂的任务。这种效率转化为更快的事件解决和减少的停机时间。
一致性：通过将调查工作流编写为分析器，DrP确保了一致且可重复的调查。这种一致性减少了错误的可能性，并提高了事件解决的可靠性。
可扩展性：DrP每天可以处理成千上万的自动化分析，使其适用于具有复杂依赖关系的大规模系统。其可扩展性确保能够支持不断发展的组织的需求。

提升待命工作效率

DrP提供的自动化减少了调查期间的待命工作量，节省了工程时间并减轻了待命疲劳。通过自动化重复且耗时的步骤，DrP使工程师能够专注于更复杂的任务，从而提高了整体工作效率。

可扩展性与采用

DrP已在Meta成功大规模部署，覆盖超过300个团队和2000个分析器，每天执行50，000次自动化分析。它融入主流工作流（如告警系统）促进了广泛采用，并在实际场景中证明了其价值。

广泛采用：DrP已被跨多个领域的数百个团队采用，展示了其在应对多样化调查需求方面的多功能性和有效性。
已验证的影响力：DrP已在生产环境中运行超过五年，在降低MTTR和提高待命工作效率方面取得了经过验证的成果。其影响力体现在用户收到的积极反馈以及事件解决时间的显著改善上。
持续改进：DrP在不断演进，其ML算法、SDK、后端系统和集成正在进行持续增强。这种对持续改进的承诺确保DrP始终保持为事件调查的尖端解决方案，同时其跨团队的日益普及使得现有工作流和分析器能够被他人重用，从而积累共享知识库，使其在整个组织中变得越来越有价值。

未来发展

展望未来，DrP旨在演变为一个AI原生平台，在推进Meta更广泛的AI4Ops愿景中发挥核心作用，实现更强大和自动化的调查。这种转型将通过简化的ML算法、SDK、UI和集成，促进分析器的轻松编写和执行，从而提供更准确、更具洞察力的分析结果，同时简化用户体验。