如何向组织引入Semgrep - Trail of Bits博客

Semgrep是一款静态分析工具，支持30多种语言的bug检测和特定代码模式识别，以其易用性、丰富的内置规则和便捷的自定义规则功能脱颖而出。我们将其视为发现代码库安全问题的必备自动化工具。既然Semgrep能直接提升代码安全性，简单地说"就用它吧！“但具体该如何操作？

Semgrep设计灵活，可满足组织的特定需求。为获得最佳效果，需要了解如何运行Semgrep、使用哪些规则以及如何将其集成到CI/CD流水线中。如果您不确定如何开始，以下是我们基于多年经验总结的七步计划，帮助您确定如何将Semgrep最佳集成到SDLC中。

7步Semgrep计划

1. 语言支持审查

查看支持的语言列表，确认Semgrep是否能满足需求。

2. 探索试用

在小项目上试用Semgrep评估效果。例如进入项目根目录运行：

1

$ semgrep --config auto

运行此命令时需注意：

• --config auto选项会向Semgrep提交指标数据，可能不符合需求
• 这种方式会展示发现问题的概览，包括数量和严重性
• 通常可使用此CLI标志了解Semgrep覆盖的技术范围
• Semgrep通过文件扩展名识别编程语言，而非分析内容
• 默认使用.semgrepignore文件排除某些路径
• Semgrep还会排除.gitignore中列出的未跟踪文件

3. 深度探索

不使用auto选项，而是根据关键安全模式、技术栈和需求从Semgrep注册表选择规则集。

尝试：

1
2
3

$ semgrep --config p/default
$ semgrep --config p/owasp-top-ten
$ semgrep --config p/cwe-top-25

或基于技术选择规则集：

1

$ semgrep --config p/javascript

首先关注高置信度和中高影响元数据的规则。如果结果过多，使用--severity ERROR标志限制为错误严重性。

解决发现的问题并在bug报告中包含复现说明。

4. 精细调优

通过评估当前使用的规则集效果，获得理想的规则集链。

同时查看非安全规则集，如最佳实践规则。这将增强代码可读性并可能预防未来漏洞引入。还需考虑覆盖项目的其他方面：

• Shell脚本、配置文件、通用文件、Dockerfiles
• 第三方依赖（付费功能Semgrep供应链可检测是否以可利用方式使用易受攻击包）

要忽略Semgrep的错误代码模式，在模式匹配前一行使用代码注释，如// nosemgrep: go.lang.security.audit.xss。同时解释为何禁用规则或提供风险接受理由。

创建自定义.semgrepignore文件，通过排除特定文件或文件夹减少噪音。Semgrep默认忽略.gitignore中列出的文件。为保持此行为，创建.semgrepignore后添加:include .gitignore模式。

5. 创建内部仓库

6. 推广培训

培训开发人员和其他相关团队有效使用Semgrep。

展示试点测试结果和改进组织代码质量和安全的建议。展示Semgrep的潜在限制（仅单文件分析）。

包含官方Learn Semgrep资源并展示带有"简单模式"的Semgrep Playground以便轻松创建规则。

提供编写自定义规则的概述，强调编写自定义Semgrep规则很简单。提及自定义规则可使用fix:键扩展自动修复功能。鼓励在自定义规则中使用元数据（如CWE、置信度、可能性、影响）以支持漏洞管理流程。

为帮助开发人员回答"我是否应为这个问题创建Semgrep规则？“可使用以下后续问题：

• 能否检测特定安全漏洞？
• 能否强制执行最佳实践/约定或保持代码一致性？
• 能否通过检测影响性能的代码模式来优化代码？
• 能否验证特定业务需求或约束？
• 能否识别已弃用/未使用的代码？
• 能否发现配置文件中的任何错误配置？
• 在代码审查时这是否是重复出现的问题？
• 代码文档如何处理，文档要求是什么？

为团队创建讨论Semgrep、编写自定义规则、故障排除（如Slack频道）和记录Semgrep规则想法（如Trello看板）的场所。同时考虑为组织安全审计/漏洞赏金计划期间发现的bug编写自定义规则。汇总快速笔记帮助团队使用Semgrep是个好主意（参见下文附录）。

关注Semgrep Community Slack，Semgrep社区在此帮助解决问题或编写自定义规则。

鼓励团队通过填写GitHub问题向Semgrep团队报告使用Semgrep时的现有限制/bug（参见Trail of Bits提交的示例问题）。

7. CI/CD流水线集成

通过熟悉与CI供应商相关的Semgrep文档，在CI/CD流水线中实施Semgrep。为避免用过多结果压垮开发人员，逐步集成Semgrep很重要。因此，先在仓库上进行试点测试。然后在CI/CD流水线中按计划在主分支上实施完整的Semgrep扫描。最后，在事件触发时（如拉取/合并请求）包含差异感知扫描方法。差异感知方法仅在触发时扫描文件中的更改，保持效率。此方法应检查提供高置信度和真阳性结果的精细调整规则集。Semgrep实施成熟后，在CI/CD流水线中配置Semgrep以阻止具有未解决Semgrep发现的PR流水线。

下一步？最大化Semgrep在组织中的价值

向组织引入Semgrep时，请记住它会频繁更新。为充分利用其优势，指定组织中的一人负责分析新功能（如Semgrep Pro，它通过文件间编码范式扩展代码库扫描，而非Semgrep的单文件方法）、向团队通报Semgrep规则的外部仓库以及确定付费订阅的价值（如访问高级规则）。

此外，使用Trail of Bits测试手册，这是帮助开发人员和安全专业人员最大化静态和动态分析工具潜力的简明指南。该手册的第一章专门关注Semgrep。查看以了解更多！

附录：我希望在使用前知道的事情

使用Semgrep

• 在Visual Studio Code中使用--sarif输出标志和Sarif Viewer扩展高效导航识别的代码
• --config auto选项可能遗漏某些漏洞。手动语言选择（--lang）和规则集可能更有效
• 可使用别名：alias semgrep="semgrep --metrics=off"或SEMGREP_SEND_METRICS环境变量记住禁用指标
• 使用临时规则，如semgrep -e 'exec(...)' —lang=py ./，以grep工具的风格快速使用Semgrep
• 可使用自动完成功能使用TAB键更快地使用命令行
• 可同时运行多个预定义配置：semgrep --config p/cwe-top-25 --config p/jwt
• Semgrep Pro Engine功能消除了Semgrep仅分析单文件的限制
• Semgrep注册表中的规则可在playground中测试（参见Trail of Bits匿名竞争条件规则）
• 元变量分析支持两个分析器：redos和熵
• 可使用metavariable-pattern在单个文件内跨不同语言匹配模式（如HTML中嵌入的JavaScript）
• focus-metavariable可减少污染模式中的误报

编写规则

• 元变量必须大写：$A，而不是$a
• 使用pattern-regex: (?s)\A.*\Z模式识别不包含特定字符串的文件（参见示例）
• 在多行编写正则表达式时，使用>-字符，而不是|。|字符写入换行符（\n）并可能导致正则表达式失败（参见示例）
• 可使用类型化元变量，如$X == (String $Y)
• Semgrep以下列方式支持变量赋值语句：
• 可使用方法链：
• 深度表达式运算符使用语法<... pattern ...>匹配复杂嵌套表达式
• 可使用paths关键字将特定规则应用于特定路径（参见avoid-apt-get-upgrade规则，仅适用于Dockerfiles）：

  1 2 3 4

  paths: include: - "*dockerfile*" - "*Dockerfile*"

最后，Trail of Bits有一个公共Semgrep规则仓库！在此查看并立即使用semgrep --config p/trailofbits命令。

有用链接

有关创建自定义规则的更多信息，请阅读我们关于机器学习库和发现goroutine泄漏的博客。

我们编制了额外资源列表以进一步协助您的Semgrep采用过程。这些链接提供了关于该工具、其应用和支持社区的各种观点和详细信息：

• Semgrep支持的语言和技术
• Semgrep隐私政策
• p/default、p/owasp-top-ten、p/cwe-top-25规则集
• 在Semgrep中忽略文件、文件夹或代码
• 实验功能：通用模式匹配
• 编写修复程序的技巧
• 在持续集成中开始使用Semgrep
• Semgrep Community Slack