Linux内核中KRETPROBES与OPTIMIZER故障的简明解析

在LKRG开发过程中发现：

• 自内核5.8起KRETPROBES失效（已在后续内核修复）
• 自内核5.5起OPTIMIZER未充分执行优化任务

KPROBES与FTRACE基础

Linux内核提供两大钩子框架：KPROBES（2004年引入）和FTRACE（2008年引入）。KPROBES包含：

• KPROBES：可在任意内核指令处插入断点
• JPROBES（已弃用）：通过镜像原理访问被钩函数参数
• KRETPROBES：在函数入口和返回路径执行自定义例程

FTRACE通过编译时注入"长NOP"指令，注册钩子时替换为跳转指令，性能开销更小。

LKRG与钩子机制

Linux内核运行时守卫（LKRG）通过KRETPROBES实现内核完整性检查。当函数同时被FTRACE插桩时，内核会启用"基于FTRACE的KPROBES"这种混合模式。

OPTIMIZER机制

内核会主动将K*PROBES优化为FTRACE以提升性能。若优化失败则回退到传统KPROBES。

问题一：KRETPROBES失效

自内核5.8起，exc_int3()函数调用nmi_enter()后，pre_handler_kretprobe()中的in_nmi()检查会误判当前处于NMI上下文，导致钩子被跳过。问题根源在于中断处理逻辑的重构（提交0d00449c和8edd7e37）。

修复进展：已提交补丁并计划回溯到稳定版内核。

问题二：OPTIMIZER优化不足

内核5.9中，GCC在函数末尾生成INT3填充指令（由链接器脚本变更导致），触发OPTIMIZER的防冲突检查：

1
2

if (insn.opcode.bytes[0] == INT3_INSN_OPCODE)
    return 0;

致使优化失败，回退到已损坏的非优化KRETPROBES。

修复方案：Masami Hiramatsu提交的补丁改进了INT3指令的识别逻辑。

总结

通过LKRG的实践发现并协助修复了Linux内核的两个深层问题，体现了运行时安全工具对内核质量保障的价值。

本文涉及的技术细节已通过官方补丁验证，适用于内核开发及安全研究人员参考。