1. 常用工具总览与定位场景
1.1 perf：性能采样与热点分析
在 Linux 内核调试与性能诊断中，perf 是最常用的工具之一，能够以低开销的方式对 CPU、缓存、分支预测等进行全方位采样，快速定位性能瓶颈与热点代码路径。通过采样信息，可以快速锁定是 CPU 计算密集型、缓存命中率低，还是 I/O 队列造成的等待。热点定位和事件覆盖是其核心能力，方便在生产环境下进行快速初步分析。
常见工作流包括：先用 perf top 看实时热点，再用 perf record 记录详细的调用关系，最后用 perf report 生成调用图和热点分布，帮助工程师确定进一步的排错方向。
# 实时查看热点
perf top -n 20# 记录系统全局调用关系，持续2秒
perf record -a -g -- sleep 2# 生成调用图
perf report
1.2 ftrace与tracefs：内核追踪的第一步
ftrace 是内核自带的追踪框架，提供 tracepoints、function、irq 等追踪能力。通过 tracefs 文件系统，可以对追踪器、事件和输出格式进行灵活配置，达到对内核行为的可观测和可重现的分析能力。tracefs 的存在使得调试者能够在无需修改内核源码的情况下，快速搭建自定义追踪场景。
典型做法包括启用函数追踪、记录指定事件、并将追踪输出整理成可分析的文本或二进制格式。以下示例展示了如何开启函数追踪并查看追踪结果。
# 设置追踪器为 function（函数级别追踪）
echo function > /sys/kernel/debug/tracing/current_tracer# 关注指定函数的调用路径
echo do_sys_open > /sys/kernel/debug/tracing/trace# 查看跟踪输出
cat /sys/kernel/debug/tracing/trace
2. 动态追踪与探针技术
2.1 kprobes与uprobes：在任意地址插入探针
动态追踪的核心在于不需要重新编译内核即可在指定地点插入探针，kprobes（内核探针）与 uprobes（用户态探针）就是这样的工具。通过 kprobe_events 等接口，可以在函数入口/出口、系统调用、中断处理等关键路径上捕获上下文信息，实时采集参数、返回值和时间信息。
使用时可以先注册探针，然后挂载输出到 trace 或其他日志系统，形成可重复的排错流程。下面的示例展示了如何通过 kprobes 注册一个简单的入口探针，并查看已注册的探针信息。
# 添加一个内核探针，指向 do_fork
echo 'p:kprobe_do_fork do_fork' >> /sys/kernel/debug/tracing/kprobe_events# 查看已注册的探针事件
cat /sys/kernel/debug/tracing/kprobe_events
2.2 eBPF与BPF工具链：可扩展、可观测、内核安全的追踪
eBPF 是现代 Linux 内核观测的重要支柱，结合 BCC、bpftrace 等工具，可以编写更高层次的追踪程序，最小化对内核运行时的影响，同时提供丰富的数据聚合、过滤和可视化能力。可扩展性、安全沙箱、以及对多种资源的观测能力使其成为复杂场景下的首选方案。
常见用法包括对系统调用、内核函数、网络栈事件等进行实时追踪、统计与诊断。下面给出一个简单的 bpftrace 一行脚本，追踪 sys_enter_read 的调用并输出 pid 信息。
# 简单的系统调用进入追踪
bpftrace -e 'tracepoint:syscalls:sys_enter_read { printf("read(%d)\\n", pid); }'
此外，BPF/C 语言编写的程序也可编译成内核态的 BPF 程序，嵌入内核进行高性能数据采集与清洗，并通过地图( maps )与用户态进行高效通信。下面给出一个简化的 BPF 程序骨架示例：
#include
#include SEC("tracepoint/syscalls:sys_enter_read")
int on_enter_read(struct trace_event_raw_sys_enter *ctx) {// 在这里实现数据收集与聚合return 0;
}
3. 高级调试与诊断框架
3.1 GDB/KGDB：内核样例调试
对内核进行逐步调试时，KGDB 提供了远程调试能力，通常通过串口或网络实现与宿主机的连接。在调试会话中，能够单步执行、查看寄存器、检查内存、设置断点以及在崩溃点进行诊断。远程调试和内核符号对齐是确保调试有效性的关键要素。
常见流程包括：在内核编译时开启 KGDB 支持、设置 kgdbwait、在调试主机使用 GDB 连接目标设备，并在需要时使用 gdb 的断点、继续运行、查看栈帧等命令。
# 远程调试的典型思路
# 需要在内核启动时加入 kgdbwait
# 在另一端通过 GDB 连接目标
(gdb) target remote /dev/ttyS0
(gdb) continue
3.2 crash/kdump：离线内存转储与崩溃分析
当系统发生崩溃或内核失效时，crash、kdump 等工具可以将崩溃现场转储到磁盘，结合 vmlinux、System.map 等符号信息进行离线分析。这种方式有助于复现崩溃原因、解析内核栈、查看崩溃现场变量，并还原调用关系。
分析流程通常包括收集 vmcore、准备可用的 vmlinux、使用 crash 工具进行符号化解析，以及通过 tracers 还原崩溃上下文。
crash /var/crash/vmcore /path/to/vmlinux
crash> symbol_list
crash> bt
4. 内存与对象诊断工具
4.1 kmemleak、slabinfo、slabtop
内存泄漏与对象分配分析在内核调试中非常重要。kmemleak 提供了内存泄漏的静态扫描能力，slabinfo 与 slabtop 则用于查看内核对象缓存（slab）的分配、使用与碎片情况。通过这些工具，可以迅速发现分配不匹配、引用计数异常以及缓存相关的性能瓶颈。
为获得持续的可观测性，可以结合 trace 事件与 slab 统计信息实现长期监控，定位时间序列上的异常波动。
# 查看 slab 缓存的顶部对象
slabtop# 启用 kmemleak 的扫描与显示结果（取决于内核配置）
echo scan > /sys/kernel/debug/kmemleak/scan
cat /proc/kmemleak
4.2 实战：内存分配错误的排错流程
当遇到内存分配失败、缺页中断过高、或对象生命周期异常时，通常的排错路线是：复现并稳定化问题、核对内存分配路径、结合 slab、kmemleak 与 trace 事件定位问题区域、验证引用计数和释放时序。内存分配路径、引用计数安全性、以及 内核对象生命周期 是排错的重点。
在排错中，结合前述工具的结果，可以逐步缩小到具体的内核函数、具体的调用栈或具体的对象缓存，从而为后续的代码修复提供证据。
# 示例：查看 kmemleak 报告并定位问题对象
grep -i leak /proc/kmemleak
5. 实战排错要点与工作流程
5.1 确定问题域：CPU、内存、IO、网络
在面对复杂的内核问题时，首先需要将问题域进行横向拆分：CPU 计算路径、内存与缓存行为、IO/设备驱动、以及 网络栈与传输路径。通过对症下药的工具组合，可以快速聚焦到可控的子系统。
不同域的工具侧重点不同，例如 CPU/缓存侧重 perf、eBPF 及 ftrace 的组合，内存侧重 kmemleak、slabinfo，IO/网络侧重 tracepoint 与网络专用追踪。
# 使用 perf 针对网络接收路径进行热点分析
perf top -e rcv_packets -p # 使用 ftrace 跟踪网络栈传输时间
echo function > /sys/kernel/debug/tracing/current_tracer
echo netif_receive_skb > /sys/kernel/debug/tracing/trace
cat /sys/kernel/debug/tracing/trace
5.2 实战案例：遇到性能抖动的排错流程
一个典型场景是系统在高并发时出现短时的性能抖动。排错点通常包括：是否存在热路径上的锁竞争、是否有大页面或缓存缺失导致的内存层级延迟、以及是否有中断风暴影响调度器。利用 perf 的实时统计、ftrace/tracefs 的时间线以及 eBPF 的事件筛选，可以把问题切分为“定位、验证、收敛”三个阶段。
在定位阶段，可以先用 perf top 观察热点函数，然后用 ftrace 跟踪调用花费，最后用 eBPF 统计特定事件的发生频次与分布。验证阶段通过重复实验、对比不同版本内核、以及对比有无特定补丁时的差异，来确认原因。收敛阶段将关注点落在最关键的路径，并综合改动的影响进行验证。
# 抑制性地对比两种版本内核的 perf 统计
perf stat -e cycles -p -t 2
perf stat -e cache-misses -p -t 2# 使用 bpftrace 收集具体事件分布
bpftrace -e 'tracepoint:irq:irq_handler_entry { @count[pid] = count(0); }'
