引言

在Linux系統(tǒng)中，不可中斷狀態(tài)（D狀態(tài)）的進(jìn)程通常意味著正在等待I/O操作或內(nèi)核鎖，這類問題往往難以診斷。本文將介紹如何結(jié)合eBPF和ftrace技術(shù)，構(gòu)建完整的D狀態(tài)進(jìn)程阻塞鏈分析方案，通過實(shí)際案例演示如何快速定位磁盤I/O延遲或內(nèi)核鎖競爭導(dǎo)致的系統(tǒng)掛起問題。

一、D狀態(tài)進(jìn)程基礎(chǔ)分析

1. 初步識別D狀態(tài)進(jìn)程

bash

# 方法1：ps命令查看進(jìn)程狀態(tài)

ps -eo pid,stat,cmd | grep '^ *[0-9]\+ D'

# 方法2：通過/proc文件系統(tǒng)

cat /proc/[pid]/status | grep -A5 "State"

2. 關(guān)鍵數(shù)據(jù)收集點(diǎn)

進(jìn)程上下文：/proc/[pid]/stack（當(dāng)前內(nèi)核棧）

I/O關(guān)聯(lián)：iostat -x 1（設(shè)備級延遲）

中斷分布：mpstat -P ALL 1（CPU中斷負(fù)載）

二、eBPF追蹤方案構(gòu)建

方案1：基于tracepoint的I/O延遲追蹤

c

// io_latency_tracker.bpf.c

#include <linux/ptrace.h>

#include <bpf/bpf_helpers.h>

#include <bpf/bpf_tracing.h>

struct {

   __uint(type, BPF_MAP_TYPE_HASH);

   __uint(max_entries, 1024);

   __type(key, u32);  // PID

   __type(value, u64); // 累計延遲(ns)

} io_delays SEC(".maps");

SEC("tracepoint/block/block_rq_issue")

int trace_rq_issue(struct trace_event_raw_block_rq_issue *ctx) {

   u32 pid = bpf_get_current_pid_tgid() >> 32;

   u64 *delay = bpf_map_lookup_elem(&io_delays, &pid);

   if (delay) {

       *delay = bpf_ktime_get_ns(); // 記錄請求發(fā)出時間

   }

   return 0;

}

SEC("tracepoint/block/block_rq_complete")

int trace_rq_complete(struct trace_event_raw_block_rq_complete *ctx) {

   u32 pid = bpf_get_current_pid_tgid() >> 32;

   u64 *start_time = bpf_map_lookup_elem(&io_delays, &pid);

   if (start_time) {

       u64 duration = bpf_ktime_get_ns() - *start_time;

       bpf_printk("PID %d I/O delay: %llu ns\n", pid, duration);

       bpf_map_delete_elem(&io_delays, &pid);

   }

   return 0;

}

char _license[] SEC("license") = "GPL";

編譯加載命令：

bash

clang -O2 -target bpf -c io_latency_tracker.bpf.c -o io_latency_tracker.bpf.o

bpftool prog load io_latency_tracker.bpf.o /sys/fs/bpf/io_latency_tracker

方案2：內(nèi)核鎖競爭分析（結(jié)合ftrace）

bash

# 1. 啟用鎖事件跟蹤

echo 1 > /sys/kernel/debug/tracing/events/lock/enable

# 2. 使用eBPF捕獲鎖等待事件

SEC("tracepoint/lock/lock_acquire")

int trace_lock_acquire(struct trace_event_raw_lock_acquire *ctx) {

   char comm[16];

   bpf_get_current_comm(&comm, sizeof(comm));

   bpf_printk("Lock %llx acquired by %s (PID:%d)\n",

              ctx->ret_ip, comm, bpf_get_current_pid_tgid() >> 32);

   return 0;

}

三、阻塞鏈深度分析實(shí)戰(zhàn)

案例：MySQL查詢掛起診斷

現(xiàn)象：

MySQL進(jìn)程進(jìn)入D狀態(tài)，strace顯示卡在read(fd)系統(tǒng)調(diào)用

分析步驟：

第一步：確認(rèn)I/O路徑

bash

# 查看進(jìn)程打開的文件描述符

ls -l /proc/$(pgrep mysqld)/fd | grep -E 'disk|block'

# 關(guān)聯(lián)到具體設(shè)備（如sda）

blktrace -d /dev/sda -o - | blkparse -i -

第二步：eBPF+ftrace聯(lián)合分析

bash

# 啟動ftrace記錄上下文切換

echo 1 > /sys/kernel/debug/tracing/events/sched/sched_switch/enable

echo 1 > /sys/kernel/debug/tracing/events/syscalls/sys_enter_read/enable

# 同時運(yùn)行eBPF程序追蹤I/O

bpftrace -e '

tracepoint:block:block_rq_issue { printf("%d issued %s\n", pid, args->dev); }

tracepoint:block:block_rq_complete { printf("%d completed\n", pid); }

'

第三步：構(gòu)建阻塞鏈圖

python

# 解析ftrace日志生成調(diào)用鏈

import re

from collections import defaultdict

chain = defaultdict(list)

with open('/sys/kernel/debug/tracing/trace') as f:

   for line in f:

       if 'sched_switch' in line:

           m = re.search(r'mysqld-(\d+).*--> (.*)-(\d+)', line)

           if m:

               chain[m.group(1)].append((m.group(2), m.group(3)))

# 輸出阻塞關(guān)系

for pid, blocked_by in chain.items():

   print(f"PID {pid} blocked by:")

   for caller in blocked_by:

       print(f"  - {caller[0]}({caller[1]})")

四、高級診斷工具鏈

1. BCC工具集腳本

bash

# 使用biolatency.py分析I/O延遲分布

/usr/share/bcc/tools/biolatency -D 5 -m

# 使用locksdep可視化鎖依賴（需內(nèi)核配置）

echo 1 > /proc/sys/kernel/locks_debug_fs_enable

/usr/share/bcc/tools/lockdep

2. 動態(tài)探針注入

bash

# 在關(guān)鍵內(nèi)核函數(shù)插入跟蹤點(diǎn)

bpftrace -e '

uprobe:/lib/x86_64-linux-gnu/libc.so.6:read {

   printf("read() called by PID %d\n", pid);

}

kprobe:submit_bio {

   printf("BIO submitted: %llx\n", args->bio);

}

'

五、生產(chǎn)環(huán)境優(yōu)化建議

采樣率控制：

c

// 在eBPF程序中添加采樣限制

static __always_inline int should_sample() {

   u32 rand = bpf_get_prandom_u32();

   return (rand % 100) < 5; // 5%采樣率

}

數(shù)據(jù)聚合優(yōu)化：

使用BPF環(huán)形緩沖區(qū)替代直接打?。?

c

SEC("perf_event")

int perf_event_output(struct bpf_perf_event_data *ctx) {

   struct event_data {

       u32 pid;

       u64 ts;

   } data = {

       .pid = bpf_get_current_pid_tgid() >> 32,

       .ts = bpf_ktime_get_ns()

   };

   bpf_perf_event_output(ctx, &io_events, BPF_F_CURRENT_CPU, &data, sizeof(data));

   return 0;

}

可視化分析：

將eBPF數(shù)據(jù)導(dǎo)出到Prometheus+Grafana：

bash

# 使用bpf2prometheus工具

bpf2prometheus -map /sys/fs/bpf/io_delays -port 9090

結(jié)論

通過結(jié)合eBPF的精細(xì)追蹤能力和ftrace的系統(tǒng)級視圖，可以構(gòu)建出完整的D狀態(tài)進(jìn)程阻塞鏈分析方案。實(shí)際案例表明，該方法可將問題定位時間從數(shù)小時縮短至分鐘級。建議生產(chǎn)環(huán)境部署常態(tài)化eBPF監(jiān)控，結(jié)合異常檢測算法實(shí)現(xiàn)自動告警。對于復(fù)雜鎖競爭場景，可進(jìn)一步結(jié)合內(nèi)核的lockdep功能進(jìn)行深度分析。