IO · XB 现场笔记

iotop 能看出是哪个进程在烧磁盘

Wed, 15 Mar 2028 00:00:00 +0000

iotop 把任务级内核统计接入系统整体的存储调查，可以帮助发现报告大量 IO 或等待的任务，但这两种观察并不相同。被其他工作阻塞的任务，可能是受影响者，而不是争用的来源。内核计数器也不为每种文件系统、缓存与存储层提供完美归因，不能把一个列表直接当成责任判决。

把 iotop 与设备指标、应用延迟放在一起看。活跃写入者或较高等待值，单独都不足以证明存储瓶颈。先比较同一时段，再决定检查哪个组件；两个命令的输出可以形成线索，却不会自动结束调查。应明确自己看到的是工作量、等待时间，还是实际设备完成的操作。

逐个进程的计数器

先核对安装的实现与版本。所引用的 iotop-c 已在主进程行中汇总线程活动；-P 只是隐藏单独的线程行。其他变体应核对各自手册，不能把显示选项误写成首次发生汇总。-o 根据观察到的 IO 活动过滤，不会判断工作是否有害。读写字节速率与 IO 等待百分比单位不同，不能把它们当作同一种消耗排名，也不能只凭一列高低决定是否应终止进程。

Linux 的 read_bytes 统计存储层读取，缓存命中的读取不一定产生这类字节。write_bytes 在页面变脏时记账，不一定等到设备完成写入；取消写入与稍后的回写，会让任务总量和设备吞吐不同。延迟统计记录任务等待，包括同步块 IO 等待；CPU iowait 是另一种整体指标，不能作为可靠的逐任务归责依据。页面缓存中的活动、进程等待和设备忙碌，需要分别解释。

看到谁在扫盘

明确选择排序列，并观察足够时间，区分持续工作和短促突发。写入速率高可能来自预期的备份、索引构建或日志任务。修改调度、限额之前，要关联进程归属、应用角色与当时业务。排名靠前只说明值得进一步检查，不会直接告诉你应轮转日志、迁移任务还是终止进程，正常的批处理也可能占据榜首。

在正确的 PID 命名空间中解析任务，并确认该标识仍指向预期进程。命令行、父子关系与打开文件能够提供上下文，但打开某个文件不证明全部写入都去了那里。两次读取之间 PID 可能复用，陈旧号码可能已经属于无关任务。容器内外看到的号码也可能不同，必须把身份与观察范围一同记录，避免把一个范围中的统计匹配到另一个范围中的进程。

先看再动

观察本身有成本与访问要求。进一步的系统调用追踪可能扰动进程并暴露参数，需要另外获准且范围明确的调查。追加标志属于打开文件时的设置，不是每次 write 系统调用携带的标志。不能把虚构的吞吐、打开文件与追踪输出组合成一次已测得的诊断，也不能看到文件存在就推断写入路径已被证明。

记录基线条件：工具实现、间隔、进程或线程模式、是否累计，以及可比较的业务负载。按文档默认的一秒间隔，-b -n 60 大约是一分钟，不是五分钟，还要考虑启动与首份报告。设备 await 包含排队与服务时间；接近百分之百的利用率，并不能在所有并行 SSD 或 RAID 上证明吞吐已经饱和。

把任务与设备数据按时间对齐，再比较变化。排名变化不等于工作量变化，同一任务可能因其他任务减少而上升。基线也不应靠固定的名次差或任意周期间隔决定是否异常；应结合实际速率、持续时间和应用目标解释，保留采集条件，避免将不同窗口或不同汇总方式直接相减。

坏掉的样子

缺少权限、内核统计选项，或未启用任务延迟统计，可能导致失败或字段不可用。空白显示不能证明自己的进程没问题，更不能证明其他用户的进程无关。应记录实际限制与所需环境，不能悄悄更改能力或内核设置来让工具运行。有些延迟统计配置变化只对之后启动的任务生效，不能假定已有进程立即具有完整历史。

突发活动可能被平均值稀释，短命任务也可能逃过采样。改变间隔会改变可见范围。累计模式汇总适用生命周期内观察到的统计，不会找回没有记录的上一小时，也不保证完整覆盖已经退出的任务。每个结论都应注明观察窗口；没有采到事件与事件从未发生，不能视为同一件事。

按同一时段对照任务字节、等待与设备观察。采集与当前身份核验尚未运行；不能排除早先 PID 复用或认定责任。

快速验证

以下尚未运行的提案面向引用的 iotop-c 接口与 sysstat iostat，先确认实际安装的实现，不能假定所有同名工具支持相同选项。它完整保存报告、标准错误与两个退出状态，不从文本自动选取进程。新建配置目录可以避免原先保存的 iotop 偏好悄悄改变显示模式；临时目录需要保留，便于复查失败信息和时间范围。

(
 capture=$(mktemp -d) || exit 1
 printf 'Evidence directory: %s\n' "$capture"
 iotop --version || exit $?
 iostat -V || exit $?
 LC_ALL=C iostat -x -y -t 2 5 > "$capture/iostat.txt" 2> "$capture/iostat.err" &
 stat_pid=$!
 if LC_ALL=C XDG_CONFIG_HOME="$capture" iotop -b -P -k -t -d 2 -n 5 \
 --no-only --no-accumulated --no-accum-bw \
 > "$capture/iotop.txt" 2> "$capture/iotop.err"; then
 task_status=0
 else
 task_status=$?
 fi
 if wait "$stat_pid"; then stat_status=0; else stat_status=$?; fi
 printf 'iotop_status=%s iostat_status=%s\n' "$task_status" "$stat_status"
 cat "$capture/iotop.err" "$capture/iostat.err"
 [ "$task_status" -eq 0 ] && [ "$stat_status" -eq 0 ] || exit 1
 cat "$capture/iotop.txt" "$capture/iostat.txt"
)

iotop-c 的主进程行已经包含线程活动；-P 隐藏单独线程行，固定千字节单位与非累计模式便于比较各列。这里的批量采集不承诺按写入量降序排列；应在每份报告中比较带标签的 DISK WRITE 数值。需要交互式排名时，明确选择该列与降序方向，不能把第一行直接当成最大写入者。排名与进程身份依然是两个独立问题。

按时间戳只比较重叠间隔，两个命令并没有完全同步启动；-y 排除 iostat 开机以来的首份报告。缺少计数器、非零状态或不完整窗口都会破坏比较，不能仅凭排名认定责任进程。

将下面的辅助程序保存为 inspect_io_process.py，再从完整报告中人工选定进程 PID；读取时必须使用同一 PID 命名空间。它要求 Python 3.9 以上、内核支持 pidfd，且相关 proc 项可读。权限、进程消失或 pidfd 不可用时应停止，不能退回猜测身份：

"""Read-only Linux identity snapshot; requires Python 3.9+ and pidfd support."""
import json
import os
import re
import select
import sys


def snapshot(token, proc_root="/proc", ops=os, poll_factory=select.poll):
 if not re.fullmatch(r"[1-9][0-9]*", token):
 raise ValueError("PID must be a positive decimal process ID")
 pid = int(token)
 pidfd = ops.pidfd_open(pid, 0)
 directory = None
 try:
 directory = ops.open(f"{proc_root}/{pid}", os.O_RDONLY | os.O_DIRECTORY)
 watcher = poll_factory()
 watcher.register(pidfd, select.POLLIN)

 def read(name, limit):
 fd = ops.open(name, os.O_RDONLY, dir_fd=directory)
 with ops.fdopen(fd, "rb") as source:
 data = source.read(limit + 1)
 if len(data) > limit:
 raise ValueError(f"{name} exceeds the snapshot limit")
 return data

 def identity():
 head, tail = read("stat", 65536).rsplit(b")", 1)
 if int(head.split(b" ", 1)[0]) != pid:
 raise ValueError("stat PID mismatch")
 fields = tail.split() # field 3 is index 0; field 22 is index 19
 if fields[0] in (b"Z", b"X", b"x"):
 raise ProcessLookupError("process has exited")
 return int(fields[19])

 before = identity()
 executable = ops.readlink("exe", dir_fd=directory)
 raw_command = read("cmdline", 65536)
 # Remove one final NUL; empty input means no argument data.
 command = raw_command[:-1] if raw_command.endswith(b"\0") else raw_command
 command = command.split(b"\0") if raw_command else []
 after = identity()
 if before != after or watcher.poll(0):
 raise ProcessLookupError("identity changed or process exited")
 return {"pid": pid, "starttime_ticks": before, "executable": executable,
 "argv": [arg.decode("utf-8", "backslashreplace") for arg in command]}
 finally:
 if directory is not None:
 ops.close(directory)
 ops.close(pidfd)


if __name__ == "__main__":
 try:
 if len(sys.argv) != 2:
 raise ValueError("usage: inspect_io_process.py PID")
 print(json.dumps(snapshot(sys.argv[1]), ensure_ascii=True))
 except (OSError, ValueError, IndexError, AttributeError) as error:
 sys.exit(f"Identity snapshot failed: {error}")

python3 inspect_io_process.py "${PID:?Set PID from the reviewed process row}"

成功快照报告可执行文件、参数与前后相同的启动时间值，同时通过 pidfd 检查进程退出。获取句柄之前 PID 仍可能已经复用，因此不能证明早先采样行属于当前进程。proc 字段可以变化，也不是原子快照；任何后续动作前都需重新检查。这里没有终止进程或改变优先级，整个真实工具流程仍未运行。

来源

iotop 手册，iotop-c 手册渲染版；需核对安装的变体，已核验 2026-10-18。
vmstat 手册，说明系统级 CPU 与 IO 等待报告，已核验 2026-09-05。
Linux delay accounting，taskstats 延迟范围与启用前提，已核验 2026-10-18。
Linux proc filesystem，存储字节记账、取消写入与 CPU iowait 限制，已核验 2026-10-18。
iostat manual，首份报告、await 与并行设备利用率的限制，已核验 2026-10-18。
iotop-c upstream manual，进程汇总、批量选项、配置与交互排序，已核验 2026-10-19。
sysstat upstream iostat manual，-y 略过开机统计，-t 标记间隔报告时间，已核验 2026-10-19。
pidfd_open manual，身份或受控操作的适用契约，已核验 2026-10-19。
Python os interfaces，身份或受控操作的适用契约，已核验 2026-10-19。
proc_pid_stat manual，身份或受控操作的适用契约，已核验 2026-10-19。

磁盘调度器给 I/O 排好队，让磁头移动更省

Tue, 09 Mar 2027 00:00:00 +0000

blk-mq 提供 CPU 或节点本地的软件暂存队列，以及硬件派发队列。请求可以在派发前经过调度和合并，但驱动与设备行为也会影响实际服务。软件提交顺序不保证完成顺序。调度器能够影响竞争请求进入设备的方式，却不控制整个存储栈后续的每一项决定。分析时应分别记录提交、派发与完成，避免从一条队列箭头推出设备执行的完整时间线。

在旋转介质上，改善请求局部性可以减少磁头移动。闪存没有机械寻道成本，但合并、并行度、排队和仲裁仍会影响性能。高效排序与公平服务回答不同问题，都不能给出普遍适用的调度器排名。应先确认当前内核与设备实际提供哪些选项，再测量相关负载，不要因为设备名称包含 NVMe 就把所有队列政策的成本与收益都当成零。

磁头才是预算

7200 RPM 下半圈约为 4.17 ms，可作为理想化的平均旋转等待。传输与寻道成本还依赖设备和负载。原文给出 2000 个请求、67907411 与 99977 条磁道，以及 91 与 231 IOPS，但没有提供生成夹具或保留测量。这些数字只能作为未经核验的原文声称，不能写成已经测得的 Linux 调度器结果，更不能用倍数直接推算生产设备的容量。

对一组虚构磁道位置排序，可以说明磁头行程有可能缩短，但没有经过验证的设备模型或测量，就不能建立 IOPS 收益。此前的寻道百分比和约 40 ms 的 NVMe 总耗时，也有同样的证据缺口。图中更短的路径因此只表示定性关系，不是延迟预测。实际比较应保留请求序列、模型假设、设备信息与原始输出，才能判断差异是否来自调度。

每种调度器是干什么的

none 不增加调度器重排，但不承诺全局先到先完成。mq-deadline 结合扇区顺序和批次之间的到期检查，fifo_batch 限制每批数量；这些政策影响派发，并不保证端到端完成期限。kyber 通过限流尝试达到读取与同步写入的目标延迟，目标值不是每个请求都必然达标的证明。设备处理时间与后续排队仍然存在，不能把参数名当成业务延迟服务承诺。

bfq 提供按权重的服务分配和低延迟启发式，带宽或时间分配取决于配置与条件。空转可以帮助服务保证，却也可能降低内部有队列设备的吞吐，必须核对内核支持和实际设置。/sys/block//queue/scheduler 中带方括号的名称表示当前选项；修改它是运维动作，需要已授权的设备和可撤销测试方案。不能只看到一个名称，就推定持久设置、隔离效果或吞吐收益已经建立。

公平与排序是两个问题

90/10 的请求发出比例，不能直接建立服务份额或平均等待位置。原文的 0.099、1901 与 0.5 没有保留夹具作为依据。在持续有积压的简化模型里，相等权重可以说明分享概念，但真实结果还取决于需求、请求大小、优先级和调度设置。应分别比较收到的服务、应用延迟与请求到达数量，不能把不同分母下的比例当成同一个指标，更不能保证轻客户端永远取得一半吞吐。

无论哪种介质，都应在代表性竞争下测试延迟、吞吐和隔离。cgroup io.max 在达到配置的 BPS 或 IOPS 上限时延迟输入输出，允许短暂突发，并不要求先选 BFQ。权重控制则依赖启用的实现与配置；BFQ 使用 io.bfq.weight，而 io.weight 可以由 I/O 成本控制器实现。上限与相对份额是不同控制，不应把二者都描述成只有某个调度器重排之后才有效。

坏掉的样子

旋转设备使用 none 值得结合负载检查，但本身不证明存在缺陷。高利用率、低 IOPS 和高 await 可以有多种原因；await 包含排队和服务时间，接近百分之百的利用率对串行设备可能表示饱和，对并行设备则不充分反映性能极限。应先确认设备拓扑、请求模式和竞争工作，再归因于寻道。rotational 标志不是一次磁头跟踪，几个平均数也不能单独证明应该切换策略。

批量任务可能恶化交互请求的长尾，即使平均值看起来正常。调度政策或控制组上限可能有帮助，但任何一个名称都不能单独证明应用级保护成立。应在受控变化前后比较分位数与有效吞吐。空转、队列深度和设备内部调度会相互影响，旋转标志本身无法选择普遍正确的配置。平均队列长度还受并发和服务时间影响，不能把它上升直接解释成请求没有被合并成一次扫描。

队列排序、权重服务与 io.max 上限不同；原文数值声称仍未经核验。

快速验证

首先用下面尚未执行的只读步骤观察一个明确选定的整盘设备。设置 DEVICE 前应核对拓扑与范围，不能根据名称随便选择生产设备。代码拒绝类似路径的名称，检查必需属性是否可读，并说明可选参数缺失；这第一个代码块不改变调度器。此处没有为切换策略或修改其他内核设置提供授权，也没有把已存在的运行限制当成静态修改后自动解除。

(
 : "${DEVICE:?Set DEVICE to the reviewed whole-device name}"
 case "$DEVICE" in
 ''|[!A-Za-z]*|*[!A-Za-z0-9_-]*|ALL) printf 'Invalid device name\n' >&2; exit 2 ;;
 esac
 queue="/sys/block/$DEVICE/queue"
 [ -d "$queue" ] || { printf 'No such whole-device queue\n' >&2; exit 1; }
 for field in rotational scheduler; do
 [ -r "$queue/$field" ] || { printf 'Missing: %s\n' "$field" >&2; exit 1; }
 value=$(cat "$queue/$field") || exit 1
 printf '%s=%s\n' "$field" "$value"
 done
 for field in read_expire fifo_batch; do
 if [ -r "$queue/iosched/$field" ]; then
 value=$(cat "$queue/iosched/$field") || exit 1
 printf '%s=%s\n' "$field" "$value"
 else
 printf '%s: unavailable for the active scheduler\n' "$field"
 fi
 done
 LC_ALL=C iostat -x -y -t "$DEVICE" 2 5
)

带方括号的名称是当前选项，缺少 iosched 参数可能正常。-y 排除开机统计，要保留错误并确认输出确实包含所选设备。路径检查不能替代拓扑审阅。

将辅助程序保存为 scheduler_exercise.py。它只适用于明确授权、由你独占控制的可丢弃测试设备。根据上面的观察设置 EXPECTED_CURRENT 与 REQUESTED，并把 ACK_DEVICE 设成 DISPOSABLE: 后接 DEVICE。需要 Python 3.9 以上、调度器写入权限和 sysstat；此步骤会临时改变策略，不能在生产或共享设备上照抄：

"""Unexecuted proposal: temporary policy change on an exclusively controlled test device."""
import json
import re
import signal
import subprocess
import sys
from pathlib import Path


def device_name(value):
 if not re.fullmatch(r"[A-Za-z][A-Za-z0-9_-]*", value) or value == "ALL":
 raise ValueError("use one named whole device, not a path, option, number or ALL")
 return value


def scheduler_state(path):
 tokens = path.read_text().split()
 active = [s[1:-1] for s in tokens if re.fullmatch(r"\[[A-Za-z0-9_-]+\]", s)]
 if len(active) != 1 or not tokens:
 raise ValueError("scheduler state must have exactly one bracketed choice")
 if any(not re.fullmatch(r"(?:[A-Za-z0-9_-]+|\[[A-Za-z0-9_-]+\])", s) for s in tokens):
 raise ValueError("unexpected scheduler state")
 available = [s.strip("[]") for s in tokens]
 if len(set(available)) != len(available):
 raise ValueError("duplicate scheduler choices")
 return active[0], available


def exercise(path, device, expected, requested, run=subprocess.run, emit=print):
 original, available = scheduler_state(path)
 if original != expected or requested not in available or requested == original:
 raise ValueError("current/requested scheduler does not match the reviewed plan")
 emit(json.dumps({"device": device, "original": original, "requested": requested}), flush=True)
 primary_error = restore_error = None
 attempted = False
 try:
 if scheduler_state(path) != (original, available):
 raise ValueError("scheduler state changed before the test")
 attempted = True # even a failed write may have changed state
 path.write_text(requested + "\n")
 if scheduler_state(path)[0] != requested:
 raise RuntimeError("requested scheduler was not activated")
 result = run(["iostat", "-x", "-y", "-t", device, "2", "5"], check=False)
 if result.returncode != 0:
 raise RuntimeError(f"iostat exited with status {result.returncode}")
 except BaseException as error:
 primary_error = f"{type(error).__name__}: {error}"
 finally:
 if attempted:
 try:
 if original not in scheduler_state(path)[1]:
 raise RuntimeError("original scheduler is no longer available")
 path.write_text(original + "\n")
 if scheduler_state(path)[0] != original:
 raise RuntimeError("original scheduler was not restored")
 except BaseException as error:
 restore_error = f"{type(error).__name__}: {error}"
 emit(json.dumps({"primary_error": primary_error, "restore_error": restore_error,
 "restored": attempted and restore_error is None}), flush=True)
 # Report both errors; restoration failure never hides the primary failure.
 return (1 if primary_error else 0) + (2 if restore_error else 0)


def main(args):
 if len(args) != 4:
 raise ValueError("usage: scheduler_exercise.py DEVICE EXPECTED_CURRENT REQUESTED DISPOSABLE:DEVICE")
 device, expected, requested, acknowledgement = args
 device = device_name(device)
 if acknowledgement != "DISPOSABLE:" + device:
 raise ValueError("explicit disposable-device acknowledgement required")
 path = Path("/sys/block") / device / "queue/scheduler"
 return exercise(path, device, expected, requested)


if __name__ == "__main__":
 def interrupted(number, frame):
 raise InterruptedError(f"received signal {number}; attempting restoration")
 signal.signal(signal.SIGINT, interrupted)
 signal.signal(signal.SIGTERM, interrupted)
 try:
 sys.exit(main(sys.argv[1:]))
 except (OSError, ValueError) as error:
 sys.exit(f"Scheduler test refused: {error}")

python3 scheduler_exercise.py "${DEVICE:?}" "${EXPECTED_CURRENT:?}" \
 "${REQUESTED:?}" "${ACK_DEVICE:?}"

程序记录原值、验证切换、采集间隔，再单独恢复并验证原值。退出状态 0 表示成功，1 表示主流程失败，2 表示恢复失败，3 表示二者都失败；JSON 分别保留两类错误，不能用恢复失败掩盖原错误，也不能忽略恢复错误。SIGINT/SIGTERM 会触发清理尝试，但 SIGKILL、重复中断或主机故障仍可能阻止恢复，应保留原值以便人工处理。这是可逆策略练习，不是性能或公平性证据；历史数值与实际运行仍待核验。

来源

Switching Scheduler，调度器名称、sysfs 路径与切换方法，已核验 2026-09-16。
Multi-Queue Block IO Queueing Mechanism (blk-mq)，软件暂存队列与硬件派发队列的关系，已核验 2026-09-16。
BFQ (Budget Fair Queueing)，比例分配行为、cgroup 支持与空转的取舍，已核验 2026-09-16。
Kyber I/O scheduler tunables，Kyber 据以限流的读写目标延迟，已核验 2026-09-16。
Linux deadline tunables，修订依据，已核验 2026-10-18。
Linux cgroup v2 I/O controls，修订依据，已核验 2026-10-18。
iostat manual，修订依据，已核验 2026-10-18。
sysstat upstream iostat manual，-y 略过开机统计，-t 标记间隔报告时间，已核验 2026-10-19。
Python signals，身份或受控操作的适用契约，已核验 2026-10-19。
sysstat iostat option parser，身份或受控操作的适用契约，已核验 2026-10-19。

IO · XB 现场笔记

iotop 能看出是哪个进程在烧磁盘

逐个进程的计数器

看到谁在扫盘

先看再动

坏掉的样子

快速验证

延伸阅读

来源

磁盘调度器给 I/O 排好队，让磁头移动更省

磁头才是预算

每种调度器是干什么的

公平与排序是两个问题

坏掉的样子

快速验证

来源