文章目录第一章：CPU使用率100%排查🎯核心判断（top看%Cpu）🔧工具链📋标准排查步骤🧪实战案例案例1：Nginx+PHP‑FPM案例2：Java应用CPU 100%💡关键注意点第二章: CPU高，但找不到高CPU进程?结论先行第一层：故障现象第二层：两个根因第三层：排查步骤（面试口述版）第四层：两个典型案例第五层：踩坑关键点第三章: D不可中断进程 Z僵尸进程排查（增加代码通俗注解版）一、进程状态速览二、故障根因D状态（iowait高）Z僵尸进程三、排查命令步骤1）全局观察2）排查D状态/iowait高3）排查Z僵尸进程四、经典案例（D+Z同时出现，附代码说明）五、高频踩坑点第四章: 资深运维面试｜CPU性能优化 4道深度面试题Q1：线上定位出CPU性能瓶颈之后，你完整的优化闭环思路是什么？很多人找到瓶颈直接改代码上线，会踩哪些坑？Q2：同样CPU使用率100%，us用户态高 和 sys内核态高，你的分析思路？分别对应哪些典型线上场景？Q3：CPU优化手段有：代码算法优化、缓存、CPU亲和性绑定、cgroup限制CPU。生产环境如何取舍？各自适用场景？哪些手段不能随便乱用？Q4：怎么理解「过早优化是万恶之源」？结合运维实战，什么情况该优化，什么情况坚决不要做优化？📌终面综合大题（可用于压轴）第五章: Linux CPU性能Q1：线上CPU打满，简述完整故障排查闭环，你会重点规避哪些坑？Q2：us高与sys高，分别代表什么？列举典型场景与排查手段Q3：线上负载很高，但CPU idle还有20‑30%，us/sy/wa都正常，请分析原因，能不能直接做CPU绑定？Q4：CPU优化有算法优化、缓存、CPU亲和性、cgroup限制CPU；生产如何取舍，哪些手段慎用？Q5：perf采样遇到哪些常见坑？（容器、Java、阈值、swapper）第六章： Linux虚拟内存（终面）Q1：简述Linux虚拟内存核心原理，为什么要设计虚拟内存？Q2：malloc底层brk、mmap分配机制，区别、优缺点？Q3：free命令如何解读？free、buff/cache、available有哪些线上坑？Q4：top VIRT / RES / SHR / %MEM含义，生产排查踩坑？Q5：内存压力下Linux三种内存回收；OOM、oom_score、oom_adj原理？Q6：伙伴系统、slab分配器，slab是否用于用户态malloc？🚩SRE高频拓展面试题Q7‑1：缺页异常分为哪几类？Q7‑2：HugePage大页适合什么业务？有哪些生产代价？Q7‑3：容器内执行free，显示的是容器内存还是宿主机整机？Q7‑4：什么是内部碎片、外部碎片？💡面试口述收尾（资深运维必背）第七章： Buffer与Cache 资深运维面试Q1：请讲清楚Linux Buffer、Page Cache（buff/cache）区别？free命令中buff/cache是什么？Q2：`free`里`available`、`free`有什么本质区别？很多运维看到free很小就紧张，对不对？Q3：`echo 3 /proc/sys/vm/drop_caches`作用？线上生产环境能不能随便执行？3代表什么？Q4：slab中SReclaimable与SUnreclaim区别，会体现在free输出哪里？Q5：vmstat中bi、bo是什么指标？结合buffer/cache解释写文件流程。🚩SRE拓展深挖题Q6：怎么理解脏页dirty page？脏页过多会有什么线上问题？Q7：buff/cache持续占用很高，业务内存充足，需要手动drop_caches释放吗？Q8：free、vmstat数据来源于哪里？💡面试一句话收尾第八章： 系统Page Cache缓存 资深SRE面试题Q1：怎么评估系统页缓存(page cache)的好坏？cachestat/cachetop/pcstat各自作用？O_DIRECT直接IO为什么cachetop看不到大量缓存未命中？Q2：线上业务IO慢，cachetop显示进程READ_HIT%=100%，但是业务读延迟依旧很高，请分析原因与排查步骤？Q3：free看到buff/cache占用很高，free内存很小，运维要不要手动执行`echo 3 /proc/sys/vm/drop_caches`清理缓存？线上有什么风险？什么场景才适合执行？💡面试一句话收尾📎面试官备用深挖题第九章： 内存泄漏 资深SRE面试题Q1：什么是内存泄漏？堆、栈、数据段、文件映射段，哪些会发生内存泄漏？线上内存泄漏会带来哪些连锁危害？Q2：线上怀疑存在内存泄漏，请描述完整排查流程，memleak工具原理，容器环境会遇到什么坑？Q3：C语言业务进程RES持续上涨，怎么区分是真内存泄漏还是伪泄漏？列举常见伪泄漏场景。💡面试口述收尾📎面试官备用深挖题第十章： Linux内存故障排查 资深SRE面试Q1：线上收到内存告警，请描述完整排查思路，核心看哪些指标，如何区分是进程、缓存、slab、Swap导致的压力？Q2：什么是major主缺页、minor次缺页？线上指标升高分别是什么现象，对业务有什么影响？Q3：Linux内存调优有哪些常用手段？哪些参数/命令生产环境严禁随意操作，会带来业务抖动？✨面试速记小结（口述小结，背完直接收尾）第十一章： 磁盘IO性能 资深SRE面试题Q1：线上业务接口响应慢，top观察iowait很高，请描述完整排查链路，关键工具与核心指标？Q2：strace -p 绑定进程PID，pidstat确认该进程大量写IO，但是strace抓不到write调用，会是什么原因？Q3：iostat关键指标%util、await、aqu‑sz，解释含义；哪些误区容易误导排障？✨面试速记小结第十二章： 数据库慢查询（系统层+MySQL层）资深SRE面试Q1：业务接口访问MySQL，响应耗时十几秒，top看到iowait很高，请描述完整排查流程Q2：strace拿到mysqld的线程fd，直接把线程号传给lsof却查不到文件，是什么坑？Q3：除了SQL缺少索引，还有哪些外部系统因素，会导致MySQL查询突然变慢？✨面试速记小结第十三章： Redis响应延迟 资深SRE面试Q1：业务调用Redis查询接口，查询操作但接口响应很慢，top看到iowait高，但iostat磁盘%util并不高，请描述完整排查链路Q2：容器内运行Redis，strace看到fdatasync耗时高，如何确认这个fd对应的socket还是磁盘文件？会遇到什么容器坑？Q3：iowait高，但iostat中磁盘%util不高，是什么原因？✨面试速记小结第十四章： Linux IO瓶颈快速定位 资深SRE面试Q1：线上业务变慢，收到iowait告警，请描述你快速定位IO瓶颈的完整套路？Q2：磁盘IO四大核心指标是什么？考察时容易踩哪些误区？Q3：文件系统层面有哪些容易忽略的IO性能指标？✨面试速记结论第十五章： Linux网络基础与性能 资深SRE面试Q1：简述Linux数据包收发完整流程Q2：衡量网络性能核心指标有哪些，分别含义？Q3：线上网络变慢排查，你的排查步骤？✨面试速记小结第十六章：C10K / C1000K / C10M 速记🎯 塔尖一句话一、三阶段核心对比二、必背4个概念三、生产7大故障（按出题频率排序）四、监控必查命令（脱口而出）五、面试黄金收尾话术第十七章 tcpdump + Wireshark 面试一页纸（3道面试题+总结）面试题1：ping 访问域名，单条ICMP延迟很小，但整个ping命令执行耗时很长，可能是什么原因？如何定位解决？面试题2：线上服务器如何使用tcpdump和Wireshark做网络故障排查，讲完整操作流程，重点参数？面试题3：抓包中看到TCP断开连接出现3个包，不是传统的四次挥手，请解释原理？一页纸核心总结第十八章 DDoS(SYN‑Flood)🔑核心概念📊三大指标⚡软中断 softirq🕵识别恶意流量（SYN洪水）🛠缓解手段iptablessysctl内核调优（写入/etc/sysctl.conf，sysctl -p生效）分层防御🧪完整故障链路📜面试必背短句第一章：CPU使用率100%排查🎯核心判断（top看%Cpu）指标高问题方向us/ni用户业务代码（死循环、大量计算、Java GC频繁）sy内核、频繁系统调用、内核线程wa磁盘IO瓶颈hi/si硬/软中断风暴top按数字1，查看每个CPU核使用率🔧工具链top：定位高CPU进程PID，默认3s采样pidstat 1 5：进程细分 %usr / %system / %CPUperf（线上优先，不中断业务）# 实时看热点函数、调用栈perftop-g-pPID# 离线保存，适合转瞬即逝问题perf record-g-pPID# Ctrl+C结束perf report⚠️容器场景perf出现16进制地址：宿主机生成perf.data，docker cp拷贝进容器内执行report解析❌GDB不适合线上：会暂停业务进程Java专属工具# 打印所有线程堆栈，定位高CPUJava线程jstackPID# 统计JVM各个内存区域jstat-gcPID1000📋标准排查步骤top观察CPU分项，确认用户态/内核态/IO问题获取高CPU进程PID（top / pidstat）若是Java进程：top‑H -p PID找到高消耗线程tid，转16进制，配合jstack定位Java代码；也可以使用perf采样非Java进程：perf采样定位热点函数根据函数/堆栈定位业务源码，确认根因（死循环、大量循环计算、频繁FullGC等）修改代码/配置，压测验证修复效果🧪实战案例案例1：Nginx+PHP‑FPM现象：php‑fpm进程CPU打满，us98%ab压测：ab -c10 -n10000 http://ip:10000top确认php‑fpm占用CPUperf top -g -p PID找到sqrt为热点源码：单次请求百万次循环执行sqrt，遗留测试代码删除循环，QPS从11提升至2237案例2：Java应用CPU 100%现象：Java进程CPU持续100%，us占比极高排查流程：top发现Java进程PID=2345，CPU占用接近100%top -H -p 2345，发现线程tid=2368CPU占比很高tid转16进制：printf "%x\n" 2368→940jstack 2345 jstack.log，在日志搜索0x940堆栈定位业务代码：for无限死循环，没有sleep；或者集合大数据遍历补充：如果jstat‑gc观察到频繁FullGC，CPU高是内存泄漏导致，优先排查内存问题💡关键注意点CPU使用率是一段时间采样差值计算的平均值，不同工具采样间隔不一样，对比要保持间隔统一/proc/stat原始数据是开机累计值，不能直接拿来算使用率偶发瞬时CPU冲高，登录现场已消失：依靠监控 + perf record离线采样Java使用perf：需要安装perf符号，否则只能看到jvm内部符号；jstack更适合定位Java业务代码问题/////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////第二章: CPU高，但找不到高CPU进程?结论先行系统CPU整体很高，但top/pidstat看不到高CPU进程，90%是短时进程，其次是进程反复崩溃重启。第一层：故障现象top全局us/sy高，id低；但所有进程CPU占比都很低top看到大量R(Running)运行态进程，PID快速不停变化pidstat所有进程CPU加起来远小于系统总CPU第二层：两个根因短时进程（最常见）：业务代码exec/system/ProcessBuilder调用外部命令，进程生命周期极短，小于工具采样间隔，top/pidstat抓不到，海量频繁创建销毁累积消耗CPU。进程反复崩溃重启：程序崩溃，被监控/K8s反复拉起，初始化逻辑消耗CPU，进程存活时间很短。第三层：排查步骤（面试口述版）top：看全局CPU，重点观察R状态进程数量、PID是否漂移；有execsnoop优先执行，直接捕获exec调用，拿到子进程和父PID；没有execsnoop，用perf全系统采样，必须加-a，不能指定PIDperf record-ag-gperf reportpstree追溯父进程，定位业务服务；审查源码外部命令调用，查看dmesg/容器日志确认是否崩溃重启。第四层：两个典型案例PHP：http请求exec调用stress，权限报错快速退出，大量短时进程吃满CPU。Java：ProcessBuilder高频调用shell脚本，脚本执行完立刻退出，Java主进程CPU占用并不高。第五层：踩坑关键点perf排查短时进程不能带‑p指定PID，必须‑a全系统采样，swapper是空闲内核进程直接忽略；top/pidstat是采样平均值工具，进程寿命短于采样间隔就捕获不到；容器perf符号缺失：perf.data复制进容器内做report解析。面试一句话总结：CPU高找不到进程，优先怀疑短时进程，用perf -a全系统抓，不要指定进程PID。///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////第三章: D不可中断进程 Z僵尸进程排查（增加代码通俗注解版）面试/线上速查，现象：iowait高、负载上涨、大量D/Z进程一、进程状态速览状态含义关键影响R运行/就绪CPU调度队列D不可中断睡眠，等待硬件IO拉高平均负载，kill‑9无效Z僵尸，子进程已退出，父未回收资源耗尽PID，无法新建进程；kill僵尸本身无效S可中断睡眠正常等待事件，可被信号唤醒I内核线程空闲态不会拉高负载T暂停/调试跟踪gdb、SIGSTOP触发重点：短时D属于正常；大量持续D、持续增长Z属于故障。二、故障根因D状态（iowait高）业务O_DIRECT直接IO，绕过pagecache页缓存，直接操作物理磁盘，磁盘慢导致进程阻塞D状态；💡通俗：不使用内存缓存，每一次读都直接访问硬盘，硬盘速度远慢于内存，CPU大量时间等待磁盘返回。perf看到blkdev_direct_IO内核函数就是证据。本地磁盘故障、RAID异常；NFS存储服务端卡死，客户端进程阻塞IO。Z僵尸进程fork()创建子进程，父进程未调用wait/waitpid回收子进程退出状态；未注册SIGCHLD信号处理函数；子进程退出速度快于父进程处理。💡通俗：子进程干完活退出，父进程代码没执行“收尸”逻辑，子进程就变成僵尸。父进程退出，僵尸由init(1)自动收割。三、排查命令步骤1）全局观察top# 看load、wa(iowait)，看S列D/Z；按1看各CPUdstat1# 同时对比CPU iowait与磁盘读写流量2）排查D状态/iowait高pidstat -d 1全局看进程IO读写；进程转瞬变为僵尸，strace无法attach，用全系统perf采样（不加‑p）perf record-ag-gperf report忽略swapper内核空闲进程；看到blkdev_direct_IO代表开启直接磁盘IO。D状态进程kill‑9杀不掉，需等待IO返回，硬件故障极端情况只能重启。3）排查Z僵尸进程ps-e-ostat,ppid,pid,cmd|grepZ# 拿到僵尸PID、父PPIDpstree-aps僵尸PID# 向上追溯父进程临时缓解：重启父进程，init自动回收僵尸；根治：代码增加wait/waitpid或SIGCHLD信号处理。四、经典案例（D+Z同时出现，附代码说明）现象：iowait打满，负载高，同时僵尸进程持续增多；dstat确认wa升高伴随大量磁盘读；pidstat‑d看到app大量读盘；进程D状态后迅速变成Z，strace attach失败；perf全系统采样发现blkdev_direct_IO；❌问题代码：open(disk, O_RDONLY|O_DIRECT|O_LARGEFILE, 0755);开启O_DIRECT绕过内存缓存，大量直接磁盘IO，iowait飙升。✅修复：删除O_DIRECT参数，走操作系统页缓存，iowait恢复。僵尸根因：wait()写在死循环外面，代码永远执行不到//错误：wait放在死循环外面，永远跑不到for(;;){for(inti=0;i2;i++){fork();}sleep(5);}while(wait(status)0);//✅修复：wait移入循环内部，每轮循环回收子进程for(;;){for(inti=0;i2;i++){fork();}while(wait(status)0);sleep(5);}wait挪入循环，子进程退出后立刻被回收，不再生成僵尸。五、高频踩坑点iowait高≠磁盘瓶颈：少量IO也会拉高wa，必须结合实际磁盘读写量判断；kill僵尸进程不起作用，僵尸已经死亡，必须处理父进程；perf报告swapper是内核空闲进程，直接忽略；父进程为1号init还残留僵尸，业务无解，大概率内核bug，只能重启机器。✨面试一句话总结：D状态优先排查IO：直接IO(O_DIRECT)、本地磁盘、NFS，kill‑9无效；僵尸不要杀僵尸本身，定位父进程，代码做好子进程回收。////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////第四章: 资深运维面试｜CPU性能优化 4道深度面试题考察：实战闭环、权衡取舍、线上踩坑，金字塔答题，包含问题+完整参考答案+深挖追问+追问完整答案Q1：线上定位出CPU性能瓶颈之后，你完整的优化闭环思路是什么？很多人找到瓶颈直接改代码上线，会踩哪些坑？✅完整参考答案（金字塔）结论先行：CPU优化不是找到瓶颈就直接改，必须走「确认瓶颈→量化基线→方案选型→对比验证→评估副作用」完整闭环；直接改代码上线最大风险：误判根因、优化带来副作用、无法证明优化收益。确认真瓶颈，区分根因与衍生现象。很多指标高只是现象，不是根源。例如iowait升高只是现象，根源是O_DIRECT直接IO；软中断CPU高是现象，根源是大量网络小包。不能针对现象做优化，要解决背后的根因。建立双维度基线。不能只看系统CPU使用率；同时采集**业务指标（QPS、延迟、错误率）**和系统指标（CPU、上下文切换）作为优化前基准。压测客户端要与业务服务隔离部署，防止压测工具本身消耗资源，污染测试数据。多方案选型，综合权衡。不能只看性能提升幅度，综合评估：改造成本、代码复杂度、可维护性、优化副作用；拒绝拿来主义，不追求一步到位解决全部问题。灰度验证，对比优化前后。不仅看系统资源指标，重点校验业务指标，防止出现CPU降了，但接口延迟升高这类负优化。风险防控，警惕过早优化。没有真实业务压力，不要提前堆砌缓存、异步、CPU绑定这类复杂逻辑，徒增维护成本。实战坑举例：直接对进程做CPU绑定，业务流量波动大时，会破坏内核调度均衡，出现单核打满其余核空闲，整体性能反而变差。🔍面试官深挖追问 + 参考答案追问：优化后CPU使用率降下来，但业务接口延迟反而升高，可能有哪些原因？答：① 优化手段带来额外开销：例如引入缓存，增加锁、缓存淘汰逻辑；② CPU绑定导致调度失衡，任务集中在个别CPU核，队列排队；③ 算法优化虽然降低CPU，但增加IO/锁等待；④ 并发线程/进程数量被限制，请求排队堆积；⑤ 内核参数调整，牺牲延迟换取CPU利用率。追问：怎么区分观测到的指标是根因，还是衍生现象？举一个线上实际例子。答：根因是源头，衍生现象是根因引发的结果。解决根因，衍生现象会自动消失。例子：大量短时fork子进程，会导致sys CPU高，sys高是现象；真正根因是业务频繁调用exec创建短时进程。修复业务不再频繁创建进程，sys CPU自然下降，而不是去调内核参数压制sys指标。追问：如果环境不允许做完整压测，只能线上灰度，基线数据该怎么获取？答：① 取优化前一段时间监控历史作为基线，保证流量、时间段尽量对齐；② 采用灰度发布，一部分实例优化，一部分实例保持原样，做同环境对照；③ 对比两组实例的业务、系统指标；④ 小流量逐步放量，一旦指标异常立刻回滚。Q2：同样CPU使用率100%，us用户态高 和 sys内核态高，你的分析思路？分别对应哪些典型线上场景？✅完整参考答案（金字塔）结论先行：us高代表业务用户态消耗CPU；sys高代表内核态开销；二者排查方向完全不同，先分清指标，再选择工具定位。us（用户态CPU高）：CPU消耗来自业务代码逻辑典型场景：死循环、高复杂度算法、大量计算、频繁正则表达式、Java频繁Full GC；工具：perf top -g -p pid定位业务热点函数；Java配合jstack、jstat -gc。sys（系统CPU高）：CPU消耗来自内核，由系统调用、上下文切换、中断引发典型场景：大量fork/exec短时进程；频繁锁竞争；海量细小系统调用；软硬中断风暴；进程数量多导致频繁上下文切换；工具：perf record -ag -g做全系统采样看内核调用栈；pidstat -w观察上下文切换；execsnoop捕获短时exec调用。⚠️重要坑：短时进程场景，top、pidstat抓不到高CPU进程，必须全系统perf采样，不能指定‑p pid。实战区分小技巧：us高优先怀疑业务代码；sys高优先怀疑系统调用、进程创建、中断，不要上来就修改业务代码。🔍面试官深挖追问 + 参考答案追问：Java服务sys系统CPU很高，你会一步步怎么排查？答：① 先看pidstat -w，观察自愿/非自愿上下文切换，如果非自愿切换很高，线程过多、争抢CPU；② 使用perf record -ag -g全系统采样，看内核调用栈，看是系统调用、线程创建、锁、还是中断消耗；③ execsnoop排查是否Java通过ProcessBuilder大量创建外部短时子进程；④ 查看JVM配置：线程数量是否过多；⑤ 排除硬件层面中断风暴。追问：为什么短时进程，指定perf -p PID抓不到问题？答：短时进程生命周期极短，执行完立刻退出。perf-p需要进程存活才能附着采样；等执行perf命令时进程已经消亡。必须‑a全系统采样，捕获系统内全部事件，不绑定特定PID。追问：sys高，但是没有看到大量fork，还会有什么可能性？答：① 海量细小系统调用，如频繁read/write、epoll_wait；② 大量线程上下文切换，线程数量过多；③ 硬中断、软中断风暴（网络包量大）；④ 频繁锁竞争，内核态自旋锁消耗；⑤ 内存缺页异常频繁。Q3：CPU优化手段有：代码算法优化、缓存、CPU亲和性绑定、cgroup限制CPU。生产环境如何取舍？各自适用场景？哪些手段不能随便乱用？✅完整参考答案（金字塔）结论先行：优先应用层业务逻辑优化，其次缓存；系统层面CPU绑定、