准备AI Infra方向面试的朋友最容易在算法和训练框架上侃侃而谈但一被问到AI集群网络基础就容易露怯。不是大家不努力而是网络这块知识太散了——今天背了个RDMA概念明天又看到一堆InfiniBand、RoCE、PFC、ECN的缩写没有一条主线串起来面试就答不到点子上。我自己当年面AI Infra岗位时也在这上面栽过跟头。后来在千卡集群上踩了一年的坑重新梳理才发现AI集群网络其实有一套非常清晰的逻辑核心就是分布式训练到底给网络提了什么需求网络又是怎么满足这些需求的。这篇文章就是基于这条主线把AI Infra面试中最常考的网络基础知识整理成一份可以系统复习的提纲。适合准备AI Infra、计算集群、MLOps相关岗位面试的工程师也适合刚接触集群网络想快速建立框架的人。1. 为什么AI Infra面试必考网络1.1 AI Infra工程师日常绕不开三件事AI Infra这个岗位在招聘JD里经常写得云里雾里但实际工作内容我概括成三件事让训练跑起来、让训练跑得更快、让集群更稳定。第一件事靠部署能力和框架配置第二件事靠性能分析和调优第三件事靠监控、容错和故障恢复。这三件事每一件都绕不开网络。训练能跑起来至少需要理解分布式训练框架是怎么把模型拆到多张卡上的拆完之后梯度同步走什么通信原语跑得更快需要定位算力瓶颈和通信瓶颈而通信瓶颈大概率出在网络上集群稳定则要面对网卡故障、交换机丢包、链路闪断这些每天都在发生的小事。所以一个合格的AI Infra工程师说到底是半个网络工程师。这也是面试官爱问网络基础的根本原因。1.2 算力越强网络越容易成为性能天花板很多人对网络的重要性没有体感是因为单机单卡的训练根本不需要网络。但到了大模型时代情况完全不同。一个千亿参数的模型光参数和梯度就要按TB量级来算单卡肯定装不下必须做各种并行。数据并行要求每轮迭代后把所有GPU的梯度汇总模型并行要求把中间激活值在各层之间传来传去专家并行则更夸张每个token可能都要跨节点访问专家模块。这些通信操作的时间通常能占到整个训练迭代的10%到40%。GPU算力不断增强以后这一点越来越刺眼。A100的算力提升后计算一个batch的时间缩短了通信时间却没法同步缩短整体训练速度就被通信主导。我在实际集群里见过不少次这种情况训练loss曲线看上去很正常但GPU利用率只有40%一查NCCL profiling发现大量时间卡在网络等待上。这种问题不从网络角度分析单靠调训练参数不可能解决。面试官专门拿网络来筛人非常合理。1.3 面试官考察的三个真实维度根据我面别人和被别人面下来的经验面试官问网络基础主要考察三个维度这三个维度也可以当作复习主线。第一概念是否清晰那些缩写和术语之间的边界能不能讲明白这决定了基础知识扎不扎实。第二能不能从分布式训练的需求推导出网络设计的逻辑而不是背答案这决定了你是不是真的理解了系统。第三面对训练慢通信卡死这类实际故障时能不能沿着网络链路逐层排查这决定了你有没有实战能力。后面几个章节基本就是围绕这三个维度展开的。2. 先建地图AI集群网络到底分几层2.1 从单机多卡到跨机通信速度断崖第1章说网络重要但很多人没意识到最核心的差距在哪。单机内多卡通信走的是PCIe或NVLink。NVLink的本质是GPU之间专用的高速总线目前主流H100平台的NVLink带宽能到900GB/s这个速度接近内存访问级别。而网络通信走网卡当前主流是400Gbps换算下来是50GB/s。也就是说单机内通信和跨机通信之间隔了一个数量级这是所有分布式系统设计都要面对的根本约束。这个差距带来连锁反应能放在单机内完成的数据交换尽量不跨机但模型规模上去以后跨机通信又无法避免。所以AI集群网络的目标非常明确尽量把跨机通信的带宽做大、时延做低同时让通信模式和拓扑匹配减少不必要的跨跳数。理解了这条主线后面所有知识点就能串起来。2.2 一套集群三张网计算、存储、管理在真实AI集群机房走一圈你会发现物理上并不只有一套网络。逻辑上至少分三张计算网络承载GPU之间的训练通信流量这是最高性能的网络普遍用InfiniBand或RoCE带宽以400G为主流存储网络承载数据集读取和checkpoint落盘对带宽要求高但时延容忍度稍高管理网络承载带外BMC、监控、控制指令带宽需求小普通以太网就可以。这三个平面很容易在面试中忽略但有个很好的延伸考点checkpoint写入存储网络时如果存储网络带宽不足会造成GPU空等这种隐性瓶颈在长训练任务里非常常见。回答集群里有哪些网络时把计算、存储、管理讲清楚再补一句存储网络在checkpoint频繁场景下的重要性会让面试官觉得你有实战意识。2.3 带宽、时延、BDP与对分带宽四件套面试基础题里带宽和时延是绝对高频。我建议用一句话说清区别带宽是单位时间能运多少货时延是货从出发到到达要多久。两者不矛盾但容易混淆。举例来说一辆货车走高速公路时延低但带宽也就一条车道如果换成大车队开同样的路带宽大了第一辆车到达的时间却不会更快。通信时间 数据量 / 带宽 时延 × 交互次数这个公式在面试里很常用建议背下来并理解每一项的实际含义。BDP带宽时延积稍微进阶一点它的意义是在等待返回消息的那段时间里链路上能容纳多少数据。如果这个值很大说明网络很容易被打满需要足够的并发流和缓冲区来利用带宽。对分带宽则是衡量网络最坏情况下的通信能力把网络切成两半两侧之间的总带宽。在评估网络拓扑是否会导致拥塞时对分带宽是核心指标。这四个概念讲清楚基础关基本就过了。3. 集合通信AI训练最核心的网络负载3.1 为什么面试一定要考AllReduce如果要我押一道AI Infra面试必考题我会押AllReduce。原因很简单数据并行训练里每个GPU独立算出一份梯度但在更新模型参数之前所有GPU必须拿到所有梯度的平均值这个操作就是AllReduce。它出现在每一次迭代里频率极高数据量极大。这里要强调的是AllReduce不只是一个操作它背后带出一整套思考方式这种所有节点到所有节点的通信模式不能简单理解为多发几次点对点通信因为点对点会产生严重的流量拥塞。设计上要考虑如何把全网流量打散到各条链路上如何让每个节点都承担相近的收发量如何减少总通信时间。面试官问到AllReduce其实是在问你能不能从通信模式出发思考网络设计而不是停留在API层面。3.2 Ring AllReduce的原理、时间推导和局限Ring AllReduce是数据并行里最常见的实现方式。思路是把所有GPU排成一个逻辑环每个GPU只向相邻的GPU收发数据。整个过程分两步第一步是Reduce-Scatter把数据切成N份每一份在环上接力式做求和最终每个GPU持有其中一份的完整结果第二步是AllGather每个GPU把自己持有的那一份广播给所有人最终每个GPU都拿到了全套均值。时间上每个分片从出发到完成规约大约需要经过N-1次传输考虑到并行流水线整体耗时近似为总数据量的两倍除以带宽再乘上一个与拓扑相关的系数。这个两倍就是所有数据被传输了两次一次规约一次广播。Ring的优雅之处在于每个节点都只和邻居通信不会出现单点热点但代价是时延随环长线性增加。所以超大规模集群更倾向用分层AllReduce、Tree AllReduce甚至把数据切成多个分段同时做多环并行。面试中能顺势说出Ring在卡数多时时延不好业界会用层级化方案来优化相当加分。3.3 集合通信原语和并行策略的映射关系除了AllReduce集合通信还有几个原语值得记熟。AllGather是每个节点把自己持有的数据广播给所有人数据总量随节点数线性增长Reduce-Scatter是每个节点先本地规约再分散传输最终每个节点得到部分结果Broadcast是单源到多目的Send/Recv则是点对点。这些原语看似基础却是理解各种并行策略的关键。数据并行主线是AllReduce但用了梯度分片技术之后其实可以拆成Reduce-Scatter AllGather张量并行和流水线并行里大量使用Send/Recv和AllGather专家并行的token路由则会产生大量稀疏的All-to-All流量。能把这层映射说清楚面试官会知道你不仅知道概念还知道它们在真实训练里怎么用。3.4 NCCL框架和硬件之间的翻译官讲到集合通信一定会提到NCCLNVIDIA Collective Communications Library。它是英伟达提供的集合通信库PyTorch DDP底层基本都走它。NCCL的作用是感知GPU拓扑选择最优的通信路径和算法常见因素包括GPU是否在同一PCIe switch下、是否同一机架、是否走IB网络。实际排障时NCCL的日志和环境变量也很重要。NCCL_DEBUGINFO会输出通信路径和拓扑信息NCCL_IB_DISABLE1可以强制走以太网遇到链路问题这些开关能快速定位。面试中谈到NCCL能举出这类实操细节非常加分。4. IB与RoCE v2面试高频的协议选型对比4.1 InfiniBand为什么是省心方案InfiniBand是HPC领域沉淀多年的高性能网络技术。它从设计之初目标就很明确为分布式计算提供高带宽、低时延、无损的网络。它的做法是全栈专用从网卡、交换机、线缆到协议都考虑了高性能和高可靠性还专门有子网管理器负责路由计算和故障恢复。实际使用IB的体验是稳定链路一旦up带宽基本能跑满很少出现传统网络里让人头疼的丢包重传问题。缺点也非常明显贵、闭环、学习门槛高而且IB世界的很多知识在通用数据中心里用不上。但要是公司追求训练性能上限运维团队又有经验IB仍然是不错的选择。4.2 RoCE v2把RDMA搬进传统以太网RoCE的全称是RDMA over Converged Ethernetv2版本使用IP/UDP封装可以跨越三层网络和传统以太网设施兼容。它的最大价值是普通交换机也能支撑RDMA级别的通信成本大幅下降。在互联网公司里RoCE 白盒交换机的方案相当流行原因就是改造现有数据中心网络的成本远低于新建一套IB网络。但天下没有免费的午餐。RoCE的核心挑战是以太网本身是有损网络而RDMA对丢包极度敏感一个微小丢包就可能导致重传风暴、带宽断崖。为应对这个问题RoCE网络必须依赖PFC、ECN、智能网卡等机制把有损网络伪装成无损。这套机制调好了RoCE能接近IB的性能调不好就是各种PFC风暴、网络卡死非常消耗运维精力。4.3 IB与RoCE v2对比一张表说清差异复习时用对比表来记忆很高效这里也分享给你面试可以按这个框架组织语言维度InfiniBandRoCE v2设计理念全栈专用为HPC而生复用以太网生态的RDMA方案网络层封装自有协议栈IP/UDP封装支持路由丢包控制原生无损硬件机制完善依赖PFC/ECN配置复杂成本设备贵生态封闭成本低兼容现有以太网运维复杂度相对低稳定高需精细调优典型场景超大规模HPC、头部AI集群互联网公司AI训练推理集群回答选型题时不要直接说IB好或RoCE好而是先给出约束条件规模多大、预算多少、是否需要兼容现有设施、运维具备什么能力。在这个前提下给出倾向性更合理。比如三千卡以下、已有成熟以太网运维的团队RoCE v2的综合性价比通常更好追求极致性能和技术闭环则是IB方向。4.4 交换机和拓扑CLOS/Fat-Tree是主流网络协议之外物理拓扑是另一块必考内容。传统数据中心常用三层树形结构从上到下是核心、汇聚、接入但它的最大问题是上行带宽容易不足流量越往上层越集中。AI集群要传输海量并行流量用这种结构会迅速拥塞。现在主流是CLOS架构也叫脊叶架构。简单理解Spine是骨干层Leaf是接入层每个Leaf都连接所有Spine任何Leaf之间通信最多三跳。好处是横向扩展能力极强需要更大带宽时往Spine层加交换机即可多路径也让流量能分散不容易出现单点瓶颈。面试常有一个追问怎么评估一个拓扑好不好回答方向就是对分带宽和路径数量。计算对分带宽时从Leaf规模、Spine规模、端口速率推导。能在这个问题上给出计算思维很容易留下好印象。5. 拥塞控制与调优AI集群最容易踩的坑5.1 AI流量模式和传统网络完全不同前面说过AI集群的流量是典型的周期性爆发加全集群同步。每次训练迭代开始所有GPU几乎同时发起集合通信一瞬间可能把交换机端口打满形成微突发。传统网络里这种突发可以用TCP的重传和缓冲吸收掉影响不大但在RDMA场景下丢包就是灾难。这里必须拉出一个关键概念in-cast流量拥塞也就是多台服务器同时向一台交换机或一台服务器发包造成瞬时过载。AllReduce的Gather阶段就是典型的in-cast模式。面试里如果能主动说出AI流量是同步的、突发的、有模式的多对一流量和通用的任意到任意流量模型不同说明你真的理解问题本质。5.2 PFC、ECN这些机制该怎么答无损RDMA网络背后有两个机制必须掌握PFC和ECN。PFC优先级流控的作用是当交换机缓冲区快满时向上游设备发送暂停帧让上游暂时停止发送从而不丢包。这像高速路上前方拥堵时交警拦住后方车辆。副作用是可能产生队头阻塞也就是一条流的暂停会卡住其他流严重时形成PFC风暴网络瘫痪。成熟的RoCE网络会把PFC触发阈值设得很高并尽量靠其他机制避免触发PFC。ECN显式拥塞通知是更柔性的机制交换机检测到拥塞时给报文打标记接收端感知后把拥塞信息反馈给发送端发送端主动降速。这就像导航软件告诉你前方堵车你自主变道减速而不是交警硬拦。ECN配合RoCE v2的DCQCN算法可以实现比较平滑的拥塞控制。面试里能对比PFC和ECN的定位——PFC是兜底ECN是主动调节——再提一句两者互操作不当可能引发的问题就是高手回答。5.3 训练慢排查的实操路径最后分享一个真实排障路径面试同样能用。遇到训练变慢我的习惯是分四步第一步看GPU利用率如果GPU整体空等多半是通信瓶颈第二步看NCCL日志和profiling确认卡在哪个集合通信原语、哪一跳第三步看网络监控关注交换机端口流量、丢包计数、PFC触发计数出现丢包基本能锁定物理链路或拥塞参数问题第四步检查光模块光功率和线缆状态很多通信慢的根因是光模块衰耗过大引发大量重传。这套路径的价值在于把抽象问题拆成可执行的排查动作。面试官问你如何排查训练慢时可以按这个顺序回答再补一句越是慢的问题越要从物理层看起因为配置型和物理型故障占了大多数。这句话是我实战中的真实体会。6. 面试真题与答题思路速查6.1 基础概念类快速过一遍准备面试时我会快速过一遍基础题确保每道题能在30秒内答出要点。这里列几道最常考的RDMA是什么需要强调两点直接内存访问、绕过操作系统内核协议栈所以时延低、CPU占用低。NVLink和网络的差别NVLink是GPU之间或GPU与CPU之间的高速总线作用范围在单机内以太网或IB是跨机的。带宽和时延的区别用运货速度和到货时间类比最直观。对分带宽怎么理解把网络切成两半后两侧之间的总带宽用来衡量网络最坏情况通信能力。这些题目本身不难但很多人答得散原因是没形成框架。建议回答时先给一句话定义再补一个实际训练场景里的例子比如AllReduce里最怕的就是带宽不足所以对分带宽直接影响扩展性这样内容就立体了。6.2 原理推导类展现建模能力面试官可能会问数据并行下把卡数从128扩到512AllReduce通信时间怎么变很多人直接回答变慢四倍但正确的是分情况讨论。Ring AllReduce里单节点分到的分片数据量等于总数据量除以卡数数据量大时扩展卡数单节点处理量反而减少但时延项会随环长增加。还要考虑拓扑卡数增加往往意味着跨Spine流量变多拥塞加剧。所以准确的回答是需要从带宽和时延两个维度分开建模。这种定量加定性的回答方式很考察建模能力。面试官也经常设置变体比如如果换成AllGather呢AllGather是每个节点把自己的数据广播给所有人数据量随节点数线性增长那扩卡后通信时间通常确实会增加。能针对不同原语作出不同推导说明你真的理解而不是背了一个公式。6.3 场景设计类先建模再选型场景题也很有代表性给你512张A100卡要搭一个训练集群你怎么选网卡、交换机和拓扑我的答题框架是把问题拆成四步先算需求按单卡通信带宽400G来算512卡总需求约200Tbps考虑实际到达率还需要预留余量再选网络类型确定IB还是RoCE预算充足、追求稳定选IB已有以太网生态选RoCE然后定拓扑CLOS架构Leaf按每机架8台服务器乘8卡估算Spine按对分带宽需求定数量最后讨论运维留出监控、告警和故障切换预案。这个框架可以应对很多变体比如卡数翻倍、加训练任务、引入推理服务等。核心逻辑是先有需求再有设计而不是一上来就报一堆型号参数。面试官听你讲设计时关注的是你有没有算过账这比记住具体型号重要得多。6.4 故障排查类思路比答案更重要这类题通常给一个现场描述训练迭代突然变慢日志里出现NCCL超时你怎么办记住一个原则不要跳着答不要一上来就说是某条链路坏了。正确顺序是先定范围用profiling确认是通信卡顿还是计算卡顿再定位位置从日志拓扑信息找故障点然后查网络证据丢包、重传、PFC计数最后给出行动换线、换光模块、调参数或重启NCCL。你甚至可以主动说我会先低优先级观察一段时间很多网络问题是抖动性的快速重启反而掩盖真相。这种回答明显更有工程师气质也更容易让面试官产生共鸣。实际运维里重启有时只是缓解症状根因还在能体现这层思考说明你不是只会抄命令。7. 一些个人经验和建议这篇文章写到这里主线内容已经覆盖得比较完整最后聊一点个人感受。AI Infra面试准备最容易犯的错误是把网络知识当成一门背诵课——今天背RDMA定义明天背ECN原理后天背CLOS架构看起来都会一遇到综合题就露馅。我的建议是用一条主线串起来从大模型训练需要通信推导出集合通信进而推导出网络需要高性能和低时延再推导出硬件选型和拓扑设计最后推导出拥塞控制的重要性。顺着这条链复习你会发现所有知识点都是必然出现的而不是孤立存在的。另一个建议是尽量动手做一次小实验。NVIDIA官方有NCCL的测试工具比如nccl-tests你可以在两台机器上跑AllReduce的benchmark打开NCCL_DEBUGINFO看看路径选择再用ethtool查看网卡协商速率和丢包计数。亲眼看一次带宽没跑满、调整参数后明显改善的过程比死记硬背十篇资料都有用。最后分享一个小技巧面试时被问到一个不确定的网络概念先别慌不要硬背答案。可以说我理解这个问题可以从几个层面看然后把你最熟悉的一层展开把不确定的部分坦诚带过。面试官在意的是思维路径不是完美答案。AI集群网络这个领域迭代非常快从IB的HDR到NDR从RoCE v1到v2再到各种增强很多细节很快会过期但底层的方法论不会变。把思路练扎实比囤积一堆参数和名词更有价值。