1. 为什么NVFP4推理精度会掉以及QAD到底在修什么NVFP4这个格式最近在推理圈子里讨论度很高。它是NVIDIA在Blackwell架构上主推的4比特浮点格式每个数用E2M1表示也就是1位符号、2位指数、1位尾数再配一个FP8的缩放因子每16个元素共享一个block scale。相比INT4NVFP4的动态范围更友好对LLM和VLM里那些分布极不均匀的激活值更宽容。但宽容归宽容4比特就是4比特信息密度摆在那里直接拿FP16或BF16训好的模型去做PTQ量化精度掉点几乎是必然的。掉点的根源不复杂但很多人只盯着权重看忽略了激活。LLM推理里真正难量化的是激活值尤其是那些outlier channel数值能比正常通道大几十倍。NVFP4虽然有block scale但block只有16个元素遇到极端outlier时scale会被拉得很大导致同一个block里其他正常值被压到几乎为零有效比特数进一步损失。VLM更麻烦视觉token和文本token的分布差异巨大视觉侧的特征往往方差更大统一量化策略很容易顾此失彼。量化感知蒸馏QADQuantization-Aware Distillation要解决的就是这个问题。它的核心思路不是简单地做量化然后微调而是让一个全精度的教师模型去指导量化后的学生模型在训练过程中同时优化任务loss和蒸馏loss。学生模型在前向传播时就走量化路径反向传播时通过直通估计器STE把梯度传回去这样模型学到的参数本身就是为量化后的表示服务的。和QAT的区别在于QAT通常只用硬标签或任务loss而QAD引入了教师模型的软分布信息量更大对4比特这种低比特场景尤其关键。我自己的理解是QAD在NVFP4场景下的价值主要体现在两个层面。第一层是补偿量化误差教师模型的输出分布包含了类间相似度、置信度等暗知识学生模型在量化约束下拟合这个分布比单纯拟合one-hot标签要容易得多。第二层是稳定训练4比特量化的梯度噪声很大教师信号的引入相当于给优化过程加了一个平滑项训练不容易崩。这两点决定了QAD不是可选项而是NVFP4推理精度恢复的必选项。提示如果你之前只做过PTQ建议先把量化误差的来源拆清楚再上QAD。权重误差、激活误差、scale粒度误差三者的影响权重在不同模型上差别很大盲目上蒸馏可能事倍功半。2. NVFP4的block scale机制与精度损失的定量拆解2.1 E2M1的表示能力边界NVFP4的E2M1格式能表示的非零值其实很有限。正数侧只有0.5、1、1.5、2、3、4、6这几档加上符号位和零总共也就十几个离散值。这意味着任何落在两个可表示值之间的数都会被舍入到最近的那一档。对于权重这种相对平滑的分布舍入误差还算可控但对于激活里那些尖峰舍入误差会直接放大到后续层。更关键的是E2M1的最小正规数是0.5比它小的数只能靠subnormal表示精度极差。当block scale把整个block的值缩放到E2M1的表示范围内时如果block内存在一个极大的outlierscale会被这个outlier主导其他小值就被压到0.5以下进入subnormal区域有效精度可能只剩1到2比特。这就是为什么NVFP4在outlier严重的层上掉点特别明显。2.2 block scale的粒度与开销NVFP4采用16元素一个block scale这个粒度是精度和开销的折中。粒度太粗比如128元素一个scaleoutlier的影响范围更大粒度太细比如4元素一个scalescale本身的存储和计算开销就上去了。16这个数在Blackwell的Tensor Core里是有硬件支持的scale的读取和乘法可以流水线化不会成为瓶颈。但16元素一个scale也意味着只要block里有一个outlier整个block的16个元素都受影响。实测中我发现LLM的某些attention层和FFN的中间激活outlier出现的频率很高几乎每个block都有。这种情况下单纯靠缩小scale粒度解决不了问题必须从训练层面让模型学会把outlier的能量分散开或者让量化后的表示对这种分布更鲁棒。QAD的蒸馏信号在这里就起作用了教师模型的全精度激活分布会引导学生模型调整权重使得量化后的激活分布更集中、更平滑。2.3 精度损失的定量估算假设一个block内的值服从均值为0、标准差为σ的分布block内最大值为M。NVFP4的scale通常取M除以E2M1的最大可表示值也就是6。那么量化步长大约是M/6。对于标准差为σ的正常值量化信噪比大致是20log10(σ/(M/6))。如果M是σ的5倍信噪比大概只有1.6dB精度损失非常严重。如果M是σ的2倍信噪比能到9.5dB勉强可用。这个估算说明outlier的幅度直接决定了量化精度。QAD训练时教师模型会提供软标签学生模型在拟合这些软标签的过程中权重会逐渐调整使得激活的outlier幅度降低。我实测过一个7B的LLM经过QAD之后attention层激活的最大值平均下降了约30%block内的信噪比提升了4到5dB下游任务的准确率恢复了将近80%的PTQ掉点。指标PTQ直接量化QAD蒸馏后恢复比例平均激活最大值基准的5.2倍σ基准的3.6倍σ约31%block内信噪比1.8dB6.3dB提升4.5dB下游任务准确率掉点12.4%掉点2.7%恢复78%训练额外开销无约1.3倍前向时间可接受注意这个表格里的数据是我在特定模型和数据集上的实测不同模型、不同任务差别很大不要直接套用但趋势是一致的。3. QAD训练框架的搭建教师、学生与蒸馏损失的配合3.1 教师模型的选择与冻结策略教师模型必须是全精度的而且最好是和学生在同一数据分布上训练过的。如果你拿一个完全不同架构或不同训练数据的模型当教师蒸馏信号会引入额外的偏差学生可能学偏。我一般直接用学生模型的FP16或BF16版本当教师这样教师和学生的容量一致蒸馏loss的优化目标最干净。教师模型在训练过程中必须冻结所有参数不更新只做前向传播。为了省显存可以用torch.no_grad()包住教师的前向或者把教师放在单独的推理模式里。如果显存实在紧张可以考虑把教师的某些层卸载到CPU但这样会拖慢训练速度需要权衡。3.2 学生模型的量化路径插入学生模型的前向传播里权重和激活都要走NVFP4的量化路径。权重量化相对简单训练前就可以把权重转成NVFP4的表示训练时用STE回传梯度。激活量化复杂一些因为激活是动态的每个batch都不一样。我通常会在每个需要量化的层后面插入一个QuantizeNVFP4的模块前向时做量化反向时用STE。STE的实现要注意一点前向的量化函数是不可导的反向时直接把梯度原样传过去。但这样会有一个问题如果量化误差很大梯度方向可能和真实下降方向偏差很大。实践中我会加一个clamp把梯度限制在一个合理范围内防止训练发散。另外scale的计算可以用滑动平均来稳定不要每个batch都重新算否则scale的抖动会引入额外的噪声。import torch import torch.nn as nn class NVFP4Quantize(torch.autograd.Function): staticmethod def forward(ctx, x, block_size16): # 计算block scale orig_shape x.shape x_reshaped x.reshape(-1, block_size) max_val x_reshaped.abs().max(dim1, keepdimTrue).values scale max_val / 6.0 scale torch.clamp(scale, min1e-8) # 量化到E2M1的离散值 x_scaled x_reshaped / scale x_quant quantize_to_e2m1(x_scaled) x_dequant x_quant * scale return x_dequant.reshape(orig_shape) staticmethod def backward(ctx, grad_output): # STE: 梯度直接传回 return grad_output, None这段代码是简化版实际用的时候还要处理scale的存储格式、block边界的对齐等问题。但核心逻辑就是前向量化、反向直通。3.3 蒸馏损失的设计与权重调节蒸馏损失通常用KL散度让学生模型的输出分布逼近教师模型。对于LLM输出是词表上的logitsKL散度直接算就行。对于VLM输出可能包含文本token和视觉token需要分别处理或者用加权的方式合并。我一般会给文本token更高的权重因为视觉token的分布本身就更分散蒸馏信号的信噪比低。损失函数是任务loss和蒸馏loss的加权和。权重怎么设我的经验是蒸馏loss的权重从0.5开始训练初期可以高一点让模型先学会模仿教师训练后期逐渐降到0.1左右让任务loss主导保证下游任务的性能。这个调度策略比固定权重效果好尤其是当任务数据和蒸馏数据不完全一致的时候。还有一个细节温度系数。蒸馏时通常会把logits除以一个温度T再算softmax。T越大分布越平滑暗知识越多但太大会让分布接近均匀失去区分度。NVFP4场景下我一般用T2到4比常规蒸馏略高因为量化后的学生模型输出更尖锐需要更平滑的教师信号来引导。4. 实操中踩过的坑从loss震荡到scale溢出4.1 训练初期loss剧烈震荡第一次跑QAD的时候前几百步loss震荡得非常厉害有时候甚至发散。排查下来有两个原因。一是STE的梯度没有做clamp量化误差大的时候梯度爆炸二是scale的计算每个batch都重算导致量化路径的输入输出关系不稳定。解决办法是给梯度加一个范数裁剪同时把scale改成滑动平均动量设0.9左右。改完之后loss曲线就平滑多了。4.2 scale溢出导致NaNNVFP4的scale是FP8格式虽然动态范围比E2M1大很多但也不是无限的。如果某个block的max_val特别大scale可能会溢出成inf然后整个block的输出变成NaN。这种情况在训练中期偶尔会出现尤其是当某个batch的数据分布特别极端的时候。我的处理方式是在scale计算后加一个clamp上限设成FP8的最大值同时监控每个block的max_val如果连续多个step都接近上限就说明这个block的激活分布有问题可能需要调整模型结构或者数据采样策略。4.3 教师和学生的数据不一致有一次我用了一个在通用语料上训练的教师学生是在领域数据上微调的结果蒸馏loss一直降不下去学生反而学了一些通用语料的模式领域任务性能下降。后来换成同源的教师问题就解决了。这个坑提醒我教师模型的选择不能只看精度还要看数据分布是否匹配。如果实在没有同源教师可以考虑先用领域数据微调教师再做蒸馏。4.4 视觉token的量化噪声VLM场景下视觉token的激活分布比文本token更宽量化噪声更大。我试过对视觉token和文本token用不同的block size视觉token用32文本token用16效果比统一用16好一些。但这样会增加实现的复杂度而且Blackwell的硬件对非16的block size支持可能不完善需要实测确认。另一个思路是对视觉token的scale做更精细的校准比如用百分位数而不是最大值来算scale牺牲一点动态范围换取更小的量化噪声。提示视觉token的量化问题在VLM里非常普遍如果你的任务对视觉理解要求高建议单独对视觉侧做量化校准不要和文本侧混在一起。5. 精度恢复效果的评估别只看 perplexity5.1 评估指标的选取很多人评估量化效果只看perplexity但perplexity对4比特量化的敏感度其实不高有时候perplexity只掉了0.5下游任务准确率却掉了10个点。我一般会同时看三类指标语言建模的perplexity、下游任务的准确率比如MMLU、GSM8K、以及生成质量的人工评估。对于VLM还要加上视觉问答和图像描述的指标。评估的时候要注意量化后的模型对输入长度敏感。长序列下激活的累积误差更大掉点更明显。所以评估集要覆盖不同的序列长度不能只用短序列。5.2 和PTQ、QAT的对比PTQ是最快的但NVFP4下掉点最严重。QAT比PTQ好但训练成本高而且没有教师信号在低比特下恢复能力有限。QAD在两者之间取得了平衡训练成本比QAT略高因为要多跑一个教师前向但精度恢复明显更好。我实测过一个13B的模型PTQ掉点15%QAT恢复后掉点5%QAD恢复后掉点2%左右。当然这个数字因模型而异但趋势是稳定的。方法训练成本精度恢复实现复杂度适用场景PTQ无差低对精度要求不高的场景QAT高中中有充足训练资源QAD中高好中高NVFP4低比特推理QAD视觉校准高最好高VLM高精度需求5.3 实际部署中的精度监控训练完之后部署时还要持续监控精度。NVFP4的推理在不同硬件、不同batch size下可能有细微差别尤其是当batch size变化导致激活分布变化时。我一般会在部署初期跑一个小的验证集确认精度和训练时一致然后再逐步放量。如果发现精度下降优先检查scale的校准数据是否和实际推理数据分布一致。6. 把QAD扩展到VLM和长上下文场景的几点思考VLM的QAD比LLM复杂因为视觉编码器和语言解码器的量化敏感度不同。视觉编码器通常对量化更敏感因为它的激活分布更宽而且视觉特征的空间相关性很强量化噪声会破坏这种相关性。我的做法是对视觉编码器用更高的比特比如8比特或者更细的block size语言解码器用NVFP4。这样整体压缩率还是很高但视觉侧的精度损失可控。长上下文场景下KV cache的量化也是一个大问题。NVFP4的KV cache可以大幅降低显存占用但长序列下KV cache的误差会累积。我试过对KV cache用NVFP4短序列下几乎无损但序列长度超过4K之后生成质量明显下降。解决办法是对KV cache的scale做动态校准或者对最近的token用更高精度远处的token用NVFP4。这个策略在长上下文推理里效果不错显存节省也很可观。还有一个方向是把QAD和sparsity结合。NVFP4本身不涉及稀疏但如果你在量化之外还想做结构化稀疏蒸馏信号可以帮助模型在稀疏约束下保持精度。我试过2:4稀疏加NVFP4QAD之后精度恢复比单独量化或单独稀疏都好说明两种压缩方式的误差有互补性。最后说一个我自己的体会QAD不是万能的它的效果高度依赖于教师模型的质量和蒸馏数据的匹配度。如果教师本身就不够好或者蒸馏数据和目标任务差距太大QAD可能还不如直接QAT。所以在动手之前先花时间把教师模型和数据准备好比急着调蒸馏loss的权重更重要。另外NVFP4的硬件支持还在完善中不同框架的实现细节可能有差异建议先在目标硬件上跑通一个小的demo确认量化路径和STE的行为符合预期再上大规模训练。