做生成模型这两年Flow MatchingFM这个名字出现的频率越来越高。我第一次真正理解它是在复现扩散模型的过程中发现不少人把 DDPM 的噪声预测直接改成速度预测训练流程更简单采样还能用更少的步数生成质量却几乎不掉。后来才意识到这就是 Flow Matching 的核心思想之一。Flow Matching 本质上是生成模型的一套训练框架目标是把一个简单分布——通常是标准高斯噪声——通过一个随时间变化的向量场平滑地“推”到数据分布上。它解决了传统连续归一化流训练困难、采样昂贵的痛点又能直接兼容扩散模型那套网络结构和采样器。任何用过扩散模型的人或者想系统入门生成模型的人把这一套吃透都很有价值。这篇文章会从核心原理讲到实操细节把我踩过的坑一并写出来尽量讲人话。1. Flow Matching 到底在解决什么问题1.1 它在生成模型地图上的位置先梳理一下生成模型的大致路线。一类是 GAN 那种对抗式思路训练一个生成器骗过判别器一类是变分自编码器把数据压到隐空间再采样重建还有一类是基于似然的模型比如自回归模型一步一步预测下一个 token 或像素。扩散模型和 Flow Matching 都属于“先加噪再学去噪”这个大家族从纯噪声出发通过一个确定性的或带随机性的过程一步步演变成数据样本。这个家族里有个共同点我们并不直接学数据的概率密度而是学一个“演变规则”。扩散模型学的是噪声预测或分数Flow Matching 学的则是速度场velocity field。形式不同底层逻辑相通。如果只看采样过程两者都像在解一个常微分方程ODE给定初始噪声按学到的场一步一步推进到数据。Flow Matching 的特殊之处在于它把“连续归一化流”Continuous Normalizing Flow下称 CNF这种理论上很优雅、实操上很难训的模型拉回到了可以落地的水平。CNF 的名字里带“流”因为它把分布变化看作粒子在向量场中随时间流动。虽然表达式很漂亮但训练困难一直劝退很多人。Flow Matching 就是来解决这个问题的。1.2 连续归一化流到底难在哪要理解 Flow Matching 的价值得先明白 CNF 为什么让人头疼。CNF 定义一个随时间变化的向量场 v(x, t)粒子从这个场里流动密度随时间演化。给定初始分布 p_0这个向量场就唯一决定了一个后续分布 p_t并且它们之间由“连续性方程”约束∂p_t/∂t -∇·(p_t v_t)如果我要让 p_1 正好等于数据分布理论上只需要找到一个合适的向量场让这个方程的解在 t1 时落到数据分布上。问题在于我怎么知道某个向量场对应哪个分布直接算的话需要对整个空间做积分还要考虑无穷多个粒子轨迹的相互作用。高维数据比如 128×128×3 的图像下这个全局向量场根本无法显式写出更别说监督训练。传统做法是用最大似然估计但每一步都需要通过积分来模拟整条轨迹成本极高而且积分误差会随着训练不断累积。这就是为什么早年 CNF 只在小规模、低维数据上玩得转拿到图像和音频上基本动弹不得。1.3 用一条条件化思路破局Flow Matching 的破局思路非常朴素我不去求那个不可见的全局向量场而是自己“构造”一堆条件向量场再把它们的期望当作训练目标。什么意思呢假设你知道每个真实样本 x_1那么你可以人为指定一条从噪声到 x_1 的路径——比如“噪声和真实样本做线性插值”。对每一条这样的单样本路径向量场是能显式写出来的。然后让神经网络去拟合这个条件向量场对所有的样本、所有的时间 t 求平均。关键点在于这些条件向量场的边缘聚合效应恰好等价于某个全局概率路径的向量场。也就是说一个原本要解全局问题的任务被拆成了无数个局部的、简单的条件回归任务。每个条件回归只看“从当前状态走向哪个目标样本”不需要知道整个分布的演化。这个拆法在数学上是可证明的在期望意义下匹配条件向量场和匹配边缘向量场梯度方向是一致的。这个思想并不复杂但效果很直接——训练变成纯粹的回归问题像监督学习一样稳定不需要最大似然不需要对抗训练也不需要数值积分。只要网络容量够多训一段时间就能得到一个能用的向量场。这套框架就是 Flow MatchingFM也常被称为条件流匹配Conditional Flow MatchingCFM。2. 概率路径和向量场到底怎么构造2.1 先厘清几个基本概念Flow Matching 里有三个关键角色概率路径probability path、向量场vector field、流flow。概率路径描述的是“t 时刻的分布长什么样”记作 p_t(x)。当 t0 时是噪声分布通常取标准高斯当 t1 时是数据分布。中间态则是从噪声到数据的过渡分布。向量场 v_t(x) 告诉每个位置的粒子该往哪个方向运动是学习的目标。流则是这个向量场的积分结果沿着向量场走粒子从初始位置会运动到终点。把三者串起来理解给定一个初始分布和一个向量场粒子演化出的分布轨迹就是概率路径。反过来如果你想好了概率路径也能反推向量场。Flow Matching 的思路是先手工设计一条好的条件概率路径每个真实样本 x_1 有自己的“私人路线”再据此算出条件向量场最后用神经网络回归这个条件向量场。网络学到的东西会被用作采样时的 ODE 速度。2.2 最常用的线性插值路径怎么算最常见的路径构造方式是线性插值。对任意一个真实样本 x_1再从标准高斯里取样一个噪声 x_0定义x_t (1-t) x_0 t x_1t0 时 x_t 就是纯噪声t1 时正好是数据点。t 在中间时x_t 是噪声和数据的加权平均。这个线性插值路径对应的分布也很好算如果把 x_0 的分布固定为标准高斯那么给定 x_1 时 x_t 服从一个均值为 t x_1、方差为 (1-t)² 的高斯分布。下一步是求条件向量场。对上面的式子两边对 t 求导dx_t/dt x_1 - x_0但问题是采样时 x_0 我们不知道网络也看不到 x_0。所以要把式子改写掉。因为 x (1-t)x_0 t x_1反解出 x_0 (x - t x_1)/(1-t)代入导数式dx_t/dt x_1 - (x - t x_1)/(1-t) (x_1 - x)/(1-t)这就是那个经典的条件向量场形式u_t(x|x_1) (x_1 - x) / (1-t)注意看好这个向量场只依赖当前的 x、目标 x_1 和时间 t不再依赖噪声 x_0。训练时网络输入 (x_t, t)输出一个和 x 同维度的向量目标就是让输出逼近 (x_1 - x)/(1-t)。顺带说一句如果你的路径定义换成更一般的 a(t)x_0 b(t)x_1向量场形式会变成 (b(t)x_1 a(t)x_0)再消去 x_0 就得到一般式。线性插值只是最简单、最好用的那一种。2.3 路径形状直接决定采样效率路径设计不只是“随便定一条线”它直接影响采样需要多少步。扩散模型的概率路径是弯的。从纯噪声到数据中间过程看起来像一条弧线粒子走的是曲线轨迹。对曲线轨迹做数值积分步数少了误差就大这就是为什么扩散模型动辄需要几十上百步采样。Flow Matching 如果用线性插值路径粒子轨迹更接近直线。直线轨迹的数值积分误差要小得多同样是 Euler 方法20 步可能就够用加速到 10 步也不觉得质量有明显下降。更极致的是把轨迹“拉直”。如果你用最优传输的配对方式——把和噪声样本“最匹配”的数据样本配到一起——那么每一条条件路径会非常接近直线甚至接近“每个粒子沿直线从噪声走到数据”。路径越直少步采样的上限越高这也是后面整流、再训练reflow这类玩法的底层动机。断论很简单路径的弯曲程度基本决定了最终能用多少步采样换回同级别的质量。3. 训练目标和完整流程3.1 训练损失是怎么来的Flow Matching 的训练目标长得很像普通的 L2 回归。用 θ 参数化的网络 v_θ(t, x) 去逼近条件向量场 u_t(x|x_1)损失是L E_{t, x_1, x_0} [ || v_θ(t, x_t) - (x_1 - x)/(1-t) ||² ]x_0 从标准高斯采样x_1 从数据集采样t 从 [0, 1] 采样x_t (1-t)x_0 t x_1。有人可能会困惑为什么回归“带条件的私人向量场”最后学到的却是一个“全局向量场”这正是上一章说的关键定理。所有条件路径的边缘分布如果等于真实数据的边缘分布那么条件向量场关于 x_1 的期望就重构出了全局向量场。而平方损失在取期望时条件向量场里对 x_1 的隐式依赖恰好被积分掉导致梯度和直接回归全局向量场一致。所以即使网络从没见过 x_1 的“身份”从数据分布平均意义上看它就是那个全局速度场。这个性质的直接意义是你可以用最简单的最小二乘逻辑去理解整个训练不用管什么连续性方程、什么最大似然稳定的很。3.2 训练与采样伪代码走一遍直接给一套能跑的伪代码方便你对照着复现。# 训练单步更新 import torch def train_step(model, x1, optimizer): # x1: batch 的真实数据, shape [B, C, H, W] B x1.size(0) # 采样时间 t ~ U[0, 1)工程上常用 [0, 0.999] 避免除零 t torch.rand(B, devicex1.device) * 0.999 t t[:, None, None, None] # 广播到空间维度 # 采样噪声 x0 ~ N(0, I) x0 torch.randn_like(x1) # 线性插值得到中间状态 xt (1 - t) * x0 t * x1 # 条件向量场目标 u x1 - x0 # 等价于 (x1 - xt) / (1 - t) # 网络预测速度 v_pred model(xt, t.squeeze()) # MSE 损失 loss torch.mean((v_pred - u) ** 2) optimizer.zero_grad() loss.backward() optimizer.step() return loss.item()注意这里目标写成了x1 - x0和(x1 - xt)/(1-t)完全等价因为 xt (1-t)x0 t x1。用哪一种都行数值上推荐后者更稳一些尤其是 t 接近 1 时前者的梯度路径不会有分母爆炸问题但前者实现更简单。我在自己的实现里两种都试过差异不大关键是别在 t1 处让分母变成零。采样是反向过程顺着 ODE 积分。记住路径方向是从噪声到数据也就是 t 从 0 往 1 走# 采样Euler 法求解 ODE def sample(model, steps20, latentNone): if latent is None: x torch.randn(1, C, H, W, devicedevice) else: x latent.clone() dt 1.0 / steps for i in range(steps): t torch.full((1,), i / steps, devicedevice) v model(x, t) x x dt * v return x有一个比较容易搞反的细节很多扩散代码里采样是 t 从大的往小的走从纯噪声到数据是 tT→0而 Flow Matching 线性插值路径里 t 从 0 到 1 才是去噪方向。写循环之前先想清楚你的 t 语义不然会训出来乱飞的场。3.3 和扩散模型的等价性与差异用惯扩散模型的人一定会发现Flow Matching 的这套训练和扩散模型本质上可以互相转化。扩散模型前向过程是 x_t √(ᾱ_t) x_1 √(1-ᾱ_t) ε网络预测噪声 εFlow Matching 是线性插值网络预测速度 v。两边的网络输入结构几乎一样就是“带噪样本 时间”只是输出头的含义不同。如果把扩散模型的 ODE 形式改写模型输出的噪声项可以变成一个组合的速度量。反过来Flow Matching 学到的速度也能还原成某种分数或噪声预测。换句话说选择一个特定的概率路径和一个特定的噪声调度扩散模型就是 Flow Matching 在某种参数化下的特例。这也是为什么很多库比如社区的 diffusers 生态可以直接用几乎相同的 U-Net 或 DiT 主干同时支持两种范式。差异主要在训练目标的简洁性上。扩散模型的训练往往需要仔细设计噪声调度、损失加权Flow Matching 的默认配置就是均匀时间采样、L2 速度回归超参数少了好几个。我的体感是在没有专门调参的情况下Flow Matching 的稳定性通常更好尤其是对梯度的尺度波动没扩散那么敏感。4. 实操中真正要关心的细节4.1 时间采样策略别只会均匀采样论文和最简单的实现都用 t ~ U[0,1]这个确实能训。但实际训练中均匀采样不是最优的。原因在于损失在不同 t 区间的量级和重要性不均匀。t 接近 0 时x_t 基本就是噪声目标向量场很大概率指向真实数据分布这个区域的损失很“重”但网络学到的主要是如何从噪声起步t 接近 1 时x_t 已经很接近数据结构细节最多但目标值的绝对值小损失量级也被压缩网络容易忽略这一段的细节优化。真正决定生成内容“长什么样”的中间时间段在均匀采样下被分配的样本不见得够。我实践下来有两种有效做法。第一种是把 t 的采样分布往中间聚拢比如用 logit-normal 分布或者 beta 分布让中段时间被更多次采样。第二种是简单粗暴地把 t 的范围截断比如采样区间 [0.001, 0.999]避免端点极端情况。注意截断不要过度否则网络在极端 t 区域没有见过样本推理时会空转。还可以做自适应重要性采样先跑一小段训练记录损失曲线然后按损失大小调整 t 的概率密度把更多训练配额分给“还没学好的时间点”。这类做法收益有时候不小但工程复杂度略高小项目可以先不上。4.2 网络工程与超参数Flow Matching 对主干网络的选法几乎照搬扩散模型U-Net、DiT、带时间嵌入的 Transformer 都可以。输入是带噪样本和时间输出和输入同维度。关键差别只有一个输出通道预测的是速度而非噪声但这不影响网络结构设计只影响初始化。实话说直接在现有扩散代码里把输出头改成预测速度然后换掉训练目标一般就能跑通。训练超参方面我建议先沿用扩散模型的默认配置图像类的 U-Net 用约 1e-4 的学习率Transformer 类主干通常配合 AdamW微调时甚至可以拉到 1e-5。batch size 的影响比学习率更隐蔽——Flow Matching 的条件向量场期望是在所有样本上取的batch 太小期望的估计方差大损失曲线会抖但最终影响有限。EMA指数移动平均强烈建议开和老经验一样能显著改善采样质量方差。数据的预处理也值得上心。输入必须做归一化到比如 [-1, 1]不然和标准高斯噪声的量纲对不上。如果你的数据本身方差特别大或特别小线性插值的中间态方差会被噪声主导网络学到的是“不动”而不是“演化”。时间嵌入建议用标准的 sinusoidal embedding 或者 RoPE 风格的位置编码。有的实现会把时间 t 先做缩放再进网络比如乘 1000 再编码模仿扩散模型的 timestep 习惯这个细节是否必要有争议但兼容性更好我倾向于保留。4.3 采样器与步数的权衡Flow Matching 训练完得到的是一个确定性 ODE采样就是对它做数值积分。最简单也是我用得最多的是 Euler 方法。路径比较直的时候20 步 Euler 足够10 步也能出图只是细节略软。想要在少步数下提升质量换成 Heun 法二阶 Runge-Kutta是最便宜的升级一个额外评估步可以把 10 步 Euler 的质量拉到接近 20 步。还有一类技巧是把扩散界成熟的 ODE 求解器搬过来用比如 DPM-Solver 这类高阶求解器在 Flow Matching 的 ODE 上同样有效。实际操作时我一般不自己写求解器直接用训练框架里现成的采样器接口改改 step 数和 order。步数不是越少越好。太少的步数即使路径很直也会出现“中间崩塌”现象大量噪声粒子走到半路就开始互相碰撞生成结果出现平均化、颜色发灰。如果模型路径不太直这个问题更明显。想压步数正确路线是先做整流把路径拉直再降步数而不是硬用 2 步去 Ealer 一个弯路径。5. 踩坑记录常见问题与排查思路5.1 训练崩溃、NaN 或损失爆炸Flow Matching 虽然比扩散稳定但照样有主人遇过 NaN。最常见原因有三个。第一个是 t1 处的除零。如果你在损失里用(x1 - xt)/(1-t)这种显式分母采样点一旦正好落在 1分母为 0梯度直接爆炸。解决方法是把 t 的采样上限定在 0.999。别想着“概率为零不会碰到”浮点边界下什么都可能发生。第二个是学习率过大加上混合精度。fp16 训练时速度场的梯度尺度偶尔很大容易被裁剪成 NaN。我自己的排查顺序是先关掉混合精度跑几百步如果消失那问题在动态损失缩放如果还在再把学习率减半。混合精度本身和 Flow Matching 没有矛盾但首次复现时建议先跑 fp32减少变量。第三个是网络初始化不当。某些代码里直接把扩散模型权重迁移过来当初始化预测头的统计特性不匹配早期损失巨大且不稳定。如果从零训练最好让最后一层输出用零初始化或者小方差初始化让初始预测速度接近零这样开始的优化比较平缓。排查时先看 loss 曲线NaN 之前一般伴随 loss 突然飙升到极大值。把 t 的分布画出来如果爆炸集中在 t 接近 0 或接近 1 的区间基本就是对端点的处理有问题。5.2 生成模糊、偏灰或者全是“平均值”另一个高频问题采样结果看起来模模糊糊像数据集的平均脸颜色发灰细节全丢。这个本质上是生成分布没有完全推到数据分布上粒子在半路停了或者方向不对。先做最小化排查按这个顺序先加采样步数。如果从 10 步加到 50 步有明显改善说明路径不够直或积分器太粗糙此时对症下药是整流或换 Heun而不是一味加步数。对比训练集上的重构能力。拿真实样本作为初始 x_t 的端点做一次完整 ODE 积分看能不能回到原图附近。如果不能说明网络没有把尾部细节学好重点检查 t 接近 1 的采样密度。检查数据归一化和反归一化。生成结果偏灰常常是模型在 [-1,1] 空间输出却被当成了 [0,1] 空间显示或者噪声初始化方差和数据不在同一量纲。检查 EMA。有些实现把 EMA 权重忘在旧状态模型实际能力已经上去了但采样用的是陈旧版本。还有一点容易忽略Flow Matching 里的噪声是 x_0 ~ N(0, I)但如果你在隐空间训练比如先编码到 VAE 的 latent那个 latent 的先验分布未必是标准高斯。这时候把采样起点改成数据分布估算的均值和方差效果立刻不一样。5.3 和扩散基线对比时常见的对比误区Flow Matching 最常被问的问题就是“和扩散比到底谁强”。我见过太多不公允的对比结论也不可信。最容易犯的错误是不同 NFE函数评估次数下对比。扩散模型用 1000 步、Flow Matching 用 10 步这不叫公平对比。正确做法是固定 NFE例如两边都用 20 步或 50 步然后用同一个评价指标算。另一个错误是用不同的网络骨架一边是 U-Net 一边是更大的 DiT网络容量本身就不是一个量级。对比前先把骨干统一、数据预处理统一、训练步数统一。还有一个坑Flow Matching 和扩散使用不同的噪声调度时最优采样器也不同。拿扩散专用采样器去跑 Flow Matching 的模型或者反过来都会给出一个系统性偏差的结果。如果你只是为了比较生成能力先各自用各自最优的采样配置再比较如果你为了验证“少步采样”那就要明确说明是哪种路径、哪种采样器下的结论。6. 一些扩展思考和我的实操建议6.1 少步采样整流、再训练与一步生成既然路径越直越能少步采样那“把路径拉直”就成了一门生意。做法是先训练好一个 Flow Matching 模型然后拿它去采一批 (噪声, 生成结果) 的配对再用这些配对重新训练一个新的 Flow Matching 模型但这次样本配对更“对齐”路径更直。这个过程可以重复每一步都会让轨迹更接近直线。到第二轮之后2 步、甚至 1 步采样就有了实用意义。这个思路也延伸到了蒸馏方向直接把多步模型的输出提炼到一个“一步生成”的模型里。Flow Matching 因为初始路径就相对直蒸馏难度低于扩散模型。我自己试过在中等规模数据上两轮整流后 8 步 Euler 质量基本持平 50 步原始模型这个收益是实打实的。需要提醒的是整流训练会损失一定的分布覆盖度——路径被压直的同时模型可能把某些边缘样本“平均化”了。所以如果你的目标不只是 FID而是多样性整流轮数要克制。6.2 应用场景不止图像Flow Matching 的应用早已不限于图像生成。视频、音频、3D 点云、分子构象生成都有相关实践。原因很简单这个框架完全不依赖数据的具体形态只要你定义一个从噪声到样本的插值路径就能训练。文本和离散数据也有对应的离散 Flow Matching 做法把连续向量场改成离散转移概率概念连续化后再训练。触类旁通的感觉很强你理解了连续版本离散版本的核心思想是同一个。还有一个非常实用的方向是 latent 空间加速先训练自编码器把高维数据压到低维再在低维上运行 Flow Matching训练成本和采样成本都能降一个数量级。做应用落地时这往往比研究采样器更提效。6.3 最后几条掏心窝的建议如果让我给刚开始接触 Flow Matching 的人提建议第一条是先跑最小实现再上大模型。你完全可以在一个小数据集上花半小时把线性插值路径、L2 损失、Euler 采样这“三件套”跑通看到损失下降和样本生成再去做花样。我见过不少同学一上来就上大模型大集群结果出了 NaN 都不知道去哪查。第二条把“路径设计”和“采样器设计”分开思考。路径决定上限采样器决定你离上限多远。少步采样时要先检讨路径弯不弯而不是一味堆高阶求解器。第三条养成记录 t 分布和损失分段的习惯。Flow Matching 的调试大多藏在“哪个时间段没学好”里把 t 维度摊开看损失曲线排查效率能高一倍。最后说句实在话Flow Matching 不是什么玄学它就是把扩散模型里那套“沿轨迹回归”的思想做了一次极致的简化。你理解了概率路径和条件向量场这两根柱子后面无论看到什么新变体都不会慌。踩过几次坑之后现在我做生成模型项目的第一选择已经不是扩散了默认先试 Flow Matching实测下来的稳定性和迭代速度都更省心。