1. 为什么线性模型值得作为深度学习的第一课1.1 它到底在解决什么问题作为带过不少人入门的老手我被问过很多次“深度学习的第一个模型该学什么”。我的回答从来没变过写一个最简单的线性模型。这个答案看起来太朴素甚至有点对不起“深度学习”四个字但真正做完之后你会发现它能帮你把神经网络的骨架一次性搭清楚。题目标题里写的liner我默认是linear的笔误我们聊的就是基于linear线性模型的生成也就是让模型从数据中“生成”出一组能拟合规律的参数。线性模型解决的是这样一类问题给定一系列输入和输出我们希望找到一个从输入到输出的线性映射关系。举个例子房价和面积之间如果近似成正比那么面积每增加一平米房价增加多少就是一个线性关系。我们不需要一开始就上卷积神经网络只要用一条直线y kx b去拟合数据点模型自动把k和b学出来这就是线性模型最原始的场景。放在深度学习语境下线性模型不只是“直线拟合”这么简单。它是神经网络的最小单元。我们常听到的全连接层、稠密层、MLP里的Linear层本质上都是线性变换。你在Transformer里看到的Q、K、V矩阵第一步也是线性映射。所以如果能把线性模型的原理吃透后面看任何模型源码都不会心虚。1.2 深度学习框架里的线性层长什么样在PyTorch中torch.nn.Linear(in_features, out_features)就是深度学习中最常见的线性层。它内部维护两个参数权重矩阵W和偏置向量b。前向传播的计算公式是y x W.T b。这个公式和中学生学的一次函数ykxb几乎没有区别只是从标量扩展到了向量和矩阵。当输入是一个批量的样本时假设形状是[batch_size, in_features]Linear层会把它映射成[batch_size, out_features]的输出。每个输出神经元做的事情就是把输入向量的每个维度分别乘以一个权重再求和最后加上偏置。整个过程中没有任何非线性变换这也是它被称为线性的原因。理解了Linear层你就理解了深度学习里大约六成的基础代码。因为无论你怎么堆网络最底层的计算单元依然是线性变换加激活函数。激活函数负责引入非线性线性变换负责特征组合。线性层没有激活函数也能存在但它单独使用只能表达线性关系。这就是本文要做的核心实验只用一个线性层让模型从数据中学会生成正确的参数。1.3 一个“简单”的线性模型也没那么简单很多人觉得线性模型太基础不需要专门学。但“会调用API”和“理解原理”是两码事。我见过不少同学能跑通CNN却说不清为什么学习率过大会导致loss变成NaN也不知道为什么模型参数不更新时先查一下梯度是否为0。本质上就是对梯度更新这条链路缺乏肌肉记忆。线性模型正好把所有核心概念压缩到最有辨识度的小场景里前向传播、损失函数、梯度计算、参数更新、收敛判断。这些概念在复杂模型里被大量代码和网络结构掩盖但在线性模型里每一个都可以直接用数学公式写出来。你把这一套流程跑通遇到的坑踩一遍以后再切换到神经网络遇到的问题基本是同一批只是规模变大而已。用真实项目心态来对待这个“玩具模型”很重要。线性模型在生产里依然被广泛使用比如销售预测、温度预测、广告点击率预估的baseline。它更是你生成式AI实验的起点。今天这篇文章我们就从数据生成开始手写一个线性模型再用PyTorch复现一遍最后聊聊那些训练中必然会踩的坑。2. 先把数学写明白前向传播、损失和梯度2.1 前向传播的矩阵表示要用代码实现线性模型第一步是把数学公式写清楚。假设我们有m个样本每个样本只有一个特征x那么前向传播就是y_pred x * w b在批量训练时可以把所有样本堆叠成一个列向量X形状是[m, 1]。权重w是标量b是标量那么y_pred X * w b如果特征不止一个那么X变成[m, n]w变成[n, 1]输出仍然是[m, 1]。用矩阵乘法写就是y_pred X w b。这里的 在NumPy和PyTorch中都表示矩阵乘法。为什么需要矩阵形式因为深度学习训练时永远是一次处理一批数据。如果不用矩阵就得写for循环逐个样本计算效率极低。更重要的是矩阵形式下梯度公式非常优雅可以利用线性代数的性质直接推导。你只要记住输入的形状是[batch, features]权重形状是[features, output_dim]输出就是[batch, output_dim]。这个形状匹配规则在以后搭建任何线性层时都不会变。2.2 损失函数为什么要用MSE模型输出的预测值和真实值之间一定有误差。我们需要一个数值指标来衡量误差有多大这个指标就是损失函数。线性模型最常用的损失函数是均方误差MSE公式为L (1/m) * Σ (y_pred - y_true)^2为什么用平方而不是绝对值原因有三个。第一平方函数处处可导尤其在误差接近0的时候导数也平滑趋近0这非常有利于梯度下降绝对值函数在0点不可导虽然也有专门处理办法但对入门来说没必要增加难度。第二平方放大了大误差的惩罚模型会更努力去修正那些偏离得离谱的预测。第三MSE对应高斯噪声下的最大似然估计统计意义很清晰。当然MSE也有缺点它会对离群点过度敏感。一个极端异常值会让模型拼命往那个点靠拢。但在我们这一篇的线性模型场景中数据是自己生成的服从正态分布噪声MSE就是最自然的选择。理解MSE后面再看交叉熵、KL散度都会有一个对照基准。2.3 梯度的直观理解有了损失函数我们要找到一组w和b让L尽可能小。怎么找梯度下降。梯度是一个向量它指向损失函数在当前参数处上升最快的方向。想让损失下降就要沿着负梯度方向更新参数。对线性模型梯度可以手推出来。先求出预测误差error y_pred - y_true那么dL/dw (2/m) * X^T errordL/db (2/m) * Σ error这里的关键是误差error是驱动一切更新的源头。预测偏高了参数就往下调预测偏低了参数就往上调。整个过程和“一个人看自己偏离目标多远然后往回走”是一样的。理解这一点后再去看PyTorch里的loss.backward()你就知道它其实就是在自动计算这一堆导数没有任何玄学。3. 用NumPy手写一个可训练的线性模型3.1 准备数据用带噪声的线性函数生成为了验证模型能不能学会参数我们得先造一批“标准答案”。真实规律设定为y 3.2x 0.8然后叠加一些正态分布噪声。这样模型能学到的参数不会和真实参数完全一样但会非常接近。噪声的存在让任务更真实也让我们可以观察损失最终降到什么程度。数据生成代码如下import numpy as np np.random.seed(42) X np.random.rand(200, 1) * 5 # 生成200个[0,5]区间内的x true_w 3.2 true_b 0.8 y true_w * X true_b np.random.randn(200, 1) * 0.5这里X的形状是[200, 1]y的形状也是[200, 1]。噪声标准差设置为0.5所以最终MSE的理论下限大约是0.25也就是噪声方差0.5的平方。如果你发现训练后loss低于0.25反而说明模型把噪声也学进去了属于过拟合信号。这一步很多人会忽略但它其实是判断模型是否正常收敛的标尺。3.2 前向传播与损失计算接下来定义前向传播和损失函数。代码非常简洁def forward(X, w, b): return X w b def mse_loss(y_pred, y_true): return np.mean((y_pred - y_true) ** 2)注意np.mean会把所有样本误差的平方取平均这样损失就是标量。为什么不直接用np.sum因为如果样本数变成1000损失值会变大不同batch之间就没法比较。除以样本数之后损失表示“平均每个样本错多少”语义更清晰。初始化参数时w一般用随机数b可以初始化为0。这里有个小技巧w的初始值不要太大。如果初始w是10模型一开始预测会非常大误差和梯度都很大可能直接导致参数更新震荡。常见的做法是让w初始值在0附近比如np.random.randn(1, 1) * 0.1。3.3 梯度下降更新代码有了前向传播和损失就可以写训练循环。这里我选择手动计算梯度因为这是理解整个深度学习最关键的节点。w np.random.randn(1, 1) * 0.1 b np.zeros((1, 1)) lr 0.01 epochs 500 for epoch in range(epochs): y_pred forward(X, w, b) loss mse_loss(y_pred, y) error y_pred - y grad_w (2.0 / len(X)) * X.T error grad_b (2.0 / len(X)) * np.sum(error) w w - lr * grad_w b b - lr * grad_b if epoch % 50 0: print(fepoch {epoch}, loss {loss:.4f}, w {w.item():.4f}, b {b.item():.4f})训练过程中每隔50个epoch打印一次。你会发现loss从某个初始值逐渐下降w慢慢接近3.2b接近0.8。如果lr设置合适500轮之后就能收敛到差不多位置。这里的(2.0 / len(X))正是MSE对w求导的结果系数2不能漏否则梯度方向是对的但每一步的步长会错一半导致收敛变慢。3.4 跑起来看结果训练完成后把学到的参数和真实参数对比你会看到类似这样的输出epoch 450, loss 0.2381, w 3.1894, b 0.8236w和b没有完全等于3.2和0.8因为数据里有噪声模型只能无限接近真实的线性规律。如果把原始数据散点图和拟合直线画在同一张图里可以看到直线穿过了点云的中心。这说明模型已经成功“生成”了一个线性映射。这一步的意义在于我们用最基础的工具复现了深度学习的最小闭环前向传播计算预测值损失函数量化误差反向传播这里手动推导计算梯度然后用梯度更新参数。之后所有深度学习框架做的都是同一件事。把这个闭环刻进脑子里你就算真正入门了。4. 用PyTorch实现同样的模型并验证效果4.1 为什么换成PyTorchNumPy版本能让我们看清每一步的数学原理但真实做深度学习时不会手动算梯度。PyTorch的autograd机制会自动构建计算图并计算梯度我们只需要定义网络结构和损失函数。更重要的是PyTorch的模块化设计让我们可以从线性模型平滑过渡到多层神经网络。很多人一开始直接学PyTorch会陷入“为什么需要.backward()”的困惑。但在手写了NumPy版本之后你看到loss.backward()就知道它等同于我们手动算的grad_w和grad_b看到optimizer.step()就知道它等同于w w - lr * grad_w。有了基础框架在你眼里就不是魔法而是工具。4.2 搭建模型与训练循环用PyTorch实现同样的线性模型代码反而更短。但有几个细节必须注意否则会踩坑。import torch import torch.nn as nn # 数据转换 X_t torch.tensor(X, dtypetorch.float32) y_t torch.tensor(y, dtypetorch.float32) # 定义模型一个输入维度为1输出维度为1的线性层 model nn.Linear(1, 1) # 定义优化器和损失函数 optimizer torch.optim.SGD(model.parameters(), lr0.01) loss_fn nn.MSELoss() for epoch in range(500): y_pred model(X_t) loss loss_fn(y_pred, y_t) optimizer.zero_grad() loss.backward() optimizer.step() if epoch % 50 0: print(fepoch {epoch}, loss {loss.item():.4f})这里的model(X_t)会调用Linear层的forward自动完成x W.T b。训练循环里有一行很不起眼但极其重要的代码optimizer.zero_grad()。PyTorch的梯度是累积的如果不清零上一轮的梯度会加到这一轮上导致参数更新方向出现偏差训练结果一团糟。新手最容易漏掉的就是这一行。4.3 完整代码与结果训练结束后通过以下方式取出参数print(model.weight.item(), model.bias.item())正常情况下输出会在3.2和0.8附近。这里有一个值得注意的现象每次运行结果会有细微差别因为模型参数初始化是随机的。但最终都会收敛到同一片区域。PyTorch的nn.Linear默认会做合理的参数初始化所以我们的初始w已经接近0不需要额外处理。如果你把优化器换成Adam比如torch.optim.Adam(model.parameters(), lr0.05)收敛速度会明显加快。这可能让你产生“Adam比SGD更好”的错觉。其实在简单凸问题上两者都能收敛只是路径不同。线性模型最适合先看SGD的表现因为它更直观、更容易配合你手动计算的梯度做验证。4.4 从线性模型推广到多层感知机学会了线性层下一步稍微扩展一下就能变成一个两层的神经网络。把模型改成model nn.Sequential( nn.Linear(1, 16), nn.ReLU(), nn.Linear(16, 1) )训练代码几乎不用改。这时候模型不再是直线了而是一条可以弯曲的曲线。因为中间加了一层ReLU激活函数给模型注入了非线性表达能力。你会发现对于同样的线性数据这个两层网络也能学会而且可能比单层线性模型学得更复杂。但如果数据真的是线性关系两层网络反而可能过拟合。这个实验的意义在于让你看清深度学习和线性模型不是两套完全割裂的东西。多层的神经网络只是在基础线性变换之间插入了激活函数整体训练逻辑依然是前向传播、求loss、反向传播、更新参数。你掌握了线性模型就等于把神经网络中最核心的骨架握在了手里。5. 训练过程中最常见的坑和调参建议5.1 学习率太大loss爆炸我见过非常多初学者在第一个训练循环里就把lr设成1然后眼睁睁看着loss变成NaN。为什么会这样回到参数更新公式w w - lr * grad_w。如果lr太大每次w移动的距离超过真实需要的范围就可能越过最优区域来到误差更大的地方。下一轮的梯度也因此更大参数进一步飞出去最终数值溢出。你可以用相同的数据试试lr0.5或lr1。大概几十轮之后loss就会变成inf或者nan。这绝不是代码写错了而是优化过程不稳定。处理方式很简单把学习率调小比如0.001通常能稳定下来。学习率跟模型结构、数据尺度都有关系没有通用最优值但从小学习率开始总是对的。5.2 特征未归一化梯度震荡线性模型对输入特征的尺度很敏感。如果x的范围是0到5SGD收敛很快。但如果x的范围是0到50000损失函数曲面就会变成一个细长的碗梯度方向不指向碗底导致收敛极其缓慢甚至来回震荡。解决办法是对特征做标准化让每个维度的均值接近0标准差接近1。标准化代码很简单X_mean X_t.mean() X_std X_t.std() X_norm (X_t - X_mean) / X_std这样处理后损失函数的等高线更接近圆形梯度下降路径会平缓很多。这在实际项目中会比在本文实验中更重要因为真实数据的特征尺度往往相差悬殊。记住一条原则深度学习模型里输入的数值规模不宜过大尽量保持在0附近。5.3 怎么判断模型收敛了很多人只看loss数值变得很小就认为训练结束。但更可靠的判断是看参数是否稳定。在你手动打印的日志中如果最后几百个epoch里w和b几乎不再变化说明已经收敛。如果loss还在缓慢下降而参数已经不动可能梯度已经太小需要加大学习率或改用Adam。还有一个实用方法画出训练过程中loss曲线。理想曲线是平滑下降最后趋平。如果loss先降后升说明学习率可能偏大开始震荡了。如果loss全程基本不动可能是初始化或学习率的问题也可能是梯度为零。对线性模型来说梯度几乎不会为零所以更可能是学习率太小。5.4 用真实项目心态看待“玩具模型”有同学会问这篇文章里的模型连“深度学习”都算不上值得认真学吗值得。因为很多复杂模型最容易出的问题——loss不降、梯度异常、参数不更新——在线性模型里就能复现和排查。用最小场景学会这些套路比直接抱着一堆预训练模型瞎调参有效得多。在生产中线性回归也是很多业务的强基线。你给客户做的第一个预测系统往往是从线性模型开始的。它训练快、解释性强、不容易过拟合。先把线性模型做到极致再考虑加网络层数这是一种非常务实的路径。深度学习从来不是“模型越复杂越好”而是在保证效果的前提下选择最合适的解决方案。从数据生成到手动梯度再到PyTorch自动求导最后到调参避坑我们把一个简单的线性模型从里到外过了一遍。如果你能跟着代码敲一遍再把学习率、初始化值改一改观察loss和参数的变化比看十篇理论文章都有用。我个人带人的习惯是只允许学员在完成手写线性回归之后再去碰CNN和Transformer。这个顺序帮很多人避开了“一看就会、一跑就废”的窘境。 深度学习第一课：用线性模型理解神经网络核心原理
1. 为什么线性模型值得作为深度学习的第一课1.1 它到底在解决什么问题作为带过不少人入门的老手我被问过很多次“深度学习的第一个模型该学什么”。我的回答从来没变过写一个最简单的线性模型。这个答案看起来太朴素甚至有点对不起“深度学习”四个字但真正做完之后你会发现它能帮你把神经网络的骨架一次性搭清楚。题目标题里写的liner我默认是linear的笔误我们聊的就是基于linear线性模型的生成也就是让模型从数据中“生成”出一组能拟合规律的参数。线性模型解决的是这样一类问题给定一系列输入和输出我们希望找到一个从输入到输出的线性映射关系。举个例子房价和面积之间如果近似成正比那么面积每增加一平米房价增加多少就是一个线性关系。我们不需要一开始就上卷积神经网络只要用一条直线y kx b去拟合数据点模型自动把k和b学出来这就是线性模型最原始的场景。放在深度学习语境下线性模型不只是“直线拟合”这么简单。它是神经网络的最小单元。我们常听到的全连接层、稠密层、MLP里的Linear层本质上都是线性变换。你在Transformer里看到的Q、K、V矩阵第一步也是线性映射。所以如果能把线性模型的原理吃透后面看任何模型源码都不会心虚。1.2 深度学习框架里的线性层长什么样在PyTorch中torch.nn.Linear(in_features, out_features)就是深度学习中最常见的线性层。它内部维护两个参数权重矩阵W和偏置向量b。前向传播的计算公式是y x W.T b。这个公式和中学生学的一次函数ykxb几乎没有区别只是从标量扩展到了向量和矩阵。当输入是一个批量的样本时假设形状是[batch_size, in_features]Linear层会把它映射成[batch_size, out_features]的输出。每个输出神经元做的事情就是把输入向量的每个维度分别乘以一个权重再求和最后加上偏置。整个过程中没有任何非线性变换这也是它被称为线性的原因。理解了Linear层你就理解了深度学习里大约六成的基础代码。因为无论你怎么堆网络最底层的计算单元依然是线性变换加激活函数。激活函数负责引入非线性线性变换负责特征组合。线性层没有激活函数也能存在但它单独使用只能表达线性关系。这就是本文要做的核心实验只用一个线性层让模型从数据中学会生成正确的参数。1.3 一个“简单”的线性模型也没那么简单很多人觉得线性模型太基础不需要专门学。但“会调用API”和“理解原理”是两码事。我见过不少同学能跑通CNN却说不清为什么学习率过大会导致loss变成NaN也不知道为什么模型参数不更新时先查一下梯度是否为0。本质上就是对梯度更新这条链路缺乏肌肉记忆。线性模型正好把所有核心概念压缩到最有辨识度的小场景里前向传播、损失函数、梯度计算、参数更新、收敛判断。这些概念在复杂模型里被大量代码和网络结构掩盖但在线性模型里每一个都可以直接用数学公式写出来。你把这一套流程跑通遇到的坑踩一遍以后再切换到神经网络遇到的问题基本是同一批只是规模变大而已。用真实项目心态来对待这个“玩具模型”很重要。线性模型在生产里依然被广泛使用比如销售预测、温度预测、广告点击率预估的baseline。它更是你生成式AI实验的起点。今天这篇文章我们就从数据生成开始手写一个线性模型再用PyTorch复现一遍最后聊聊那些训练中必然会踩的坑。2. 先把数学写明白前向传播、损失和梯度2.1 前向传播的矩阵表示要用代码实现线性模型第一步是把数学公式写清楚。假设我们有m个样本每个样本只有一个特征x那么前向传播就是y_pred x * w b在批量训练时可以把所有样本堆叠成一个列向量X形状是[m, 1]。权重w是标量b是标量那么y_pred X * w b如果特征不止一个那么X变成[m, n]w变成[n, 1]输出仍然是[m, 1]。用矩阵乘法写就是y_pred X w b。这里的 在NumPy和PyTorch中都表示矩阵乘法。为什么需要矩阵形式因为深度学习训练时永远是一次处理一批数据。如果不用矩阵就得写for循环逐个样本计算效率极低。更重要的是矩阵形式下梯度公式非常优雅可以利用线性代数的性质直接推导。你只要记住输入的形状是[batch, features]权重形状是[features, output_dim]输出就是[batch, output_dim]。这个形状匹配规则在以后搭建任何线性层时都不会变。2.2 损失函数为什么要用MSE模型输出的预测值和真实值之间一定有误差。我们需要一个数值指标来衡量误差有多大这个指标就是损失函数。线性模型最常用的损失函数是均方误差MSE公式为L (1/m) * Σ (y_pred - y_true)^2为什么用平方而不是绝对值原因有三个。第一平方函数处处可导尤其在误差接近0的时候导数也平滑趋近0这非常有利于梯度下降绝对值函数在0点不可导虽然也有专门处理办法但对入门来说没必要增加难度。第二平方放大了大误差的惩罚模型会更努力去修正那些偏离得离谱的预测。第三MSE对应高斯噪声下的最大似然估计统计意义很清晰。当然MSE也有缺点它会对离群点过度敏感。一个极端异常值会让模型拼命往那个点靠拢。但在我们这一篇的线性模型场景中数据是自己生成的服从正态分布噪声MSE就是最自然的选择。理解MSE后面再看交叉熵、KL散度都会有一个对照基准。2.3 梯度的直观理解有了损失函数我们要找到一组w和b让L尽可能小。怎么找梯度下降。梯度是一个向量它指向损失函数在当前参数处上升最快的方向。想让损失下降就要沿着负梯度方向更新参数。对线性模型梯度可以手推出来。先求出预测误差error y_pred - y_true那么dL/dw (2/m) * X^T errordL/db (2/m) * Σ error这里的关键是误差error是驱动一切更新的源头。预测偏高了参数就往下调预测偏低了参数就往上调。整个过程和“一个人看自己偏离目标多远然后往回走”是一样的。理解这一点后再去看PyTorch里的loss.backward()你就知道它其实就是在自动计算这一堆导数没有任何玄学。3. 用NumPy手写一个可训练的线性模型3.1 准备数据用带噪声的线性函数生成为了验证模型能不能学会参数我们得先造一批“标准答案”。真实规律设定为y 3.2x 0.8然后叠加一些正态分布噪声。这样模型能学到的参数不会和真实参数完全一样但会非常接近。噪声的存在让任务更真实也让我们可以观察损失最终降到什么程度。数据生成代码如下import numpy as np np.random.seed(42) X np.random.rand(200, 1) * 5 # 生成200个[0,5]区间内的x true_w 3.2 true_b 0.8 y true_w * X true_b np.random.randn(200, 1) * 0.5这里X的形状是[200, 1]y的形状也是[200, 1]。噪声标准差设置为0.5所以最终MSE的理论下限大约是0.25也就是噪声方差0.5的平方。如果你发现训练后loss低于0.25反而说明模型把噪声也学进去了属于过拟合信号。这一步很多人会忽略但它其实是判断模型是否正常收敛的标尺。3.2 前向传播与损失计算接下来定义前向传播和损失函数。代码非常简洁def forward(X, w, b): return X w b def mse_loss(y_pred, y_true): return np.mean((y_pred - y_true) ** 2)注意np.mean会把所有样本误差的平方取平均这样损失就是标量。为什么不直接用np.sum因为如果样本数变成1000损失值会变大不同batch之间就没法比较。除以样本数之后损失表示“平均每个样本错多少”语义更清晰。初始化参数时w一般用随机数b可以初始化为0。这里有个小技巧w的初始值不要太大。如果初始w是10模型一开始预测会非常大误差和梯度都很大可能直接导致参数更新震荡。常见的做法是让w初始值在0附近比如np.random.randn(1, 1) * 0.1。3.3 梯度下降更新代码有了前向传播和损失就可以写训练循环。这里我选择手动计算梯度因为这是理解整个深度学习最关键的节点。w np.random.randn(1, 1) * 0.1 b np.zeros((1, 1)) lr 0.01 epochs 500 for epoch in range(epochs): y_pred forward(X, w, b) loss mse_loss(y_pred, y) error y_pred - y grad_w (2.0 / len(X)) * X.T error grad_b (2.0 / len(X)) * np.sum(error) w w - lr * grad_w b b - lr * grad_b if epoch % 50 0: print(fepoch {epoch}, loss {loss:.4f}, w {w.item():.4f}, b {b.item():.4f})训练过程中每隔50个epoch打印一次。你会发现loss从某个初始值逐渐下降w慢慢接近3.2b接近0.8。如果lr设置合适500轮之后就能收敛到差不多位置。这里的(2.0 / len(X))正是MSE对w求导的结果系数2不能漏否则梯度方向是对的但每一步的步长会错一半导致收敛变慢。3.4 跑起来看结果训练完成后把学到的参数和真实参数对比你会看到类似这样的输出epoch 450, loss 0.2381, w 3.1894, b 0.8236w和b没有完全等于3.2和0.8因为数据里有噪声模型只能无限接近真实的线性规律。如果把原始数据散点图和拟合直线画在同一张图里可以看到直线穿过了点云的中心。这说明模型已经成功“生成”了一个线性映射。这一步的意义在于我们用最基础的工具复现了深度学习的最小闭环前向传播计算预测值损失函数量化误差反向传播这里手动推导计算梯度然后用梯度更新参数。之后所有深度学习框架做的都是同一件事。把这个闭环刻进脑子里你就算真正入门了。4. 用PyTorch实现同样的模型并验证效果4.1 为什么换成PyTorchNumPy版本能让我们看清每一步的数学原理但真实做深度学习时不会手动算梯度。PyTorch的autograd机制会自动构建计算图并计算梯度我们只需要定义网络结构和损失函数。更重要的是PyTorch的模块化设计让我们可以从线性模型平滑过渡到多层神经网络。很多人一开始直接学PyTorch会陷入“为什么需要.backward()”的困惑。但在手写了NumPy版本之后你看到loss.backward()就知道它等同于我们手动算的grad_w和grad_b看到optimizer.step()就知道它等同于w w - lr * grad_w。有了基础框架在你眼里就不是魔法而是工具。4.2 搭建模型与训练循环用PyTorch实现同样的线性模型代码反而更短。但有几个细节必须注意否则会踩坑。import torch import torch.nn as nn # 数据转换 X_t torch.tensor(X, dtypetorch.float32) y_t torch.tensor(y, dtypetorch.float32) # 定义模型一个输入维度为1输出维度为1的线性层 model nn.Linear(1, 1) # 定义优化器和损失函数 optimizer torch.optim.SGD(model.parameters(), lr0.01) loss_fn nn.MSELoss() for epoch in range(500): y_pred model(X_t) loss loss_fn(y_pred, y_t) optimizer.zero_grad() loss.backward() optimizer.step() if epoch % 50 0: print(fepoch {epoch}, loss {loss.item():.4f})这里的model(X_t)会调用Linear层的forward自动完成x W.T b。训练循环里有一行很不起眼但极其重要的代码optimizer.zero_grad()。PyTorch的梯度是累积的如果不清零上一轮的梯度会加到这一轮上导致参数更新方向出现偏差训练结果一团糟。新手最容易漏掉的就是这一行。4.3 完整代码与结果训练结束后通过以下方式取出参数print(model.weight.item(), model.bias.item())正常情况下输出会在3.2和0.8附近。这里有一个值得注意的现象每次运行结果会有细微差别因为模型参数初始化是随机的。但最终都会收敛到同一片区域。PyTorch的nn.Linear默认会做合理的参数初始化所以我们的初始w已经接近0不需要额外处理。如果你把优化器换成Adam比如torch.optim.Adam(model.parameters(), lr0.05)收敛速度会明显加快。这可能让你产生“Adam比SGD更好”的错觉。其实在简单凸问题上两者都能收敛只是路径不同。线性模型最适合先看SGD的表现因为它更直观、更容易配合你手动计算的梯度做验证。4.4 从线性模型推广到多层感知机学会了线性层下一步稍微扩展一下就能变成一个两层的神经网络。把模型改成model nn.Sequential( nn.Linear(1, 16), nn.ReLU(), nn.Linear(16, 1) )训练代码几乎不用改。这时候模型不再是直线了而是一条可以弯曲的曲线。因为中间加了一层ReLU激活函数给模型注入了非线性表达能力。你会发现对于同样的线性数据这个两层网络也能学会而且可能比单层线性模型学得更复杂。但如果数据真的是线性关系两层网络反而可能过拟合。这个实验的意义在于让你看清深度学习和线性模型不是两套完全割裂的东西。多层的神经网络只是在基础线性变换之间插入了激活函数整体训练逻辑依然是前向传播、求loss、反向传播、更新参数。你掌握了线性模型就等于把神经网络中最核心的骨架握在了手里。5. 训练过程中最常见的坑和调参建议5.1 学习率太大loss爆炸我见过非常多初学者在第一个训练循环里就把lr设成1然后眼睁睁看着loss变成NaN。为什么会这样回到参数更新公式w w - lr * grad_w。如果lr太大每次w移动的距离超过真实需要的范围就可能越过最优区域来到误差更大的地方。下一轮的梯度也因此更大参数进一步飞出去最终数值溢出。你可以用相同的数据试试lr0.5或lr1。大概几十轮之后loss就会变成inf或者nan。这绝不是代码写错了而是优化过程不稳定。处理方式很简单把学习率调小比如0.001通常能稳定下来。学习率跟模型结构、数据尺度都有关系没有通用最优值但从小学习率开始总是对的。5.2 特征未归一化梯度震荡线性模型对输入特征的尺度很敏感。如果x的范围是0到5SGD收敛很快。但如果x的范围是0到50000损失函数曲面就会变成一个细长的碗梯度方向不指向碗底导致收敛极其缓慢甚至来回震荡。解决办法是对特征做标准化让每个维度的均值接近0标准差接近1。标准化代码很简单X_mean X_t.mean() X_std X_t.std() X_norm (X_t - X_mean) / X_std这样处理后损失函数的等高线更接近圆形梯度下降路径会平缓很多。这在实际项目中会比在本文实验中更重要因为真实数据的特征尺度往往相差悬殊。记住一条原则深度学习模型里输入的数值规模不宜过大尽量保持在0附近。5.3 怎么判断模型收敛了很多人只看loss数值变得很小就认为训练结束。但更可靠的判断是看参数是否稳定。在你手动打印的日志中如果最后几百个epoch里w和b几乎不再变化说明已经收敛。如果loss还在缓慢下降而参数已经不动可能梯度已经太小需要加大学习率或改用Adam。还有一个实用方法画出训练过程中loss曲线。理想曲线是平滑下降最后趋平。如果loss先降后升说明学习率可能偏大开始震荡了。如果loss全程基本不动可能是初始化或学习率的问题也可能是梯度为零。对线性模型来说梯度几乎不会为零所以更可能是学习率太小。5.4 用真实项目心态看待“玩具模型”有同学会问这篇文章里的模型连“深度学习”都算不上值得认真学吗值得。因为很多复杂模型最容易出的问题——loss不降、梯度异常、参数不更新——在线性模型里就能复现和排查。用最小场景学会这些套路比直接抱着一堆预训练模型瞎调参有效得多。在生产中线性回归也是很多业务的强基线。你给客户做的第一个预测系统往往是从线性模型开始的。它训练快、解释性强、不容易过拟合。先把线性模型做到极致再考虑加网络层数这是一种非常务实的路径。深度学习从来不是“模型越复杂越好”而是在保证效果的前提下选择最合适的解决方案。从数据生成到手动梯度再到PyTorch自动求导最后到调参避坑我们把一个简单的线性模型从里到外过了一遍。如果你能跟着代码敲一遍再把学习率、初始化值改一改观察loss和参数的变化比看十篇理论文章都有用。我个人带人的习惯是只允许学员在完成手写线性回归之后再去碰CNN和Transformer。这个顺序帮很多人避开了“一看就会、一跑就废”的窘境。