这系列写到第五篇了。前几篇聊过 Python 语法、NumPy 运算和最简单的线性分类器不少读者在评论区问为什么书上的神经网络图画得明明白白轮到自己写就总是报错这篇我不打算再堆概念而是把环境搭建、三种最常见的网络结构、训练细节和排查经验按真实项目节奏串一遍。你需要的 Python、神经网络、深度学习核心点都会出现并且所有内容都以能跑通为准。适合刚接触深度学习、想尽快搭出自己第一个模型的初学者也适合被各种教程绕晕、想回到主线复习一遍的人。先说清楚这篇代码风格偏 PyTorch因为动态图对新手友好。你习惯用别的框架核心概念一样能迁移。1. 准备一套顺手的学习环境1.1 先定一个能验证的小目标这个目标不是“装完某个软件”而是让下面这条命令正常运行python -c import torch; print(torch.cuda.is_available())如果你没有独立显卡输出False也没关系CPU 上一样能跑通后面的例子只是慢一些。先把环境跑通再考虑硬件。很多初学者一上来就折腾 CUDA、驱动、多卡训练结果装了两天环境模型一行没写。正确的顺序应该是先能 import再能跑小模型最后才谈加速。1.2 Python版本和虚拟环境的选择Python 版本我建议用 3.10 或 3.11。太新的版本偶尔会遇到个别包还没有对应的编译产物太老的版本又会影响新库的兼容性。选择一个稳定分支然后用venv或conda建一个干净的虚拟环境。为什么一定要虚拟环境因为不同项目依赖的包版本可能冲突。今天为项目 A 装的新版库可能明天就把项目 B 搞崩。一开始养成隔离的习惯后面会少很多痛苦。装依赖也有顺序先把 NumPy、Pandas、Matplotlib 这些基础库装好做图像实验再加 OpenCVpip install opencv-python做文本实验再按需装分词相关包。不要一次性把所有可能的包都装上用到什么装什么不然环境会变得非常乱。1.3 深度学习框架选型与安装目前 PyTorch 在科研和工程里的采用率都很高它的动态计算图让打印每一步 tensor 的 shape 变得非常自然。跑一句安装命令pip install torch torchvision torchaudiotorchvision里带着常用数据集和预训练模型对学习很有帮助。TensorFlow 也依然有很多存量项目在用。如果你是新手我更建议先用 PyTorch 把原理吃透后面迁移概念也不难。框架不是信仰能帮你最快验证想法的那把工具就是好工具。安装时注意pip默认装的是 CPU 版本还是 GPU 版本视具体环境而定。如果你的机器有 NVIDIA 显卡就去官网找到对应 CUDA 版本的安装命令如果只是学习CPU 版完全够。换源那些事就不展开了装不上时优先检查 Python 版本和 pip 是否太老。1.4 没有GPU怎么把流程跑通很多人卡在“没有 GPU 就不能学深度学习”的印象里。其实入门阶段跑小模型CPU 完全能扛。手写数字集这种规模的数据用几层卷积网络在 CPU 上几分钟一个 epoch 也很常见。真正需要 GPU 的是大模型、大图、大 batch。如果你手里只有普通电脑有两个办法一是先在小数据集上把流程跑通二是用一些免费的在线 notebook 平台。但要注意云平台的免费额度限制比较多别拿它当生产环境用。我的建议是宁可模型小一点也要保证迭代体验。一个 5 分钟能跑完一轮实验的小模型远比一个 50 分钟才能跑一轮的大模型适合学习。2. 先把神经网络骨架搭起来2.1 前馈网络到底在做什么前馈神经网络的结构可以理解成一条流水线。输入是一批特征隐藏层负责把特征逐层加工输出层给出结果。单看一层h W x b它本质上只是一个线性变换加平移。如果没有激活函数多层线性变换叠在一起仍然是一次线性变换拟合能力很有限。激活函数ReLU、Sigmoid 等引入非线性后网络才能逼近复杂的函数关系。这也是“深度学习”里“深度”二字的直接含义层数越多能表达的函数理论上越复杂。但层数加深会带来优化困难不能简单理解成“层数越多越好”。你先记住一条主线前向传播算出结果反向传播更新参数中间靠激活函数保证非线性。2.2 反向传播的链式法则手推一次反向传播的本质是链式法则。拿单个神经元举例z wx b a σ(z) L 0.5 * (y - a)^2要求参数w对损失的影响把它拆开dL/dw (dL/da) * (da/dz) * (dz/dw)三部分分别对应(a - y)、σ(z)、x。这就是为什么误差能“反向传”回去不是重新算一遍网络而是借助计算图从后往前逐个求偏导。PyTorch 里调用loss.backward()之后每个requires_gradTrue的参数都会得到.grad属性底层就是在做这件事。很多教材把反向传播写成长长的公式初学者容易被劝退。我的建议是先手推这个单神经元例子再去看框架里的自动求导。你会发现那些看起来很吓人的公式落到代码里就是三行。理解了链式法则后面不管是 CNN 还是 LSTM原理上都是同一套逻辑。2.3 一个能跑的三层MLP用 PyTorch 定义一个三层全连接网络很简单import torch import torch.nn as nn class MLP(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim): super().__init__() self.fc1 nn.Linear(in_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, out_dim) self.relu nn.ReLU() def forward(self, x): return self.fc2(self.relu(self.fc1(x)))训练循环四步是固定的model MLP(784, 128, 10) optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() for epoch in range(5): for x_batch, y_batch in loader: optimizer.zero_grad() out model(x_batch) loss loss_fn(out, y_batch) loss.backward() optimizer.step()新手最容易踩的坑是漏掉optimizer.zero_grad()。PyTorch 默认会累加梯度如果不清零上一批的梯度会叠加到下一批loss 曲线就会乱跳。清梯度这一行一定要放在每个 batch 的前向计算之前。2.4 最容易忽略的维度检查MLP 要求每个样本是一个一维向量。图像进来如果还是H×W×C的矩阵要先展平x x.view(x.size(0), -1)x.size(0)是 batch 里的样本数不能丢-1表示自动推断剩余维度。很多报错都发生在这一步忘了展平、维度算错、或者把 batch 维当成了特征维。排查维度问题时在forward里临时加一句print(x.shape)是最快的定位方式。一个模型写完先把输入输出打印一遍再开始训练能省一大堆时间。3. 图像任务从像素到高维向量3.1 为什么要用卷积而不是全连接把一张 224×224 的彩色图拉成长向量维度是 150528。如果第一层全连接接 512 个神经元光这一层参数量就超过 7700 万。不仅显存放不下还会严重过拟合。卷积网络用两个核心思想解决这个问题局部连接和权值共享。每个卷积核只关注一小块区域同一层的所有位置共用同一个卷积核参数量被大幅压缩。用生活里的例子理解全连接是“每个人都找每个人汇报”卷积是“几个小组长只看自己片区”。后者显然更轻量也更能抓到局部特征。3.2 卷积、填充与池化的尺寸计算卷积核从输入左上角开始按stride步长滑动。padding1表示在边缘补一圈 0避免边缘信息丢失。输出尺寸公式out floor((in 2 * padding - kernel) / stride) 1例如输入 32×32kernel3padding1stride1输出还是 32×32。再做一次 2×2 的 MaxPooling尺寸变成 16×16。MaxPooling 取每个窗口里的最大值相当于在保留显著特征的同时缩小空间尺寸。这里有个新手常见误区卷积核数量不等于输入通道数。第一层输入是 RGB 三个通道用 8 个卷积核会输出 8 个通道。下一层的输入就变成了 8 通道。通道数越大网络对特征的表达能力越强但计算量也越大。3.3 人脸识别里那个高维向量是怎么来的人脸识别是理解“图像怎么变成向量”的典型场景。你输入的是一张H×W×3的人脸图经过若干卷积、ReLU、池化之后变成H×W×C的特征图。这个过程里空间维度在缩小通道数在增加相当于把“在哪个位置有什么特征”逐步编码成“有哪些特征”。网络最后一步通常不是直接输出类别而是把特征图展平再接一个全连接层输出比如 128 维或 512 维的向量。这个向量叫人脸表征也叫 embedding。训练时让同一个人的两张脸向量距离尽量近不同人的脸向量距离尽量远。推理时只比较两个向量的余弦相似度超过某个阈值就判定为同一个人。所以整个链路是人脸图 → 卷积池化 → 特征图 → 展平 → 全连接 → 高维向量 → 相似度比较。这就是“从图像到高维向量”的全部故事不算玄学。3.4 一个最小CNN的PyTorch实现一个能跑的最小卷积网络长这样import torch.nn.functional as F class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(3, 16, kernel_size3, stride1, padding1) self.pool nn.MaxPool2d(2) self.conv2 nn.Conv2d(16, 32, kernel_size3, padding1) self.fc nn.Linear(32 * 8 * 8, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) # 假设输入 32x32x3 x self.pool(F.relu(self.conv2(x))) # 变成 8x8x32 x x.view(x.size(0), -1) return self.fc(x)假设输入是 32×32 的 RGB 图两次 2×2 池化之后空间尺寸变成 8×8通道数 32所以全连接层输入是32 * 8 * 8。换数据集时输入尺寸一旦变了这里的数字就得跟着改。学会推导尺寸比背代码更重要。4. 序列任务让网络拥有记忆4.1 RNN的基本想法全连接网络把每个样本当成孤立的点但文本、语音、时间序列这些数据的特点是样本内部有先后顺序。RNN 在每一步把当前输入x_t和上一步的隐状态h_t-1放在一起计算输出当前步的h_t。相当于网络一直带着一个不断更新的“工作记忆”用前面的信息来理解当前的内容。你读这句话“银行前面的河”到“河”的时候网络需要记住“银行”不是金融机构而是河岸。RNN 就是为了这种场景设计的。4.2 从RNN到LSTM的门控设计原始 RNN 在长序列上容易梯度消失原因是从后往前反传时梯度要乘很多次同一个矩阵越传越小。LSTM 在循环单元里加了几道门——遗忘门、输入门、输出门让信息可以选择性写入和丢弃。用大白话讲该忘的忘掉该记的记下来合适的时候再拿出来。所以 LSTM 能处理更长的依赖关系。你不需要死记 LSTM 内部公式只需要建立一个心理模型它有一个“长期记忆”通道门控决定哪些信息流进去、哪些信息流出来。想深入研究时再打开公式看每一行的作用。4.3 LSTM在PyTorch里的正确打开方式LSTM 的使用比全连接层稍微复杂一点主要在于维度。看这个分类器class LSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue) self.fc nn.Linear(hidden_dim, num_classes) def forward(self, x): emb self.embedding(x) out, (h, c) self.lstm(emb) return self.fc(h[-1])重点说两个坑。第一nn.LSTM默认输入格式是(seq_len, batch, input_size)如果你习惯把 batch 放第一维一定要设置batch_firstTrue否则后面所有 shape 都会对不上。第二返回值里out是每个时间步的输出形状是(batch, seq_len, hidden_size)h是最后一层的最终隐状态形状是(num_layers, batch, hidden_size)。取h[-1]作为全连接输入是最常见的做法也可以对out做 mean pooling两种都可以但别无脑混用。4.4 文本预处理从字符串到id序列LSTM 吃的是 id 序列所以文本要经过分词、建词表、把词转成 id。由于同一个 batch 里句子长度不同通常要 padding 到一样长再通过 Embedding 层把 id 变成稠密向量。这是 NLP 入门最常见的管线。padding 时有个细节填充位置的值通常是 0但网络不会自动忽略它。等模型跑通后可以再考虑在 loss 里做 mask让填充位置不参与计算。初学阶段先朴素地 padding跑通主线再回来优化。5. 训练过程里容易被忽略的细节5.1 损失函数不是随便选的分类任务用CrossEntropyLoss回归任务用MSELoss多标签分类用BCEWithLogitsLoss。新手最常见的错误是拿分类任务却用了 MSE结果收敛极慢。损失函数的形状决定了梯度的性质交叉熵配合最后的 Softmax让网络在预测错误时梯度更大更新方向也更直接。这就像考试打分错得离谱时扣分要狠一点学得才快。5.2 多任务场景下怎么调Loss比例做多任务学习时总 loss 往往是多个损失的加权和。最简单的方法是固定权重比如loss loss_a 0.5 * loss_b。但两个任务尺度可能差很多这就引出一个更精细的方法不确定性加权。让网络自己学习每个损失的不确定性 σloss 0.5 / σ1^2 * L1 log(σ1) 0.5 / σ2^2 * L2 log(σ2)直观理解不确定的任务权重低一些后面的log(σ)项防止权重跑到零。在 PyTorch 里把log_var作为可学习参数即可。不过对新手我的建议是先固定权重观察两个任务的 loss 量级再调整不要一上来就上复杂方法。量级差很多时优先把大数量级的 loss 权重调小。5.3 正则化weight_decay与DropoutL2 正则化在 PyTorch 里最常见实现就是在优化器里加weight_decayoptimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4)它等价于在 loss 里加一个参数平方和的惩罚项把参数往零附近拉。想手动加也行l2_reg sum(p.pow(2).sum() for p in model.parameters()) loss ce_loss 1e-4 * l2_regDropout 是另一种正则化。训练时随机把部分神经元的输出置零相当于每次都在训练一个不同的子网络推理时关闭 Dropout泛化能力会更好。注意如果训练集 loss 都不下降先别急着加正则化往往是模型容量或数据管线出了问题。5.4 超参数默认值、模型保存与加载给一组能直接上手的默认值学习率1e-3batch size 32 或 64优化器 Adamepoch 先设 5。学得太慢就把学习率降到1e-4loss 爆掉就再降到1e-5。Batch size 不是越大越好太小梯度抖动大太大显存扛不住。最重要的检查是先用几十条数据让模型完全过拟合。如果连过拟合都做不到代码里一定有 bug。模型保存时用状态字典torch.save(model.state_dict(), model.pt)加载时先创建相同结构的模型再load_state_dict。不要直接序列化整个 model 对象跨环境容易踩兼容性的坑。另外每次实验都把超参数记到日志里否则调了两天后你根本不知道哪个组合是有效的。6. 高频报错与排查实录6.1 维度不匹配的速查表训练深度学习模型八成时间都在跟维度做斗争。这是我整理的高频问题速查报错特征常见原因处理办法size mismatch线性层输入维度和实际特征数不一致在forward里打印x.shape看最后一维Expected 4D inputConv 层收到了 2D 输入检查是否少了view或unsqueeze把通道维补上mat1 and mat2 shapes cannot be multiplied矩阵乘法维度对不上看两个矩阵的第二维和第一维是否相等LSTM 相关 shape 不对batch_first设置不对或混淆out和h统一把 batch 放第一维确认返回值含义出现维度报错时不要慌。框架已经告诉你哪两个 tensor 没法算这时在forward里临时加print(x.shape)一行一行定位。记住训练代码炸在loss.backward()根因往往在前向的某一步。6.2 Loss为NaN或完全不下降NaN最常见的原因是学习率太大梯度爆炸其次是输入数据里有 NaN 或 inf。排查顺序打印 loss 数值把学习率调小一百倍再试检查数据归一化检查有没有log(0)。如果 loss 卡在一个值不动可能是模型太简单、没有非线性、或者优化器参数没更新。检查一下optimizer.param_groups[0][params]里每个参数的grad是不是None。另外有个容易被忽略的点多分类任务的标签要从 0 开始连续编号如果标签从 1 开始CrossEntropyLoss不会直接报错但 loss 会一直很大、很难降下去。6.3 缩小问题范围的三板斧遇到任何问题先把数据量缩小到batch2模型缩小到单层网络跑通再放大。这样能快速排除“数据太大、模型太深”的干扰。我见过有人为了一个初始化问题折腾一下午后来定位到只是忘了对权重做合适初始化。这个缩小范围的流程看起来笨但最可靠。7. 最后分享几个调试习惯这篇从环境讲到训练再讲到排错写了不少但真正值钱的其实是最后一节的排查思路。我个人踩过很多次坑之后养成了两个习惯一是不管模型多复杂先拿最小用例把数据流打印出来二是每次调试只改一个变量。改学习率的时候不同时改网络结构加正则化的时候不同时改数据增强否则出了问题不知道是谁的锅。如果你现在正卡在某个报错上试着把batch_size降下来、把网络换成单层、把数据归一化打开一步一步定位。这一套流程没有奇技淫巧但最稳也最快。希望你能在这个系列的第五篇之后真正把第一个属于自己的深度学习模型跑起来。 PyTorch深度学习实战：环境搭建、网络训练与调试全攻略
这系列写到第五篇了。前几篇聊过 Python 语法、NumPy 运算和最简单的线性分类器不少读者在评论区问为什么书上的神经网络图画得明明白白轮到自己写就总是报错这篇我不打算再堆概念而是把环境搭建、三种最常见的网络结构、训练细节和排查经验按真实项目节奏串一遍。你需要的 Python、神经网络、深度学习核心点都会出现并且所有内容都以能跑通为准。适合刚接触深度学习、想尽快搭出自己第一个模型的初学者也适合被各种教程绕晕、想回到主线复习一遍的人。先说清楚这篇代码风格偏 PyTorch因为动态图对新手友好。你习惯用别的框架核心概念一样能迁移。1. 准备一套顺手的学习环境1.1 先定一个能验证的小目标这个目标不是“装完某个软件”而是让下面这条命令正常运行python -c import torch; print(torch.cuda.is_available())如果你没有独立显卡输出False也没关系CPU 上一样能跑通后面的例子只是慢一些。先把环境跑通再考虑硬件。很多初学者一上来就折腾 CUDA、驱动、多卡训练结果装了两天环境模型一行没写。正确的顺序应该是先能 import再能跑小模型最后才谈加速。1.2 Python版本和虚拟环境的选择Python 版本我建议用 3.10 或 3.11。太新的版本偶尔会遇到个别包还没有对应的编译产物太老的版本又会影响新库的兼容性。选择一个稳定分支然后用venv或conda建一个干净的虚拟环境。为什么一定要虚拟环境因为不同项目依赖的包版本可能冲突。今天为项目 A 装的新版库可能明天就把项目 B 搞崩。一开始养成隔离的习惯后面会少很多痛苦。装依赖也有顺序先把 NumPy、Pandas、Matplotlib 这些基础库装好做图像实验再加 OpenCVpip install opencv-python做文本实验再按需装分词相关包。不要一次性把所有可能的包都装上用到什么装什么不然环境会变得非常乱。1.3 深度学习框架选型与安装目前 PyTorch 在科研和工程里的采用率都很高它的动态计算图让打印每一步 tensor 的 shape 变得非常自然。跑一句安装命令pip install torch torchvision torchaudiotorchvision里带着常用数据集和预训练模型对学习很有帮助。TensorFlow 也依然有很多存量项目在用。如果你是新手我更建议先用 PyTorch 把原理吃透后面迁移概念也不难。框架不是信仰能帮你最快验证想法的那把工具就是好工具。安装时注意pip默认装的是 CPU 版本还是 GPU 版本视具体环境而定。如果你的机器有 NVIDIA 显卡就去官网找到对应 CUDA 版本的安装命令如果只是学习CPU 版完全够。换源那些事就不展开了装不上时优先检查 Python 版本和 pip 是否太老。1.4 没有GPU怎么把流程跑通很多人卡在“没有 GPU 就不能学深度学习”的印象里。其实入门阶段跑小模型CPU 完全能扛。手写数字集这种规模的数据用几层卷积网络在 CPU 上几分钟一个 epoch 也很常见。真正需要 GPU 的是大模型、大图、大 batch。如果你手里只有普通电脑有两个办法一是先在小数据集上把流程跑通二是用一些免费的在线 notebook 平台。但要注意云平台的免费额度限制比较多别拿它当生产环境用。我的建议是宁可模型小一点也要保证迭代体验。一个 5 分钟能跑完一轮实验的小模型远比一个 50 分钟才能跑一轮的大模型适合学习。2. 先把神经网络骨架搭起来2.1 前馈网络到底在做什么前馈神经网络的结构可以理解成一条流水线。输入是一批特征隐藏层负责把特征逐层加工输出层给出结果。单看一层h W x b它本质上只是一个线性变换加平移。如果没有激活函数多层线性变换叠在一起仍然是一次线性变换拟合能力很有限。激活函数ReLU、Sigmoid 等引入非线性后网络才能逼近复杂的函数关系。这也是“深度学习”里“深度”二字的直接含义层数越多能表达的函数理论上越复杂。但层数加深会带来优化困难不能简单理解成“层数越多越好”。你先记住一条主线前向传播算出结果反向传播更新参数中间靠激活函数保证非线性。2.2 反向传播的链式法则手推一次反向传播的本质是链式法则。拿单个神经元举例z wx b a σ(z) L 0.5 * (y - a)^2要求参数w对损失的影响把它拆开dL/dw (dL/da) * (da/dz) * (dz/dw)三部分分别对应(a - y)、σ(z)、x。这就是为什么误差能“反向传”回去不是重新算一遍网络而是借助计算图从后往前逐个求偏导。PyTorch 里调用loss.backward()之后每个requires_gradTrue的参数都会得到.grad属性底层就是在做这件事。很多教材把反向传播写成长长的公式初学者容易被劝退。我的建议是先手推这个单神经元例子再去看框架里的自动求导。你会发现那些看起来很吓人的公式落到代码里就是三行。理解了链式法则后面不管是 CNN 还是 LSTM原理上都是同一套逻辑。2.3 一个能跑的三层MLP用 PyTorch 定义一个三层全连接网络很简单import torch import torch.nn as nn class MLP(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim): super().__init__() self.fc1 nn.Linear(in_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, out_dim) self.relu nn.ReLU() def forward(self, x): return self.fc2(self.relu(self.fc1(x)))训练循环四步是固定的model MLP(784, 128, 10) optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() for epoch in range(5): for x_batch, y_batch in loader: optimizer.zero_grad() out model(x_batch) loss loss_fn(out, y_batch) loss.backward() optimizer.step()新手最容易踩的坑是漏掉optimizer.zero_grad()。PyTorch 默认会累加梯度如果不清零上一批的梯度会叠加到下一批loss 曲线就会乱跳。清梯度这一行一定要放在每个 batch 的前向计算之前。2.4 最容易忽略的维度检查MLP 要求每个样本是一个一维向量。图像进来如果还是H×W×C的矩阵要先展平x x.view(x.size(0), -1)x.size(0)是 batch 里的样本数不能丢-1表示自动推断剩余维度。很多报错都发生在这一步忘了展平、维度算错、或者把 batch 维当成了特征维。排查维度问题时在forward里临时加一句print(x.shape)是最快的定位方式。一个模型写完先把输入输出打印一遍再开始训练能省一大堆时间。3. 图像任务从像素到高维向量3.1 为什么要用卷积而不是全连接把一张 224×224 的彩色图拉成长向量维度是 150528。如果第一层全连接接 512 个神经元光这一层参数量就超过 7700 万。不仅显存放不下还会严重过拟合。卷积网络用两个核心思想解决这个问题局部连接和权值共享。每个卷积核只关注一小块区域同一层的所有位置共用同一个卷积核参数量被大幅压缩。用生活里的例子理解全连接是“每个人都找每个人汇报”卷积是“几个小组长只看自己片区”。后者显然更轻量也更能抓到局部特征。3.2 卷积、填充与池化的尺寸计算卷积核从输入左上角开始按stride步长滑动。padding1表示在边缘补一圈 0避免边缘信息丢失。输出尺寸公式out floor((in 2 * padding - kernel) / stride) 1例如输入 32×32kernel3padding1stride1输出还是 32×32。再做一次 2×2 的 MaxPooling尺寸变成 16×16。MaxPooling 取每个窗口里的最大值相当于在保留显著特征的同时缩小空间尺寸。这里有个新手常见误区卷积核数量不等于输入通道数。第一层输入是 RGB 三个通道用 8 个卷积核会输出 8 个通道。下一层的输入就变成了 8 通道。通道数越大网络对特征的表达能力越强但计算量也越大。3.3 人脸识别里那个高维向量是怎么来的人脸识别是理解“图像怎么变成向量”的典型场景。你输入的是一张H×W×3的人脸图经过若干卷积、ReLU、池化之后变成H×W×C的特征图。这个过程里空间维度在缩小通道数在增加相当于把“在哪个位置有什么特征”逐步编码成“有哪些特征”。网络最后一步通常不是直接输出类别而是把特征图展平再接一个全连接层输出比如 128 维或 512 维的向量。这个向量叫人脸表征也叫 embedding。训练时让同一个人的两张脸向量距离尽量近不同人的脸向量距离尽量远。推理时只比较两个向量的余弦相似度超过某个阈值就判定为同一个人。所以整个链路是人脸图 → 卷积池化 → 特征图 → 展平 → 全连接 → 高维向量 → 相似度比较。这就是“从图像到高维向量”的全部故事不算玄学。3.4 一个最小CNN的PyTorch实现一个能跑的最小卷积网络长这样import torch.nn.functional as F class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(3, 16, kernel_size3, stride1, padding1) self.pool nn.MaxPool2d(2) self.conv2 nn.Conv2d(16, 32, kernel_size3, padding1) self.fc nn.Linear(32 * 8 * 8, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) # 假设输入 32x32x3 x self.pool(F.relu(self.conv2(x))) # 变成 8x8x32 x x.view(x.size(0), -1) return self.fc(x)假设输入是 32×32 的 RGB 图两次 2×2 池化之后空间尺寸变成 8×8通道数 32所以全连接层输入是32 * 8 * 8。换数据集时输入尺寸一旦变了这里的数字就得跟着改。学会推导尺寸比背代码更重要。4. 序列任务让网络拥有记忆4.1 RNN的基本想法全连接网络把每个样本当成孤立的点但文本、语音、时间序列这些数据的特点是样本内部有先后顺序。RNN 在每一步把当前输入x_t和上一步的隐状态h_t-1放在一起计算输出当前步的h_t。相当于网络一直带着一个不断更新的“工作记忆”用前面的信息来理解当前的内容。你读这句话“银行前面的河”到“河”的时候网络需要记住“银行”不是金融机构而是河岸。RNN 就是为了这种场景设计的。4.2 从RNN到LSTM的门控设计原始 RNN 在长序列上容易梯度消失原因是从后往前反传时梯度要乘很多次同一个矩阵越传越小。LSTM 在循环单元里加了几道门——遗忘门、输入门、输出门让信息可以选择性写入和丢弃。用大白话讲该忘的忘掉该记的记下来合适的时候再拿出来。所以 LSTM 能处理更长的依赖关系。你不需要死记 LSTM 内部公式只需要建立一个心理模型它有一个“长期记忆”通道门控决定哪些信息流进去、哪些信息流出来。想深入研究时再打开公式看每一行的作用。4.3 LSTM在PyTorch里的正确打开方式LSTM 的使用比全连接层稍微复杂一点主要在于维度。看这个分类器class LSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue) self.fc nn.Linear(hidden_dim, num_classes) def forward(self, x): emb self.embedding(x) out, (h, c) self.lstm(emb) return self.fc(h[-1])重点说两个坑。第一nn.LSTM默认输入格式是(seq_len, batch, input_size)如果你习惯把 batch 放第一维一定要设置batch_firstTrue否则后面所有 shape 都会对不上。第二返回值里out是每个时间步的输出形状是(batch, seq_len, hidden_size)h是最后一层的最终隐状态形状是(num_layers, batch, hidden_size)。取h[-1]作为全连接输入是最常见的做法也可以对out做 mean pooling两种都可以但别无脑混用。4.4 文本预处理从字符串到id序列LSTM 吃的是 id 序列所以文本要经过分词、建词表、把词转成 id。由于同一个 batch 里句子长度不同通常要 padding 到一样长再通过 Embedding 层把 id 变成稠密向量。这是 NLP 入门最常见的管线。padding 时有个细节填充位置的值通常是 0但网络不会自动忽略它。等模型跑通后可以再考虑在 loss 里做 mask让填充位置不参与计算。初学阶段先朴素地 padding跑通主线再回来优化。5. 训练过程里容易被忽略的细节5.1 损失函数不是随便选的分类任务用CrossEntropyLoss回归任务用MSELoss多标签分类用BCEWithLogitsLoss。新手最常见的错误是拿分类任务却用了 MSE结果收敛极慢。损失函数的形状决定了梯度的性质交叉熵配合最后的 Softmax让网络在预测错误时梯度更大更新方向也更直接。这就像考试打分错得离谱时扣分要狠一点学得才快。5.2 多任务场景下怎么调Loss比例做多任务学习时总 loss 往往是多个损失的加权和。最简单的方法是固定权重比如loss loss_a 0.5 * loss_b。但两个任务尺度可能差很多这就引出一个更精细的方法不确定性加权。让网络自己学习每个损失的不确定性 σloss 0.5 / σ1^2 * L1 log(σ1) 0.5 / σ2^2 * L2 log(σ2)直观理解不确定的任务权重低一些后面的log(σ)项防止权重跑到零。在 PyTorch 里把log_var作为可学习参数即可。不过对新手我的建议是先固定权重观察两个任务的 loss 量级再调整不要一上来就上复杂方法。量级差很多时优先把大数量级的 loss 权重调小。5.3 正则化weight_decay与DropoutL2 正则化在 PyTorch 里最常见实现就是在优化器里加weight_decayoptimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4)它等价于在 loss 里加一个参数平方和的惩罚项把参数往零附近拉。想手动加也行l2_reg sum(p.pow(2).sum() for p in model.parameters()) loss ce_loss 1e-4 * l2_regDropout 是另一种正则化。训练时随机把部分神经元的输出置零相当于每次都在训练一个不同的子网络推理时关闭 Dropout泛化能力会更好。注意如果训练集 loss 都不下降先别急着加正则化往往是模型容量或数据管线出了问题。5.4 超参数默认值、模型保存与加载给一组能直接上手的默认值学习率1e-3batch size 32 或 64优化器 Adamepoch 先设 5。学得太慢就把学习率降到1e-4loss 爆掉就再降到1e-5。Batch size 不是越大越好太小梯度抖动大太大显存扛不住。最重要的检查是先用几十条数据让模型完全过拟合。如果连过拟合都做不到代码里一定有 bug。模型保存时用状态字典torch.save(model.state_dict(), model.pt)加载时先创建相同结构的模型再load_state_dict。不要直接序列化整个 model 对象跨环境容易踩兼容性的坑。另外每次实验都把超参数记到日志里否则调了两天后你根本不知道哪个组合是有效的。6. 高频报错与排查实录6.1 维度不匹配的速查表训练深度学习模型八成时间都在跟维度做斗争。这是我整理的高频问题速查报错特征常见原因处理办法size mismatch线性层输入维度和实际特征数不一致在forward里打印x.shape看最后一维Expected 4D inputConv 层收到了 2D 输入检查是否少了view或unsqueeze把通道维补上mat1 and mat2 shapes cannot be multiplied矩阵乘法维度对不上看两个矩阵的第二维和第一维是否相等LSTM 相关 shape 不对batch_first设置不对或混淆out和h统一把 batch 放第一维确认返回值含义出现维度报错时不要慌。框架已经告诉你哪两个 tensor 没法算这时在forward里临时加print(x.shape)一行一行定位。记住训练代码炸在loss.backward()根因往往在前向的某一步。6.2 Loss为NaN或完全不下降NaN最常见的原因是学习率太大梯度爆炸其次是输入数据里有 NaN 或 inf。排查顺序打印 loss 数值把学习率调小一百倍再试检查数据归一化检查有没有log(0)。如果 loss 卡在一个值不动可能是模型太简单、没有非线性、或者优化器参数没更新。检查一下optimizer.param_groups[0][params]里每个参数的grad是不是None。另外有个容易被忽略的点多分类任务的标签要从 0 开始连续编号如果标签从 1 开始CrossEntropyLoss不会直接报错但 loss 会一直很大、很难降下去。6.3 缩小问题范围的三板斧遇到任何问题先把数据量缩小到batch2模型缩小到单层网络跑通再放大。这样能快速排除“数据太大、模型太深”的干扰。我见过有人为了一个初始化问题折腾一下午后来定位到只是忘了对权重做合适初始化。这个缩小范围的流程看起来笨但最可靠。7. 最后分享几个调试习惯这篇从环境讲到训练再讲到排错写了不少但真正值钱的其实是最后一节的排查思路。我个人踩过很多次坑之后养成了两个习惯一是不管模型多复杂先拿最小用例把数据流打印出来二是每次调试只改一个变量。改学习率的时候不同时改网络结构加正则化的时候不同时改数据增强否则出了问题不知道是谁的锅。如果你现在正卡在某个报错上试着把batch_size降下来、把网络换成单层、把数据归一化打开一步一步定位。这一套流程没有奇技淫巧但最稳也最快。希望你能在这个系列的第五篇之后真正把第一个属于自己的深度学习模型跑起来。