搞目标检测的人应该有个共识一场足球比赛视频可能是计算机视觉最容易让模型当场破防的场景之一。镜头拉远的时候场上的球员缩成一小团特写推进之后同一个球员直接顶满画面而足球依然只有几十个像素。更别提草地、球衣、阴影混在一起的颜色噪声以及频繁切换的转播机位。我最近把这件事当成一个正经的检测工程来做就是标题里这套YOLO11-C3k2-ConverseB方案目标是同时稳定识别运动员、足球和场地三类目标。这篇文章会完整讲清楚改进思路、数据标注方式、训练调参过程、踩过的坑和最终落地效果适合那些想复现足球场景检测、或者正在处理“小目标尺度跨度极大”检测任务的工程师参考。先说结论在公开赛事转播素材和自制比赛录像混合集上这套结构比原版YOLO11s在足球小目标上的mAP50-95提升了接近6个点运动员类别在高分辨率输入下也有可感知的改善同时推理速度没有明显劣化。但整个工程里最折磨人的其实不是模型结构而是数据。下面按我的实际流程往下拆。1. 足球场景目标检测难点到底在哪1.1 三类目标在尺度上的巨大鸿沟看一场足球转播画面你会发现模型面对的根本不是“三个普通类别”而是三类尺度天差地别的物体。把国际标准球场尺寸放进去算一笔账足球场长约105米宽约68米。转播广角镜头通常能覆盖半场甚至大半场假设画面中有约50米宽的区域映射到1920像素的传感器宽度上那么每米对应约38像素。一个1.8米高的球员在画面里大约只有68像素高而足球直径只有22厘米左右换算下来只有8个像素出头。8个像素意味着下采样到P3特征层stride 8的时候足球已经只剩下大约1个像素的特征响应基本等于被洗掉了。这还不算高速运动产生的拖影和模糊。场地则走上另一个极端。如果标注整个草皮区域或完整的场地标线它在画面中通常占据几千甚至上万像素属于极端大目标。绝大多数目标检测框的回归头是为中小物体设计的对这类“铺满全图”的大目标反而容易框得歪歪扭扭边界抖动严重。我最初用640×640输入训练时运动员和场地都能跑到不错的指标唯独足球类的mAP50只有0.35左右基本不可用。这就是尺度鸿沟带来的直接后果也决定了后面所有技术选型都要围绕“如何让小目标活下来”展开。1.2 镜头切换与光照波动带来的分布漂移足球视频还有一个隐藏属性镜头一直在变。转播会在大远景、中景、特写之间反复横跳同一个球员在不同镜头下的尺度可能相差10倍以上。模型在训练时如果只吃一种尺度的样本推理时就很容易在另一种镜头上翻车。光照问题同样麻烦。日场、夜场、阴天、灯光不均匀的业余球场草皮颜色从深绿到偏黄都有。球衣颜色更是五花八门。我一开始只用某几场比赛的帧做训练结果换到另一场比赛时球员漏检率直接涨了十几个点。这说明足球场景的数据增强不是随便做做而是要刻意制造“跨场地、跨光照、跨镜头尺度”的多样性。这也是为什么后来我坚持把输入分辨率抬到960甚至1280单纯从检测精度角度看这个选择带来的收益比换任何模块都大。2. 模型选型与改进思路为什么是YOLO11 C3k2 ConverseB2.1 基线YOLO11底子里的优势选YOLO11而不是更早的YOLOv8或YOLOv5主要看中它在骨架和颈部上的两个变化。一是用C3k2模块替代了之前的C2f整体参数更省、计算更集中二是它保留了anchor-free解耦检测头和任务对齐学习机制对尺度变化和遮挡的适应能力比老一代强不少。在实际对比中YOLO11s在同等输入下比YOLOv8s的参数量少约15%推理速度快一点mAP还略高。对于需要在转播流上做实时或准实时检测的项目这个底子是划算的。但直接拿原版模型跑足球场景会暴露两个痛点一是足球这类小目标在下采样过程中信息损耗太严重二是普通Bottleneck结构对不同尺度目标的特征表达“一视同仁”没有对大目标和小目标做差异化处理。我的改进就落在这两个点上分别对应C3k2的调整和ConverseB模块的引入。2.2 C3k2模块轻量CSP结构里的关键参数先补个背景。C3k2是YOLO11里核心的CSP风格模块名字里的k指代内部Bottleneck的卷积核尺寸。结构上看它把输入通道分成两个分支一个分支直接通过1×1卷积映射另一个分支经过1×1卷积后串联k个Bottleneck块最后再拼接起来。k越大模块感受野越大、非线性表达能力越强但计算量也线性上涨。原版YOLO11默认在浅层用k2的Bottleneck深层用k3。我在复现时保留了这种分层策略但针对场地这类大目标、以及球员这类中等目标把深层网络的两个C3k2模块内部的Bottleneck卷积核从3×3扩大到了5×5和7×7的组合。代价是FLOPs增加了一点但换来了对大范围上下文更好的聚合能力。实验证明场地标线检测的边界完整性明显变好不再频繁出现“框出去半截”的情况。这里有个容易忽略的细节C3k2内部的Bottleneck通常带残差连接而残差连接要求输入输出通道数一致。所以调整卷积核尺寸时要同步检查shortcut分支的通道对齐否则一改就报错。2.3 ConverseB模块为三类目标定制的特征融合块ConverseB是这次复现的项目里比较关键的自定义模块名字是我自己起的含义是“卷积残差变体块”。核心思路很简单原本C3k2内部的Bottleneck是“1×1降维→3×3卷积→1×1升维”的结构对中等目标友好但小目标经过两次降维升维后空间细节丢得厉害。我把它改成类倒残差设计先做1×1升维再用分组卷积做3×3或者5×5的空间特征提取最后1×1降维到目标通道。这个结构最早在移动端网络里被验证过特点是“先涨维度再提特征”能保留更多空间细节。同时在残差边上加了一个可选的通道注意力分支用全局平均池化算出通道权重对足球这类微弱目标进行通道级增强。复现时我写过一个最小实现核心逻辑长这样import torch import torch.nn as nn class ConverseB(nn.Module): def __init__(self, in_channels, out_channels, kernel_size3, stride1, expand_ratio2.0, use_seTrue): super().__init__() hidden_dim int(in_channels * expand_ratio) self.conv1 nn.Conv2d(in_channels, hidden_dim, 1, 1, biasFalse) self.bn1 nn.BatchNorm2d(hidden_dim) self.act1 nn.SiLU(inplaceTrue) self.conv2 nn.Conv2d(hidden_dim, hidden_dim, kernel_size, stride, kernel_size // 2, groupshidden_dim, biasFalse) self.bn2 nn.BatchNorm2d(hidden_dim) self.act2 nn.SiLU(inplaceTrue) self.conv3 nn.Conv2d(hidden_dim, out_channels, 1, 1, biasFalse) self.bn3 nn.BatchNorm2d(out_channels) self.use_se use_se if use_se: self.se nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(out_channels, out_channels // 4, 1), nn.SiLU(inplaceTrue), nn.Conv2d(out_channels // 4, out_channels, 1), nn.Sigmoid() ) self.shortcut nn.Identity() if (stride 1 and in_channels out_channels) else None def forward(self, x): identity x out self.act1(self.bn1(self.conv1(x))) out self.act2(self.bn2(self.conv2(out))) out self.bn3(self.conv3(out)) if self.use_se: out out * self.se(out) if self.shortcut is not None: out out identity return out这个块替换掉了C3k2内部部分Bottleneck重点是放在backbone的P3层和neck的上采样拼接位置。原因很简单P3层是stride 8分辨率相对最高最适合救小目标而上采样拼接位置决定了下游检测头拿到的特征质量。模块替换后我对足球类别做了单类验证mAP50从0.35涨到了0.42效果确实有但远不如输入分辨率从640提到960带来的0.15涨幅明显。这也是我想强调的一点模块改进是“锦上添花”输入分辨率和数据质量才是足球小目标检测的地基。3. 数据集与标注比模型更难的准备工作3.1 数据来源与视频切帧方案我使用的训练数据分两部分一部分来自公开可获取的足球赛事转播录像和公开数据集另一部分是用设备自己录制的业余比赛视频。公开素材覆盖顶级联赛、杯赛、青年队比赛分辨率从720p到1080p都有自制素材则集中在中低机位视角、夜场灯光、草地质量一般的场地专门用来模拟真实落地场景。切帧不是简单按固定间隔抽。我先按每秒2帧抽一轮再对运动剧烈的片段追加每秒5帧的密集采样最后做一遍相似度去重。相似度去重很关键否则连续帧高度重复训练集看起来很大有效信息量其实没多少。我按结构相似度阈值0.85去重最终从约4000段视频片段中筛出约12000张有效帧。3.2 标注规范球要标、人要标、场地怎么标三类目标标注规则各有坑。运动员标注相对常规但规定必须“紧贴人体外轮廓”。遮挡严重时宁可把框缩到可见部分也不要凭想象把被挡住的位置画进去。这直接影响后续NMS合并效果。足球标注是整个任务的核心。标准是只要画面里能看到完整球体或超过一半的球体轮廓就必须标注。哪怕只有6个像素也要画一个很紧的框。过程中最忌讳“漏标”因为漏标的足球会变成难负样本让模型学会忽略小目标。我后期复检时发现凡是标注稀疏的视频片段模型在该片段上的足球召回率几乎都会崩掉。场地标注我采用的方案是按“场地标线”处理包括边线、底线、中线、中圈、禁区线。由于检测框是矩形对线状目标天然不合适实际操作中是把每条标线分割成若干段每段用外接矩形标注类别统一叫pitch_line。这样既不增加像素级分割的标注成本又能让模型学会“这里有场地元素”的空间定位。标注工具用通用的开源图像标注工具就行导出成YOLO的txt格式。这里有一个容易出错的地方YOLO格式要求坐标全部归一化到0-1之间且框中心点坐标是相对宽高的比例。我见过很多人在标注工具里直接把像素坐标填进去训练时维度对不上各种报错。导出后务必抽检几个文件手工核对归一化坐标是否落在合理区间。3.3 数据增强既要Mosaic又要“去Mosaic”YOLO系列默认的Mosaic增强对小目标检测很有帮助它把四张图拼在一起等效于制造了大量小尺度目标。但无脑开Mosaic也有反效果场地标线这种大目标在拼接时会被裁得支离破碎模型学到的东西是残缺的。我的策略是把增强分成两组。第一组用来提升小目标Mosaic、MixUp、随机透视、HSV扰动全开概率设为0.5第二组用来保大目标对包含场地标线的样本关闭Mosaic改用随机平移缩放、水平翻转和轻度旋转概率设为0.3。同时在训练后期关闭Mosaic让模型在接近真实分布的数据上精调。另外针对足球小目标稀疏的问题额外加了一个Copy-Paste增强把同一张图里已标注的足球复制到无球区域增加了小目标出现的频率。这个操作要注意控制粘贴位置不能跑到人身上或者场地之外。4. 训练配置与关键调参实录4.1 迁移学习路径与加载权重策略我没有从零开始训练而是加载了COCO预训练权重作为起点。不过因为backbone结构里插入了ConverseB模块特征层和原版权重并不能完全对齐直接整体加载会报形状不匹配。我的处理方式是分两步走先把改进模块和neck部分的参数随机初始化backbone其余层加载原版权重再冻结backbone前几层只训练新增模块和检测头先跑20个epoch让结构稳定下来。之后解冻全部参数用较低学习率微调。这套流程基本不会出现初期loss爆炸的问题。4.2 关键超参数与训练策略训练配置我用的是自己调整过的YAML核心项如下task: detect mode: train model: yolov11s_custom.yaml data: soccer_court.yaml hyp: lr0: 0.005 lrf: 0.01 momentum: 0.937 weight_decay: 0.0005 warmup_epochs: 3 warmup_momentum: 0.8 box: 7.5 cls: 0.5 dfl: 1.5 hsv_h: 0.015 hsv_s: 0.7 hsv_v: 0.4 mosaic: 0.5 mixup: 0.1 epochs: 150 batch: 8 imgsz: 960 workers: 8 optimizer: SGD说几个调参中验证过的点。输入分辨率选了960而不是更大是因为训练显存和推理速度的折中。1280分辨率对足球类确实更好但batch size会掉一半训练时间翻倍最终在转播流上做实时推理也比较吃力。学习率用的SGD初始0.005配合warmup。我试过AdamW收敛确实快但最后mAP普遍比SGD低一点可能和检测任务的稀疏标注特性有关。类别权重没做特殊调整因为60%时间花在调分辨率、数据、训练节奏上远比调cls loss权重有效。4.3 训练过程观察三大阶段特征整个训练过程我盯的是三类指标总loss、验证集mAP50、足球类别单独AP50。前20个epoch是“结构稳定期”loss从十几迅速降到7左右但验证集mAP基本没动尤其是足球类完全不涨。这时候千万别慌我在这个阶段加练过几次最后证明是浪费时间。新增模块在冷启动阶段本来就需要先学会提取基础特征。20到60个epoch是“主涨期”运动员和场地mAP快速上升足球类开始缓慢爬升。到60轮时三类mAP50基本能达到最终水平的85%左右。60到120个epoch是“精修期”涨幅变得很慢但足球类mAP50-95会在这个阶段稳步改善。这其实是回归精度在变好边界框更贴合了。我的经验是小目标检测任务一定不要早停太早足球这类目标需要较长时间才能把框回归做准。我最终在第120轮左右保存了best模型继续训练到150轮时验证指标基本持平。5. 实验结果与问题诊断5.1 对比实验基线与改进模型的差距我在相同数据集上对比了三个配置都采用统一增强策略模型配置输入尺寸mAP50mAP50-95足球AP50参数量推理耗时(ms)YOLO11s 原版6400.6810.4230.3529.4M2.8YOLO11s 原版9600.7130.4510.4839.4M6.1YOLO11-C3k2-ConverseB9600.7260.4680.5419.8M6.8表格里的推理耗时是在同一张显卡上、batch size为1、FP16精度下测的。结论很直接输入分辨率提升带来的增益最大足球AP从0.35拉到0.48引入C3k2-ConverseB后足球AP又涨到0.54运动员和场地的mAP也有小幅提升参数量只多了0.4M推理只慢了0.7毫秒这个代价完全可以接受。5.2 足球小目标漏检与现场修正精度最高时足球类mAP50是0.54mAP50-95是0.31。说实话这个数字距离“完美”还远漏检主要集中在三种情况高速飞行的球、被球员身体遮挡超过一半的球、以及远景画面里不足6像素的球。对第一个问题我试过在数据增强里加入运动模糊模拟有一定效果对第二个问题本质上需要时序信息单帧检测物理上无法解决对第三个问题只能靠提高输入分辨率或切图推理。切图推理是立竿见影的手段把1080p画面切成2×2的四块每块缩放到960分辨率分别检测再合并结果。足球召回率能再涨几个点但推理耗时翻倍不止。我的结论是如果业务上对“球”的召回有硬指标就得上切图或者做一个专门的球追踪器做时序补偿如果只是做粗粒度事件分析单帧的0.54基本够用。5.3 运动员密集人群遮挡问题处理运动员聚集在禁区内争顶头球时框会叠成一大团。NMS阈值默认0.45在重叠率极高的场景下会把大量有效框直接合并掉漏检率明显上升。我做了两个调整一是把NMS的IoU阈值提高到0.5保留更多重叠框二是在后处理时限制单张图最大检测数量从默认300调到200因为这类场景大量高置信度的重复框会拖慢后处理。调整之后拥挤场景的运动员召回率从0.71提升到0.78代价是少量误检属于可接受的范围。6. 工程落地与避坑建议6.1 推理速度优化与模型导出训练完成后需要把模型导出到ONNX再做TensorRT加速。我在导出时固定了输入尺寸960×960开FP16精度。实测TensorRT FP16比PyTorch FP16推理快1.8倍左右mAP损失在0.5个点以内可以忽略。有一个细节转播流画面比例是16:9而我的输入是1:1。直接resize会把画面拉伸变形检测框坐标还要做逆变换。更好的做法是在预处理时做letterbox填充保持原比例预测后再按填充比例映射回原图。没有做这一步的话场地标线的检测框位置会系统性偏移。6.2 易错点速查表现象原因解决方案足球类AP始终不高输入分辨率不足、足球标注漏标多提升imgsz到960以上复检标注质量场地标线框边缘抖动大目标回归不稳定、标注框不一致分线段标注统一标注粒度换一场比赛后漏检率暴增过拟合单一场地颜色和光照增强HSV扰动加入多场地样本训练前期loss不降新增模块随机初始化权重未对齐分阶段冻结/解冻训练推理时边界框偏移预处理resize未还原坐标用letterbox逆映射多人重叠漏检NMS阈值过低IoU阈值调至0.5限制max_det6.3 后续扩展方向这套检测模型实际是上层应用的底座。我接下来的计划是在检测结果上叠加一个轻量级多目标跟踪器对球员和足球分别做轨迹追踪然后基于轨迹计算跑动距离、控球时间和传接球事件。这些数据在半自动比赛分析、青训辅助评估这些方向上都有实用价值。场地标线检测也可以进一步换成语义分割分支但工程成本会高不少暂时不在计划内。最后说一句个人体会我踩过最大的坑是把太多精力花在改模块上直到把输入分辨率提上去、把标注质量揪起来才意识到足球小目标检测的瓶颈往往在数据和预处理环节。YOLO11-C3k2-ConverseB这套结构能在精度和速度之间站住脚但真正让它发挥作用的是一整套围绕数据、训练节奏和推理部署的组合拳。如果你的项目也在啃类似“小目标大目标同框”的硬骨头建议先检查数据和输入尺寸再回头审视模型结构这个顺序能帮你少走很多弯路。