简介本资源是一套面向工业质检场景的YOLOv5钢材表面缺陷检测系统完整实现适用于深度学习初学者、计算机视觉工程师及智能制造领域研究者解决钢铁生产中常见划痕、凹坑、裂纹等表面缺陷的自动化识别问题。压缩包共5528个文件涵盖1800张标注清晰的JPG工业图像、1800份对应XML标注文件含PASCAL VOC格式边界框、1806个YOLOv5适配的TXT标签文件以及33个核心Python训练/推理脚本、26个配置用YAML模型参数文件并包含CMake构建脚本、Docker环境配置、日志与缓存管理等工程化支持组件整体大小为28.28MB。已有2506人下载学习资源结构完整、开箱即用提供从数据预处理、模型训练、权重导出到实时检测的全流程代码特别适合快速复现工业缺陷检测方案并开展迁移学习与部署优化。 做钢材表面缺陷检测或者说拿到一个类似“YOLOv5钢材表面缺陷数据集检测系统源码”这样的项目资源包时我建议你先别急着解压跑训练。先想清楚一个问题你手上的数据长什么样、标签靠不靠谱、类别是怎么定义的。这个项目的外壳是YOLOv5但灵魂其实是“钢材缺陷”这四个字——钢铁表面的裂纹、麻点、氧化铁皮、划痕这些东西和通用目标检测里的猫猫狗狗完全不是一个套路。我在实际做这个方向时最大的体会是算力和模型反而不是门槛数据集的质量和缺陷本身的形态差异才是决定系统能不能用的关键。这套东西适合谁如果你正在做工业质检相关的课题或者刚接触YOLO系列想找一个有实际工业背景的练手项目又或者你已经跑通了COCO数据集想看看模型在“小目标、低对比度、灰度图像”上表现如何那这篇文章对你是有参考价值的。我会从项目要解决的实际问题说起把数据集处理、环境配置、训练调参、部署推理以及从Demo到产线之间那些没人明说但一定会遇到的坑按我自己的实操顺序铺开讲。1. 为什么是YOLOv5钢材缺陷检测的选型逻辑其实很老实1.1 先搞清楚钢材表面缺陷检测到底在检测什么热轧钢带、冷轧钢卷在生产线上高速通过时表面会出现各种类型的缺陷。常见的包括裂纹、夹杂物、斑块、麻点、氧化铁皮压入、划痕等等。这些缺陷面积小、对比度低而且钢材本身表面就有一层纹理和反光人眼盯着屏幕看久了必然疲劳漏检率会随时间直线上升。传统机器视觉的做法是固定光源下用阈值分割、边缘检测、纹理特征提取来识别但这种方案对光照变化和缺陷形态变化极度敏感换个钢种、换个产线速度算法基本就要重新调。深度学习目标检测的思路就不一样它不依赖人工设计特征而是让网络从大量标注样本里自己学习“缺陷长什么样”。YOLOv5作为一阶段检测器在速度和精度的平衡上做得比较稳训练和部署的资料也多社区活跃度高遇到问题基本都能搜到答案。对于钢材缺陷这类工业检测场景YOLOv5不是理论上最前沿的选择但它是工程上最省心的选择。1.2 YOLOv5在工业小目标上的优势到底在哪钢材表面缺陷有一个很麻烦的特点在整幅图像里占比很小。比如一条细微裂纹可能只有几十个像素宽长度倒是有几百像素但相对于640x640的输入尺寸来说依然属于典型的小目标。YOLOv5在三个尺度上做预测分别对应大、中、小目标小目标的检测头对这类缺陷是比较友好的。再加上PANet结构做特征融合浅层的细粒度纹理信息和深层的语义信息能更好地结合在一起这对“细微但长条形”的缺陷来说非常关键。而且YOLOv5的工程化做得相当完整。数据增强策略是内置好的模型剪枝、量化、ONNX导出、TensorRT部署这些工具链都有现成脚本不用自己从头写。我当时选择YOLOv5而不是其他检测框架一个很现实的原因就是它能让我把精力放在数据和业务上而不是花两周时间去调一个训练脚本。1.3 模型版本怎么选s、m、l还是nYOLOv5官方提供了n、s、m、l、x几个版本网络深度和宽度逐级增加。钢材缺陷数据集通常规模不大公开的NEU-DET也只有1800张图六类缺陷这个数据量撑不起太深的模型。我用下来最推荐的是YOLOv5s和YOLOv5m。s版本推理快显存占用低适合快速验证和边缘部署m版本精度会稍高一些如果算力允许可以用它做最终模型。很多初学者一上来就选l或者x觉得模型越大越准。但实际上在工业缺陷这类“样本少、类内差异大、背景复杂”的任务里大模型非常容易过拟合——训练集上mAP接近1.0一测试就露馅。我的建议是先用s版本把整个流程跑通确定数据、标签、训练策略都没问题了再考虑升级到m或者用集成测试来压榨精度。2. 数据集才是这套系统的命根子NEU-DET解析与预处理2.1 NEU-DET数据集里到底有什么很多做这个系统的同学用的都是东北大学发布的NEU-DET热轧带钢表面缺陷数据集。它包含1800张灰度图像每张分辨率是200x200像素共六类缺陷crazing裂纹、inclusion夹杂物、patches斑块、pitted_surface麻点、rolled-in_scale氧化铁皮、scratches划痕每类300张。标注格式有XML格式的Pascal VOC标注也有TXT格式的YOLO标注下载后可以根据自己需要选择。这个数据集最大的好处是干净——每张图只有一个缺陷实例或者少数几个同类缺陷类别平衡标注质量也过关。但这也是它和真实产线差距最大的地方。真实场景里一张图可能同时出现多类缺陷光照不均、运动模糊、表面油污都会严重影响检测效果。所以我建议你把NEU-DET当作验证平台的“标准测试集”用来验证YOLOv5的检测流程但千万别以为模型在这个数据集上效果好就能直接上产线。2.2 目录结构、标注格式与数据集划分拿到原始数据之后第一步是把它整理成YOLOv5需要的目录结构。YOLOv5的数据目录通常长这样dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/标注文件是和图片同名的TXT文件每一行代表一个目标框格式是class_id x_center y_center width height注意这里的x_center、y_center、width、height都是相对于图片宽高的归一化坐标取值范围0到1。如果你拿到的是Pascal VOC格式的XML标注需要先转换一下。YOLOv5的仓库里没有直接提供这个转换脚本但网上有很多现成工具或者你可以自己写一个简单的XML转TXT脚本。我在第一次做这事儿的时候踩过一个坑XML里坐标是整数像素值转成相对坐标时要除以图片的宽和高而不是除以224或640这是很多教程里没写明白但特别容易错的地方。数据集划分我一般按8:1:1或者8:2来做训练集和验证集。由于NEU-DET每类数量均衡直接随机划分问题不大但要保证训练集里每类缺陷都有一定数量别把某一类大部分样本都分到验证集里去了。如果后面加了真实场景数据类别不平衡严重的话可以考虑按类别分层采样来划分。2.3 针对钢材场景的数据增强不是越多越好YOLOv5默认会启用Mosaic、MixUp、HSV扰动、随机翻转等数据增强这些增强策略在COCO这种自然图像数据集上效果很好但搬到钢材表面缺陷上要小心。比如HSV色相和饱和度扰动NEU-DET本身是灰度图YOLOv5加载时虽然会转成三通道但三个通道值是一样的大幅度的色相扰动反而会让模型学到不存在的颜色信息。还有Mosaic拼接把四张图拼在一起对“缺陷尺度变化”是有帮助的但拼接边界上可能出现伪轮廓如果缺陷正好跨在拼接线上反而会被模型学歪。我的做法是在钢材缺陷场景里增强策略用默认配置的70%强度左右然后关闭或者调低HSV中的H和S扰动保留V值亮度扰动。另外可以打开随机旋转和水平垂直翻转但要控制旋转角度范围钢材缺陷大多是长条形的旋转90度还说得通无限旋转会产生大量实际不可能出现的角度形态对训练没有帮助。2.4 从散图到YOLO格式自制数据集的转化思路如果你打算在NEU-DET之外加入自己采集的产线数据那要面对的第一个问题就是怎么把采集到的图像变成YOLO能用的训练样本。我建议用一个标注工具比如LabelImg先在图像上画矩形框直接导出YOLO格式的标注文件这个流程最简单。要提醒的是标注的边界框尽量贴着缺陷边缘不要留太多背景否则模型学到的就会是“背景里的那个区域”而不是缺陷本身。标注时还有一个细节容易忽略对于同一张图里多个间距很近的缺陷是标注成两个框还是一个框我的经验是如果两个缺陷中间有明显间隔就分开标如果它们已经连成一片、没有清晰边界就当一个缺陷框标不要强行切开。让模型去学一个不确定的边界只会增加训练噪音。3. 环境搭建与第一次训练YOLOv5安装里的坑我一次给你排完3.1 Python、PyTorch、CUDA的版本三角关系YOLOv5对PyTorch版本的要求不算苛刻但如果你配的环境不对光安装这一步就能卡你一天。我的建议是先确定自己的显卡驱动版本再根据驱动版本选择CUDA版本最后根据CUDA版本安装对应版本的PyTorch。别直接装最新版PyTorch——最新版往往需要最新CUDA而你的显卡驱动未必支持。比如用NVIDIA GTX 30系或40系显卡驱动比较新直接装CUDA 11.8或12.1的PyTorch通常没问题。如果你还在用老显卡那就得先查驱动支持的最高CUDA版本别盲目升级。可以用下面这个命令快速查看驱动信息nvidia-smi输出右上角会显示“CUDA Version: xx.x”这就是你的驱动最高能支持的CUDA版本PyTorch的CUDA版本不能比这个高。3.2 YOLOv5依赖安装的坑YOLOv5的requirements.txt写得很全但直接pip install -r requirements.txt在Windows上经常会在pycocotools这儿卡住。这个包是用来做COCO评估的在Windows上编译需要Visual C Build Tools。说实话如果你只是训练和检测不一定要跑COCO评估可以先把pycocotools注释掉其他依赖装好再说。我当时的做法是git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt如果报错就逐个排查核心依赖其实就几个torch、torchvision、opencv-python、numpy、matplotlib、pyyaml、tqdm。只要这些装好了训练就能跑起来。还要注意Python版本Python 3.8到3.11都行太老或者太新都可能遇到兼容性问题。3.3 训练参数怎么定imgsz、batch、epochs和显存的账训练前要写一个数据配置文件指向你的数据目录和类别列表。类似这样train: dataset/images/train val: dataset/images/val nc: 6 names: [crazing, inclusion, patches, pitted_surface, rolled-in_scale, scratches]然后启动训练python train.py --data neudet.yaml --weights yolov5s.pt --batch-size 16 --epochs 200 --img 640参数选择上--img我推荐640。NEU-DET原始图片只有200x200直接缩放到640其实是在做上采样对小缺陷的细节保留有帮助。但要注意上采样并不会增加真实信息只是让模型输入尺寸统一。如果你的显卡显存只有8G--batch-size设置16配yolov5s基本是极限了显存不够就降到8或者4。--epochs我建议从100到200之间开始试NEU-DET数据量小训练到150个epoch左右基本就收敛了多了容易过拟合。3.4 第一次训练跑起来之后要看什么训练一旦启动终端会实时输出loss、mAP这些指标。很多新手盯着loss曲线看半天也不知道好坏。我的经验是重点关注val/box_loss、val/cls_loss和mAP0.5这几个值。如果训练集loss持续下降但验证集loss不降反升说明过拟合了提前停止就好如果mAP0.5能从0.8往上走说明模型已经学到东西了。第一次训练没必要追求完美精度更重要的把整个流程跑通。你会发现在数据集规模小的时候训练一轮用不了几分钟整个200个epoch可能就半小时。这时候多试几组参数看看不同配置对结果的影响比你闷头调一天代码更有价值。4. 训练结果解读与模型优化mAP、PR曲线、误检漏检4.1 训练日志里的指标到底意味着什么训练结束后YOLOv5会生成results.png、混淆矩阵、PR曲线等结果文件。我建议重点看混淆矩阵和PR曲线。混淆矩阵能告诉你哪两类缺陷容易被搞混这个信息比整体mAP重要得多。比如在NEU-DET上patches和rolled-in_scale这两类很容易互相误判因为它们都表现为大面积的灰度斑块边界模糊。PR曲线则是检测置信度阈值从高到低变化时精确率和召回率的动态关系。曲线往右上角凸得越厉害说明模型在各个阈值下表现越好。如果PR曲线整体偏低说明你模型的置信度普遍不高那么在实际部署时你就得把置信度阈值设低一点才能保证召回但这样也会带来更多误检。4.2 两类常见的“虚假成功”过拟合和类别混淆有一种情况特别迷惑人训练集mAP能达到0.99val集也有0.95但你拿产线实拍的图一测框出来的全是错的。这就是典型的过拟合。NEU-DET只有1800张图而且每张图背景相对单一模型很容易记住训练集里的背景纹理特征而不是真正的缺陷特征。碰到这种情况最有效的办法不是调模型而是扩充数据——加入真实场景的负样本和难例。另一个问题是类别混淆。钢材缺陷里有些类别形态确实很像比如crazing裂纹和scratches划痕两者都是细长条区别在于裂纹更弯曲、更随机划痕更平直。如果混淆矩阵显示这两类互相误判严重可以考虑把这两类合并成一个“线状缺陷”类或者增加细粒度分类的监督信号。业务上如果只需要判“有没有缺陷”而不需要细分缺陷类型那直接合并类别是最省事也最稳的方案。4.3 更贴近场景的调优方向如果你已经把NEU-DET跑到了mAP很高的水平但总觉得系统“不够实用”那接下来该做的不是继续压榨mAP而是在更接近实际场景的测试集上评估。我遇到过的情况模型在NEU-DET上mAP0.5到了0.95但在我自己标注的一小批现场图上mAP只有0.6。问题出在图像分辨率、光照条件和缺陷形态分布不一样。所以调优的方向应该是小批量地把你现场的真实缺陷图片加进训练集一开始可能只加几十张然后重新训练看val集变化。这种“用小数据牵引大模型”的方式在工业质检里特别管用。你会发现有时候只加50张真实场景图效果比换一个更大的模型更明显。5. 从权重到系统推理部署与检测界面5.1 导出ONNX跨平台部署的第一步训练得到best.pt之后不能直接拿来给所有环境用尤其是边缘设备上跑推理ONNX或者TensorRT引擎才更常见。YOLOv5的导出脚本很成熟python export.py --weights best.pt --include onnx导出之后可以用ONNX Runtime来推理也可以继续转成TensorRT的engine文件在NVIDIA设备上部署。做这一步时要注意导出的ONNX模型的输入输出尺寸是固定的通常输入是1x3x640x640输出是1x25200x7其中最后7维是x_center, y_center, width, height, objectness, class_0, class_1, ..., class_5。写推理代码时要对这25200个预测框做NMS去重不能直接把所有的框都画上去。5.2 用Web界面跑一个检测服务把模型部署成Web服务用Flask框架搭建就非常快路径。用户上传一张图片服务端调用模型推理把检测结果图画好返回给前端。核心代码不长大致是这个套路from flask import Flask, request, jsonify from PIL import Image import io import torch app Flask(__name__) model torch.hub.load(ultralytics/yolov5, custom, pathbest.pt, force_reloadTrue) app.route(/detect, methods[POST]) def detect(): img_bytes request.files[image].read() img Image.open(io.BytesIO(img_bytes)) results model(img, size640) # 返回检测框、类别、置信度 data results.pandas().xyxy[0].to_dict(orientrecords) return jsonify(data) if __name__ __main__: app.run(host0.0.0.0, port5000)这个接口虽然简单但已经够内部验证用了。如果是给车间现场用建议加一个简单的上传界面让质检员能直接拖拽图片检测把结果保存到本地。我当时是写了一个简单的HTML页面配了一个Flask后端半天就能全部搞定。5.3 边缘设备部署的注意事项很多实际项目不是部署在GPU服务器上而是用Jetson Nano、RK3588这类边缘设备。如果你用的是NVIDIA边缘设备把ONNX进一步转成TensorRT的engine文件推理速度能大幅提升。但要注意TensorRT的engine文件是针对特定显卡型号和TensorRT版本生成的换个设备或者升级TensorRT版本就要重新导出。在低算力设备上我会把输入尺寸从640降到416甚至320虽然精度会掉一些但推理延迟明显下降。还有一个技巧是开启半精度推理在不明显掉点的情况下进一步加速。边缘设备上另一个常见问题就是内存限制做推理时要做好图片的批量控制别一次塞几十张图进去。6. 从Demo到产线那些文档不会告诉你的现实问题6.1 光照、运动模糊与缺陷易混淆性Demo做得再漂亮到了产线上都会遇到一个共同敌人图像质量和训练集不一致。钢带在高速运动时相机如果曝光时间过长缺陷就成了一条拖影。这种运动模糊在训练集里几乎没有模型见到它就懵了。解决思路不是在模型层面死磕而是在成像端控制——调短曝光时间、上频闪光源、选帧率更高的相机这些坏图从源头就少了。光照问题也一样。热轧产线上有大量水汽和红外辐射光照条件非常恶劣同一个缺陷在早晨和下午拍出来的灰度值能差出几十个LEVEL。这时候我会考虑做灰度归一化、直方图均衡化这类预处理让模型输入更稳定。如果条件允许收集不同光照条件下的样本加入训练集也是最朴实的办法。6.2 小样本场景下的持续迭代策略产线数据不可能一次性收集齐全更现实的做法是“小步快跑”地迭代。我的经验是首批用NEU-DET训练出一个能跑的版本上线后收集一周的现场图片人工筛选出几百张有代表性的缺陷样本难例负样本补充进训练集每周做一次增量训练用上一周的模型作为预训练权重用全部新老数据做微调。这里有个坑要提醒增量训练时学习率一定要调低比如设成0.0001否则模型很容易把已经学到的特征忘掉。我用过最稳的配置是加载上一轮训练的best.pt训练集用所有收集到的数据epochs设50到80学习率降一个量级这样每次迭代精度都不会掉。6.3 输出交付检测记录、日志与缺陷统计一个真正能用的检测系统不只是“能画框”而已。实际的质检系统需要保存每一次检测的图像、检测框坐标、类别、置信度、时间戳方便追溯。我建议在后端接口里直接把这些信息写入数据库同时把带检测框的结果图保存到本地目录这样日后模型出了问题能回溯查找是哪一批数据导致的。这在产线上是硬需求但很多教程和Demo都忽略了。你写代码时哪怕只是把一个CSV日志写全后续做数据分析、误检复盘时都会省很多力气。还有一个经验不要把置信度阈值设得太死。产线实际使用中应该提供一个置信度参数面板让工艺人员根据当天的场景微调而不是把阈值写死在代码里。我在部署时会在界面里加两个滑动条一个调置信度阈值一个调NMS的IoU阈值这俩参数直接决定漏检和误检的平衡点。对工业质检来说漏检的代价往往比误检高得多所以默认阈值我会设得低一些。从YOLOv5选型、NEU-DET数据集处理到训练调参、部署上线这套流程本身没有什么魔法每一步都是工程权衡。我见过不少人拿着源码跑通一个Demo就觉得大功告成但真正让你在产线上站稳脚跟的是后面那一轮轮的数据迭代和参数微调。说到底钢板的表面缺陷不会因为你的模型名称好听就变少它只会被那些把数据吃透、把场景想清楚的人一点一点揪出来。如果你也正在和钢材表面的裂纹、麻点较劲希望这篇实操记录能帮你少走几段弯路。本文还有配套的精品资源点击获取 YOLOv5钢材表面缺陷检测系统：从NEU-DET数据到工业部署全流程
简介本资源是一套面向工业质检场景的YOLOv5钢材表面缺陷检测系统完整实现适用于深度学习初学者、计算机视觉工程师及智能制造领域研究者解决钢铁生产中常见划痕、凹坑、裂纹等表面缺陷的自动化识别问题。压缩包共5528个文件涵盖1800张标注清晰的JPG工业图像、1800份对应XML标注文件含PASCAL VOC格式边界框、1806个YOLOv5适配的TXT标签文件以及33个核心Python训练/推理脚本、26个配置用YAML模型参数文件并包含CMake构建脚本、Docker环境配置、日志与缓存管理等工程化支持组件整体大小为28.28MB。已有2506人下载学习资源结构完整、开箱即用提供从数据预处理、模型训练、权重导出到实时检测的全流程代码特别适合快速复现工业缺陷检测方案并开展迁移学习与部署优化。 做钢材表面缺陷检测或者说拿到一个类似“YOLOv5钢材表面缺陷数据集检测系统源码”这样的项目资源包时我建议你先别急着解压跑训练。先想清楚一个问题你手上的数据长什么样、标签靠不靠谱、类别是怎么定义的。这个项目的外壳是YOLOv5但灵魂其实是“钢材缺陷”这四个字——钢铁表面的裂纹、麻点、氧化铁皮、划痕这些东西和通用目标检测里的猫猫狗狗完全不是一个套路。我在实际做这个方向时最大的体会是算力和模型反而不是门槛数据集的质量和缺陷本身的形态差异才是决定系统能不能用的关键。这套东西适合谁如果你正在做工业质检相关的课题或者刚接触YOLO系列想找一个有实际工业背景的练手项目又或者你已经跑通了COCO数据集想看看模型在“小目标、低对比度、灰度图像”上表现如何那这篇文章对你是有参考价值的。我会从项目要解决的实际问题说起把数据集处理、环境配置、训练调参、部署推理以及从Demo到产线之间那些没人明说但一定会遇到的坑按我自己的实操顺序铺开讲。1. 为什么是YOLOv5钢材缺陷检测的选型逻辑其实很老实1.1 先搞清楚钢材表面缺陷检测到底在检测什么热轧钢带、冷轧钢卷在生产线上高速通过时表面会出现各种类型的缺陷。常见的包括裂纹、夹杂物、斑块、麻点、氧化铁皮压入、划痕等等。这些缺陷面积小、对比度低而且钢材本身表面就有一层纹理和反光人眼盯着屏幕看久了必然疲劳漏检率会随时间直线上升。传统机器视觉的做法是固定光源下用阈值分割、边缘检测、纹理特征提取来识别但这种方案对光照变化和缺陷形态变化极度敏感换个钢种、换个产线速度算法基本就要重新调。深度学习目标检测的思路就不一样它不依赖人工设计特征而是让网络从大量标注样本里自己学习“缺陷长什么样”。YOLOv5作为一阶段检测器在速度和精度的平衡上做得比较稳训练和部署的资料也多社区活跃度高遇到问题基本都能搜到答案。对于钢材缺陷这类工业检测场景YOLOv5不是理论上最前沿的选择但它是工程上最省心的选择。1.2 YOLOv5在工业小目标上的优势到底在哪钢材表面缺陷有一个很麻烦的特点在整幅图像里占比很小。比如一条细微裂纹可能只有几十个像素宽长度倒是有几百像素但相对于640x640的输入尺寸来说依然属于典型的小目标。YOLOv5在三个尺度上做预测分别对应大、中、小目标小目标的检测头对这类缺陷是比较友好的。再加上PANet结构做特征融合浅层的细粒度纹理信息和深层的语义信息能更好地结合在一起这对“细微但长条形”的缺陷来说非常关键。而且YOLOv5的工程化做得相当完整。数据增强策略是内置好的模型剪枝、量化、ONNX导出、TensorRT部署这些工具链都有现成脚本不用自己从头写。我当时选择YOLOv5而不是其他检测框架一个很现实的原因就是它能让我把精力放在数据和业务上而不是花两周时间去调一个训练脚本。1.3 模型版本怎么选s、m、l还是nYOLOv5官方提供了n、s、m、l、x几个版本网络深度和宽度逐级增加。钢材缺陷数据集通常规模不大公开的NEU-DET也只有1800张图六类缺陷这个数据量撑不起太深的模型。我用下来最推荐的是YOLOv5s和YOLOv5m。s版本推理快显存占用低适合快速验证和边缘部署m版本精度会稍高一些如果算力允许可以用它做最终模型。很多初学者一上来就选l或者x觉得模型越大越准。但实际上在工业缺陷这类“样本少、类内差异大、背景复杂”的任务里大模型非常容易过拟合——训练集上mAP接近1.0一测试就露馅。我的建议是先用s版本把整个流程跑通确定数据、标签、训练策略都没问题了再考虑升级到m或者用集成测试来压榨精度。2. 数据集才是这套系统的命根子NEU-DET解析与预处理2.1 NEU-DET数据集里到底有什么很多做这个系统的同学用的都是东北大学发布的NEU-DET热轧带钢表面缺陷数据集。它包含1800张灰度图像每张分辨率是200x200像素共六类缺陷crazing裂纹、inclusion夹杂物、patches斑块、pitted_surface麻点、rolled-in_scale氧化铁皮、scratches划痕每类300张。标注格式有XML格式的Pascal VOC标注也有TXT格式的YOLO标注下载后可以根据自己需要选择。这个数据集最大的好处是干净——每张图只有一个缺陷实例或者少数几个同类缺陷类别平衡标注质量也过关。但这也是它和真实产线差距最大的地方。真实场景里一张图可能同时出现多类缺陷光照不均、运动模糊、表面油污都会严重影响检测效果。所以我建议你把NEU-DET当作验证平台的“标准测试集”用来验证YOLOv5的检测流程但千万别以为模型在这个数据集上效果好就能直接上产线。2.2 目录结构、标注格式与数据集划分拿到原始数据之后第一步是把它整理成YOLOv5需要的目录结构。YOLOv5的数据目录通常长这样dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/标注文件是和图片同名的TXT文件每一行代表一个目标框格式是class_id x_center y_center width height注意这里的x_center、y_center、width、height都是相对于图片宽高的归一化坐标取值范围0到1。如果你拿到的是Pascal VOC格式的XML标注需要先转换一下。YOLOv5的仓库里没有直接提供这个转换脚本但网上有很多现成工具或者你可以自己写一个简单的XML转TXT脚本。我在第一次做这事儿的时候踩过一个坑XML里坐标是整数像素值转成相对坐标时要除以图片的宽和高而不是除以224或640这是很多教程里没写明白但特别容易错的地方。数据集划分我一般按8:1:1或者8:2来做训练集和验证集。由于NEU-DET每类数量均衡直接随机划分问题不大但要保证训练集里每类缺陷都有一定数量别把某一类大部分样本都分到验证集里去了。如果后面加了真实场景数据类别不平衡严重的话可以考虑按类别分层采样来划分。2.3 针对钢材场景的数据增强不是越多越好YOLOv5默认会启用Mosaic、MixUp、HSV扰动、随机翻转等数据增强这些增强策略在COCO这种自然图像数据集上效果很好但搬到钢材表面缺陷上要小心。比如HSV色相和饱和度扰动NEU-DET本身是灰度图YOLOv5加载时虽然会转成三通道但三个通道值是一样的大幅度的色相扰动反而会让模型学到不存在的颜色信息。还有Mosaic拼接把四张图拼在一起对“缺陷尺度变化”是有帮助的但拼接边界上可能出现伪轮廓如果缺陷正好跨在拼接线上反而会被模型学歪。我的做法是在钢材缺陷场景里增强策略用默认配置的70%强度左右然后关闭或者调低HSV中的H和S扰动保留V值亮度扰动。另外可以打开随机旋转和水平垂直翻转但要控制旋转角度范围钢材缺陷大多是长条形的旋转90度还说得通无限旋转会产生大量实际不可能出现的角度形态对训练没有帮助。2.4 从散图到YOLO格式自制数据集的转化思路如果你打算在NEU-DET之外加入自己采集的产线数据那要面对的第一个问题就是怎么把采集到的图像变成YOLO能用的训练样本。我建议用一个标注工具比如LabelImg先在图像上画矩形框直接导出YOLO格式的标注文件这个流程最简单。要提醒的是标注的边界框尽量贴着缺陷边缘不要留太多背景否则模型学到的就会是“背景里的那个区域”而不是缺陷本身。标注时还有一个细节容易忽略对于同一张图里多个间距很近的缺陷是标注成两个框还是一个框我的经验是如果两个缺陷中间有明显间隔就分开标如果它们已经连成一片、没有清晰边界就当一个缺陷框标不要强行切开。让模型去学一个不确定的边界只会增加训练噪音。3. 环境搭建与第一次训练YOLOv5安装里的坑我一次给你排完3.1 Python、PyTorch、CUDA的版本三角关系YOLOv5对PyTorch版本的要求不算苛刻但如果你配的环境不对光安装这一步就能卡你一天。我的建议是先确定自己的显卡驱动版本再根据驱动版本选择CUDA版本最后根据CUDA版本安装对应版本的PyTorch。别直接装最新版PyTorch——最新版往往需要最新CUDA而你的显卡驱动未必支持。比如用NVIDIA GTX 30系或40系显卡驱动比较新直接装CUDA 11.8或12.1的PyTorch通常没问题。如果你还在用老显卡那就得先查驱动支持的最高CUDA版本别盲目升级。可以用下面这个命令快速查看驱动信息nvidia-smi输出右上角会显示“CUDA Version: xx.x”这就是你的驱动最高能支持的CUDA版本PyTorch的CUDA版本不能比这个高。3.2 YOLOv5依赖安装的坑YOLOv5的requirements.txt写得很全但直接pip install -r requirements.txt在Windows上经常会在pycocotools这儿卡住。这个包是用来做COCO评估的在Windows上编译需要Visual C Build Tools。说实话如果你只是训练和检测不一定要跑COCO评估可以先把pycocotools注释掉其他依赖装好再说。我当时的做法是git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt如果报错就逐个排查核心依赖其实就几个torch、torchvision、opencv-python、numpy、matplotlib、pyyaml、tqdm。只要这些装好了训练就能跑起来。还要注意Python版本Python 3.8到3.11都行太老或者太新都可能遇到兼容性问题。3.3 训练参数怎么定imgsz、batch、epochs和显存的账训练前要写一个数据配置文件指向你的数据目录和类别列表。类似这样train: dataset/images/train val: dataset/images/val nc: 6 names: [crazing, inclusion, patches, pitted_surface, rolled-in_scale, scratches]然后启动训练python train.py --data neudet.yaml --weights yolov5s.pt --batch-size 16 --epochs 200 --img 640参数选择上--img我推荐640。NEU-DET原始图片只有200x200直接缩放到640其实是在做上采样对小缺陷的细节保留有帮助。但要注意上采样并不会增加真实信息只是让模型输入尺寸统一。如果你的显卡显存只有8G--batch-size设置16配yolov5s基本是极限了显存不够就降到8或者4。--epochs我建议从100到200之间开始试NEU-DET数据量小训练到150个epoch左右基本就收敛了多了容易过拟合。3.4 第一次训练跑起来之后要看什么训练一旦启动终端会实时输出loss、mAP这些指标。很多新手盯着loss曲线看半天也不知道好坏。我的经验是重点关注val/box_loss、val/cls_loss和mAP0.5这几个值。如果训练集loss持续下降但验证集loss不降反升说明过拟合了提前停止就好如果mAP0.5能从0.8往上走说明模型已经学到东西了。第一次训练没必要追求完美精度更重要的把整个流程跑通。你会发现在数据集规模小的时候训练一轮用不了几分钟整个200个epoch可能就半小时。这时候多试几组参数看看不同配置对结果的影响比你闷头调一天代码更有价值。4. 训练结果解读与模型优化mAP、PR曲线、误检漏检4.1 训练日志里的指标到底意味着什么训练结束后YOLOv5会生成results.png、混淆矩阵、PR曲线等结果文件。我建议重点看混淆矩阵和PR曲线。混淆矩阵能告诉你哪两类缺陷容易被搞混这个信息比整体mAP重要得多。比如在NEU-DET上patches和rolled-in_scale这两类很容易互相误判因为它们都表现为大面积的灰度斑块边界模糊。PR曲线则是检测置信度阈值从高到低变化时精确率和召回率的动态关系。曲线往右上角凸得越厉害说明模型在各个阈值下表现越好。如果PR曲线整体偏低说明你模型的置信度普遍不高那么在实际部署时你就得把置信度阈值设低一点才能保证召回但这样也会带来更多误检。4.2 两类常见的“虚假成功”过拟合和类别混淆有一种情况特别迷惑人训练集mAP能达到0.99val集也有0.95但你拿产线实拍的图一测框出来的全是错的。这就是典型的过拟合。NEU-DET只有1800张图而且每张图背景相对单一模型很容易记住训练集里的背景纹理特征而不是真正的缺陷特征。碰到这种情况最有效的办法不是调模型而是扩充数据——加入真实场景的负样本和难例。另一个问题是类别混淆。钢材缺陷里有些类别形态确实很像比如crazing裂纹和scratches划痕两者都是细长条区别在于裂纹更弯曲、更随机划痕更平直。如果混淆矩阵显示这两类互相误判严重可以考虑把这两类合并成一个“线状缺陷”类或者增加细粒度分类的监督信号。业务上如果只需要判“有没有缺陷”而不需要细分缺陷类型那直接合并类别是最省事也最稳的方案。4.3 更贴近场景的调优方向如果你已经把NEU-DET跑到了mAP很高的水平但总觉得系统“不够实用”那接下来该做的不是继续压榨mAP而是在更接近实际场景的测试集上评估。我遇到过的情况模型在NEU-DET上mAP0.5到了0.95但在我自己标注的一小批现场图上mAP只有0.6。问题出在图像分辨率、光照条件和缺陷形态分布不一样。所以调优的方向应该是小批量地把你现场的真实缺陷图片加进训练集一开始可能只加几十张然后重新训练看val集变化。这种“用小数据牵引大模型”的方式在工业质检里特别管用。你会发现有时候只加50张真实场景图效果比换一个更大的模型更明显。5. 从权重到系统推理部署与检测界面5.1 导出ONNX跨平台部署的第一步训练得到best.pt之后不能直接拿来给所有环境用尤其是边缘设备上跑推理ONNX或者TensorRT引擎才更常见。YOLOv5的导出脚本很成熟python export.py --weights best.pt --include onnx导出之后可以用ONNX Runtime来推理也可以继续转成TensorRT的engine文件在NVIDIA设备上部署。做这一步时要注意导出的ONNX模型的输入输出尺寸是固定的通常输入是1x3x640x640输出是1x25200x7其中最后7维是x_center, y_center, width, height, objectness, class_0, class_1, ..., class_5。写推理代码时要对这25200个预测框做NMS去重不能直接把所有的框都画上去。5.2 用Web界面跑一个检测服务把模型部署成Web服务用Flask框架搭建就非常快路径。用户上传一张图片服务端调用模型推理把检测结果图画好返回给前端。核心代码不长大致是这个套路from flask import Flask, request, jsonify from PIL import Image import io import torch app Flask(__name__) model torch.hub.load(ultralytics/yolov5, custom, pathbest.pt, force_reloadTrue) app.route(/detect, methods[POST]) def detect(): img_bytes request.files[image].read() img Image.open(io.BytesIO(img_bytes)) results model(img, size640) # 返回检测框、类别、置信度 data results.pandas().xyxy[0].to_dict(orientrecords) return jsonify(data) if __name__ __main__: app.run(host0.0.0.0, port5000)这个接口虽然简单但已经够内部验证用了。如果是给车间现场用建议加一个简单的上传界面让质检员能直接拖拽图片检测把结果保存到本地。我当时是写了一个简单的HTML页面配了一个Flask后端半天就能全部搞定。5.3 边缘设备部署的注意事项很多实际项目不是部署在GPU服务器上而是用Jetson Nano、RK3588这类边缘设备。如果你用的是NVIDIA边缘设备把ONNX进一步转成TensorRT的engine文件推理速度能大幅提升。但要注意TensorRT的engine文件是针对特定显卡型号和TensorRT版本生成的换个设备或者升级TensorRT版本就要重新导出。在低算力设备上我会把输入尺寸从640降到416甚至320虽然精度会掉一些但推理延迟明显下降。还有一个技巧是开启半精度推理在不明显掉点的情况下进一步加速。边缘设备上另一个常见问题就是内存限制做推理时要做好图片的批量控制别一次塞几十张图进去。6. 从Demo到产线那些文档不会告诉你的现实问题6.1 光照、运动模糊与缺陷易混淆性Demo做得再漂亮到了产线上都会遇到一个共同敌人图像质量和训练集不一致。钢带在高速运动时相机如果曝光时间过长缺陷就成了一条拖影。这种运动模糊在训练集里几乎没有模型见到它就懵了。解决思路不是在模型层面死磕而是在成像端控制——调短曝光时间、上频闪光源、选帧率更高的相机这些坏图从源头就少了。光照问题也一样。热轧产线上有大量水汽和红外辐射光照条件非常恶劣同一个缺陷在早晨和下午拍出来的灰度值能差出几十个LEVEL。这时候我会考虑做灰度归一化、直方图均衡化这类预处理让模型输入更稳定。如果条件允许收集不同光照条件下的样本加入训练集也是最朴实的办法。6.2 小样本场景下的持续迭代策略产线数据不可能一次性收集齐全更现实的做法是“小步快跑”地迭代。我的经验是首批用NEU-DET训练出一个能跑的版本上线后收集一周的现场图片人工筛选出几百张有代表性的缺陷样本难例负样本补充进训练集每周做一次增量训练用上一周的模型作为预训练权重用全部新老数据做微调。这里有个坑要提醒增量训练时学习率一定要调低比如设成0.0001否则模型很容易把已经学到的特征忘掉。我用过最稳的配置是加载上一轮训练的best.pt训练集用所有收集到的数据epochs设50到80学习率降一个量级这样每次迭代精度都不会掉。6.3 输出交付检测记录、日志与缺陷统计一个真正能用的检测系统不只是“能画框”而已。实际的质检系统需要保存每一次检测的图像、检测框坐标、类别、置信度、时间戳方便追溯。我建议在后端接口里直接把这些信息写入数据库同时把带检测框的结果图保存到本地目录这样日后模型出了问题能回溯查找是哪一批数据导致的。这在产线上是硬需求但很多教程和Demo都忽略了。你写代码时哪怕只是把一个CSV日志写全后续做数据分析、误检复盘时都会省很多力气。还有一个经验不要把置信度阈值设得太死。产线实际使用中应该提供一个置信度参数面板让工艺人员根据当天的场景微调而不是把阈值写死在代码里。我在部署时会在界面里加两个滑动条一个调置信度阈值一个调NMS的IoU阈值这俩参数直接决定漏检和误检的平衡点。对工业质检来说漏检的代价往往比误检高得多所以默认阈值我会设得低一些。从YOLOv5选型、NEU-DET数据集处理到训练调参、部署上线这套流程本身没有什么魔法每一步都是工程权衡。我见过不少人拿着源码跑通一个Demo就觉得大功告成但真正让你在产线上站稳脚跟的是后面那一轮轮的数据迭代和参数微调。说到底钢板的表面缺陷不会因为你的模型名称好听就变少它只会被那些把数据吃透、把场景想清楚的人一点一点揪出来。如果你也正在和钢材表面的裂纹、麻点较劲希望这篇实操记录能帮你少走几段弯路。本文还有配套的精品资源点击获取