(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211216497.1 (22)申请日 2022.09.30 (71)申请人 湖南科技大 学 地址 411201 湖南省湘潭市雨湖区石码头2 号 (72)发明人 陈祖国　张胥卓　卢明　陈超洋　 陈永伟　 (74)专利代理 机构 湘潭市汇智专利事务所(普 通合伙) 43108 专利代理师 陈伟 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/10(2022.01)G06V 10/77(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于Transformer与SE的磁瓦缺陷检测方法 (57)摘要 本发明公开了一种基于Transformer与 SE的 磁瓦缺陷检测方法， 包括以下步骤： 对磁瓦图像 进行数据增强得到数据集， 将数据集划分为训练 集、 测试集； 构建磁瓦缺陷检测模型； 进行磁瓦缺 陷检测模型训练， 得到训练好的磁瓦缺陷检测模 型； 采用测试集进行磁瓦缺陷检测， 得到检测结 果。 本发明在主干网络中增加了Transformer模 块与注意力机制SE， Transformer模块充分发掘 了深度学习神经网络的特性， 利用了自注意力机 制实现了 快速并行计算， 减少了模 型的训练时间 并提高了磁瓦缺陷的检测精度， 注意力机制SE解 决了在卷积 池化过程中feature  map的不同通道 所占的重要性 不同带来的损失问题。 权利要求书2页 说明书4页 附图4页 CN 115496738 A 2022.12.20 CN 115496738 A 1.一种基于Transformer与SE的磁瓦缺陷检测方法， 其特 征在于， 包括以下步骤： 第一步： 对磁瓦图像进行 数据增强得到数据集， 将数据集划分为训练集、 测试集； 第二步： 构建磁瓦缺陷检测模型； 基于YOLOv5方法进行改进， 在其主干网络中增加了 Transformer模块与注意力机制， 从而得到磁瓦缺陷检测模型； 第三步： 采用训练集进行磁瓦缺陷检测模型训练， 得到训练好的磁瓦缺陷检测模型； 第四步： 基于训练好的磁瓦缺陷检测模型， 采用测试集进行磁瓦缺陷检测， 得到检测结 果。 2.根据权利要求1所述的基于Transformer与SE 的磁瓦缺陷检测方法， 其特征在于， 所 述步骤一中， 对图像进 行 Mosaic 数据增强， 从训练集中随机取出四张图片进行裁剪， 再拼 接到一张图上作为训练数据， 这样丰富了图片的背景， 并且四张图片拼接在一起提高了一 次训练所选取的样本数batc h size。 3.根据权利要求2所述的基于Transformer与SE 的磁瓦缺陷检测方法， 其特征在于， 所 述步骤二中， 磁瓦缺陷检测 模型包括三部分， 分别 为主干部分Backbone、 中间部分Neck、 输 出部分Output； Backbone中包含依次连接的第一个Conv、 第二个Conv、 第一个C3、 第三个Conv、 第二个 C3、 第四个Conv、 第三个C3、 第五个Conv、 C3TR、 SPPF和SE； Conv包括二维卷积Conv2d、 批量标 准化BatchNormalization和激活函数H ardSwish； C3是带有3个Conv模块的残差结构； SPPF 为SPP的快速实现版本； SPP为空间金字塔池化， 将任意大小的特征图转换成固定大小的特 征向量； C 3TR为3个Transformer编码器的残差结构； SE为注意力机制； Output包含一个深度为256的矩阵的卷积模块Conv256、 一个深度为512的矩阵的卷积 模块Conv512和一个深度为1024的矩阵的卷积模块Co nv1024； Neck中包含第六个Conv、 第七个Conv、 第八个Conv、 第九个Conv、 第四个C3、 第 五个C3、 第六个C3、 第七个C3、 第 一个Conc at、 第二个Conc at、 第三个Conc at、 第四个Conc at、 第一个 UpSample、 第二个UpSample， Backbone中SE与第六个Conv连接， 第六个Conv与第一个 UpSample连接， 第一个UpSample分别连接第一个Concat、 第二个Concat， 第一个Concat经第 四个C3后连接Output的Conv1024， Backbone的第三个C3连接第二个Concat， 第二个Concat、 第五个C3、 第七个Conv、 第 二个UpSample、 第 三个Concat依次连接， 第三个Concat分别连接 第六个C3、 Backbone的第二个C3， 第六个C3与Output的Conv256连接， 第六个C3、 第八个 Conv、 第四个Concat、 第七个C3、 第九个Conv、 第一个Concat依次连接， 第二个UpSample与第 四个Concat连接， 第七个C3与Output的Conv512连接； Concat表示将网络进行连接； UpSample为上采样， 目的将图片进行放大。 4.根据权利要求3所述的基于Transformer与SE 的磁瓦缺陷检测方法， 其特征在于， 所 述步骤二中， 注意力机制S E的过程为： 特征图输入后， 通过基于特征图的宽度和高度进 行全 局平均池化Global  Avg Pool的同时对空间特征降维； 紧接着使用全连接层Fully   Connected和非线性激活函数Non ‑linear建立通道间的连接； 然后经过  Sigmoid 激活函数 获得归一化权重， 最后通过乘法逐通道加权到原始特征图的每一个通道上， 完成通道注意 力对原始特征 的重新标定， 经过全局平均池化获得全局的感受野， 在第一次全连接时通过 减少特征图的维度， 减少 了参数和计算量， 之后经过非线性激活函数后再通过一个全连接 恢复到原来的通道数， 完成了通道间相关性的建立。权　利　要　求　书 1/2 页 2 CN 115496738 A 25.根据权利要求4所述的基于Transformer与SE 的磁瓦缺陷检测方法， 其特征在于， 所 述步骤二中， Transformer的结构为： Transformer分为两大部分， 分别为编码器和解码器； 编码器由自注意力机制、 归一化 操作、 前向传播部 分与残差连接组成； 解码 器由编码‑解码注意力机制、 归一化操作、 前向传 播部分与残差连接组成； 输入先进行位置编码嵌入数据的位置信息， 然后经过两次编码和 两次解码， 将得到的输出进行线性 化处理再经过Softmax函数激活得到最终输出。权　利　要　求　书 2/2 页 3 CN 115496738 A 3