(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211209175.4 (22)申请日 2022.09.30 (71)申请人 郑州轻工业大 学 地址 450000 河南省郑州市金 水区东风路5 号 (72)发明人 贺振东　安小宇　刁智华　刘洁　 葛世举　赵素娜　何艳　张辉　 杨易民　张杰　 (74)专利代理 机构 郑州博骏知识产权代理事务 所(普通合伙) 41222 专利代理师 任坤 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进的特征金字塔网络和度量学习的 钢轨表面 缺陷检测方法 (57)摘要 本发明公开了一种基于改进的特征金字塔 网络和度量学习的钢轨表面缺陷检测方法， 在 ResNet50网络中加入可变形卷积DC和卷积注意 模块CBAM， 得到改进的特征金字塔网络 FPN， 在MS   COCO数据集上预训练改进的特征金字塔网络 FPN， 将训练后的网络参数和网络模型迁移到钢 轨表面缺陷检测模型中； 对钢轨表 面缺陷数据集 利用改进的FPN网络进行特征提取和定位， 得到 特征图ROI输入RepMet网络， 利用多模态网络结 构和DML嵌入模块的特征向量计算钢轨缺陷分类 识别的概率， 实现缺陷检测的目标识别和分类。 本发明相比其 他少样本方法有更好的性能提升 。 权利要求书2页 说明书10页 附图4页 CN 115526864 A 2022.12.27 CN 115526864 A 1.一种基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法， 其特征在 于， 包括以下步骤： (1)在ResNet50网络中加入可变形卷积DC和卷积注意模块CBAM， 得到改进的特征金字 塔网络FPN， 作为钢轨表面 缺陷特征提取网络； (2)在MS COCO数据集上预训练改进的特征金字塔网络FPN， 然后将训练后的网络参数 和网络模型迁移到钢轨表面 缺陷检测模型中； (3)对钢轨表面缺陷数据集利用改进的FPN网络进行钢轨表面缺陷特征提取和定位， 得 到特征图ROI； (4)将特征图ROI输入RepMet网络， RepMet网络包括距离度量学习DML嵌入模块； 利用多 模态网络结构获取ROI特征以得到对应的特征向量， 再通过计算各个模态代表与D ML嵌入模 块得到的特 征向量的距离， 进行缺陷分类识别。 2.根据权利要求1所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测 方法， 其特征在于， 步骤(1)中， 改进的特征金字塔网络FPN， 首先对图像进 行可变形卷积DC， 通过卷积注意模块CBAM聚焦钢轨缺陷特征， 1 ×1卷积操作后， 对上一层的特征图进行上采 样并叠加融合当前层的特征图， 3 ×3卷积之后得到不同尺度的特征图(p2， p3， p4， p5)， 由对 应各自的区域建议网络RPN得到特征图ROI， 最后进行ROI池化， 即可完成钢轨表面缺陷的特 征提取。 3.根据权利要求2所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测 方法， 其特征在于， 可变形卷积DC为给卷积操作每个点加上一个可学习的偏移量ΔPn， 通过 偏移量学习目标后， 可变形卷积核的大小和位置根据当前图像内调整， 不同位置的卷积核 采样点根据图像内容进行自适应 变化； 可变形 卷积DC定义为： 式中， y(P0)表示图像中P0点完成卷积 操作后的值； Pn表示的是R中所有位置 。 4.根据权利要求2所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测 方法， 其特征在于， 卷积注 意模块CBAM包括通道注 意力模块CAM和空间注 意力模块SAM， 这两 种模块分别 在通道维度与空间维度上聚焦图像重要特征， 通过两个池化操作聚合特征映射 的通道信息， 再通过 标准卷积层将它 们连接并卷积； 给定输入特征图F∈RC×H×W， 通过一维通道注意映射Mc∈RC×1×1和二维空间注意映射Ms∈ R1×H×W串行计算， 得到 输出F”， 即： 其中， F'为输入特征经过通道注意模块的特征； F ”为经过注意力模块最终输出的特征； 表示基于元 素的乘法； C为 通道数； H为特 征图的高度； W 为特征图的宽度。 5.根据权利要求2所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测 方法， 其特 征在于， 在对特 征图进行RPN处 理时， 用边框回归损失函数对边框进行优化。 6.根据权利要求1所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测 方法， 其特 征在于， 步骤(4)包括 步骤： (4.1)利用多模态网络结构再进行一次卷积操作 提取缺陷ROI特征， 然后经全连接层提权　利　要　求　书 1/2 页 2 CN 115526864 A 2取得到各模态对 应的特征向量Eij； 每一个模态网络中由2个全连接层组成， 并且 每个全连接 层后都加上ReLU激活函数； (4.2)经DML嵌入模块进行非线性处理后得到特征矢量Ei； DML嵌入模块由3个全连接层 组成， 并且每 个全连接层后都加上ReLU激活函数； (4.3)计算特征矢量Ei与特征向量Eij之间的距离， 表示经过FPN提取的i类在嵌入特征 矢量Ei与各模态特征向量Eij的距离， 这些距离用来计算给定ROI在每个类i在各模态j中的 概率， 从而进行ROI的分类判定 。 7.根据权利要求6所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测 方法， 其特 征在于， 步骤(4.3)中， Ei与Eij之间的距离计算公式： 式中， n表示类别数， Dj(Ei)用于计算 提取每个i类在各模态j中的概 率， 表示为公式： 8.根据权利要求6所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测 方法， 其特 征在于， 还 包括缺陷ROI类别的后验概 率计算和背景类别的后验概 率计算。 9.根据权利要求6所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测 方法， 其特征在于， 在进 行分类识别时采用损失函数进 行优化， 采用嵌入损失函数和交叉熵 损失函数。权　利　要　求　书 2/2 页 3 CN 115526864 A 3