(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211197945.8 (22)申请日 2022.09.29 (71)申请人 云之端网络 （江苏） 股份有限公司 地址 213023 江苏省常州市钟楼经济开发 区玉龙南路178-1号 申请人 江苏理工学院 (72)发明人 高伟　贡伟力　郭强　王奋　 (74)专利代理 机构 北京市惠 诚律师事务所 11353 专利代理师 潘朋朋 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多轴交叉注意的不良图片鉴别方 法 (57)摘要 本发明公开了一种基于多轴交叉注意的不 良图片鉴别方法， 包含构建浅层特征提取模块， 构建多轴交叉注意感知网络， 构建区域全连接卷 积识别网络， 构建多轴交叉注 意感知的不良图片 鉴别网络， 构建深度优化器， 获得深度网络的最 优参数， 根据最优网络参数， 获得不良图片 的评 估值。 本发明可有效提高不良图片 的识别率、 简 单有效， 处 理时间较短， 可以达 到实时。 权利要求书3页 说明书7页 附图3页 CN 115546541 A 2022.12.30 CN 115546541 A 1.一种基于多轴交叉注意的不良图片鉴别方法， 包括如下 所述步骤： 构建浅层特 征提取模块； 构建多轴交叉注意感知网络； 构建区域全连接卷积识别网络 构建多轴交叉注意感知的不良图片鉴别网络 构建深度优化器， 获得深度网络的最优参数， 根据最优 网络参数， 获得不良图片的评估 值。 2.根据权利要求1所述的一种基于多轴交叉注意的不良图片鉴别方法， 其特征在于： 所 述构建浅层特征提取模块(SFAM),该模块通过对不同通道的不同接受域的信息融合， 提取 不良图片和对应的梯度图片的浅层视觉特征， 为下一步多轴交叉注意模块处理提供有效的 视觉信息。 所述SFAM模块由5个带有不同核 大小的卷积模块、 3个不同核 大小的池化模块， 以 及2个级联操作， 如图2所示， 其中， 长方体侧面标注的是核的大小， pool表示池化操作， C表 示级联操作,fi表示第i个视 觉特征。 从数学上具体可表示 为： f1＝ConvB(Input,5) f2＝ConvB(f1,3) f3＝C(f1,Po ol(f2,7)) f4＝C(f2,Po ol(ConvB(f3,3),5) ) f5＝Conv(Pool(ConvB(f4,3),3),1)                   (1) 其中， ConvB(fi,k)表示含有1个卷积层， 1个激活层的卷积块， k表示卷积核的大小， 在 本发明中， k取值为1， 3， 5， 7； Input表示输入图像， 在本发明中是不良图片和 对应的梯度图 像； C(,)表示两个视觉按照通道维度进行级联， Pool(fi,k)表示平均池化操作， k也表示卷 积核的大小。 3.根据权利要求1所述的一种基于多轴交叉注意的不良图片鉴别方法， 其特征在于： 所 述构建多轴交叉注 意感知网络(MACA)包括三个部分选择注 意感知网络(SA)、 全局池化通道 感知网络(GP CA)和交叉感知网络。 选择注 意网络感知通过全局平均池化层(GAP)， 全 连接层 (FC)， 激活函数(Softmax)以及若个操作完成 的， 其通过注意网络后获取的视觉特征Fsa可 以表示为： a＝Softmax(FC(GAP(Fa))) 其中， Fi(i∈{1， 2， 3})是通过切分操作(split)切分出来的， ai(i∈{1， 2， 3})表示经过 激活函数softmax操作后获得权重a的第i个分量。 表示像素级的视觉特征求和操作.全局 池化通道感知 网络首先对两个不同的视觉特征进行级联， 然后利用卷积核为1的卷积层将 视觉特征通道数降低， 紧接着计算降低后特征 的通道相关系 数， 紧着对获取 的系数矩阵进 行行卷积操作， 接着再通过一系列的全连接和激活操作获得对应特征通道的权重， 最后通 过将这些通道权重与对应通道的视觉特征相乘得到新的视觉特征。 具体通过数学表示可以 表达为：权　利　要　求　书 1/3 页 2 CN 115546541 A 2xcat＝Conv1×1(C(x1,x2)) Fgp＝σ(FC(rwco nv(Cov(xcat))))×xcat                            (3) 其中， Conv1x1表示卷积 核为1的卷积操作， C(x1,x2)表示两个不同输入视觉 特征x1,x2的 级联操作， xcat表示经过卷积核为1的卷积操作后的视觉特征， Cov表示视觉特征xcat的通道 相关系数矩阵， rwco nv表示行级的卷积 操作， FC同样表示全连接操作， σ 表示sigmo id函数。 选择注意感知网络(SA)和全局池化通道感知网络(GPCA)构 建完成后， 紧接着依次利用 这两个子网络交叉提取特征， 然后分别进 行卷核为3的卷积操作， 并各自进行短链接后再级 联， 最后结合卷积核为1的卷积操作进行特征融合， 形成更加有效的视觉特征。 具体可以表 示为： FX＝GPCA(SA(X),Y) FY＝GPCA(SA(Y),X) Fc＝Conv1x1(C(FcX,FCY))                    (4) 其中SA(.)和GPCA(.)分别表示通过注意感知网络和全局池化通道感知网络， FX和FY分 别表示经过这两个网络后的视觉特征， FcX表示FX经过卷积核为3的卷积操作后与输入 特征X 像素级求和后的视觉特征， 同样FcY表示FY经过卷积核为3的卷积操作后与输入特征Y像素级 相加的视觉特征， Fc表示将特征FcX和FcY级联后信息融合的特征。 Conv3x3表示卷积核为3的 卷积操作， Conv1x1表示卷积核为1的卷积操作， C(,)表示特征级联操作， 表示像素级 求和 操作， X和Y表示两个不同的输入视 觉特征。 4.根据权利要求1所述的一种基于多轴交叉注意的不良图片鉴别方法， 其特征在于： 所 述构建区域全连接卷积识别模块是由3个卷积模块、 全连接层和切分操作构成。 其中每个卷 积模块是由1个带有不同核大小的卷积操作、 1个激活函数(本发 明采用LRelu)和1个带有核 大小为2的最大池化操作。 首先输入 特征经过3个卷积模块， 接着利用切分操作， 将提取的视 觉特征空间切分成nxn份， 然后再利用最大池化获取视觉特征空间的每部分属于不良图片 的权重值， 再接着利用信息融合的方式获得检测图片的鉴别值。 具体表述如下： F3c＝ConvB(ConvB(ConvB(X,7,2),3,2),1,2) Score＝FC(MaxPo ol(splitn×n(F3c),r))                         (5) 其中， F3c是经过3个卷积模块后的视觉特征， ConvB(,Kc,Kp)是卷积模块， Kc和Kp分别 表示卷积层中的卷积核大小和最大池化中的卷积核的大小， 再本发明中， Kc取1， 3， 7， 最大 池化操作取2， r， 这里的r是视觉特征切分的n分之一。 MaxPool(,Kp)是卷积核为Kp的最大池 化操作， FC(.)是全连接操作， spl itnxn(.)表示将视 觉空间特 征切分nxn 等分的切分操作。 5.根据权利要求1所述的一种基于多轴交叉注意的不良图片鉴别方法， 其特征在于： 所 述构建多轴交叉注意感知的不良图片鉴别网络。 该网络主要由浅层特征提取模块， 多轴交 叉模块以及区域全连接卷积识别模块构成。 该识别网络主要采用两种不同特征： 彩色图像 和对应的梯度图像作为输入特征， 然后分别通过浅层特征提取模块进行浅层特征提取， 然 后经过若干个多轴交叉识别模块进一步特征提取， 最后通过区域全连接卷积识别模块进 行 检测图片识别。 具体描述如下：权　利　要　求　书 2/3 页 3 CN 115546541 A 3