(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211234402.9 (22)申请日 2022.10.10 (65)同一申请的已公布的文献号 申请公布号 CN 115330754 A (43)申请公布日 2022.11.11 (73)专利权人 楚大智能 （武汉） 技 术研究院有限 公司 地址 430000 湖北省武汉市东湖新 技术开 发区光谷大道特1号国际企业中心2栋 4层05号(自贸区武汉片区) 专利权人 湖北楚大智能装备有限公司 (72)发明人 邓家辉　蔡志相　文龙　姚平　 (74)专利代理 机构 武汉智权专利代理事务所 (特殊普通 合伙) 42225 专利代理师 余浩 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 113112456 A,2021.07.13 CN 114092820 A,202 2.02.25 CN 112085735 A,2020.12.15 CN 114170230 A,2022.03.11 CN 114565860 A,2022.05.31 CN 114529516 A,202 2.05.24 WO 2021139069 A1,2021.07.15 US 104826 03 B1,2019.1 1.19 Hongbo Bi 等.Multi-Scale A ttention and Encoder-Decoder Netw ork for Video Saliency Object Detecti on. 《acm PORTAL》 .2022, 何凯 等.基 于多尺度特 征融合与反复注意 力机制的细粒度图像分类算法. 《天津大 学学报 (自然科学与工程 技术版)》 .2020, 审查员 邹琴 (54)发明名称 玻璃瓶口缺陷检测方法、 装置、 设备及存储 介质 (57)摘要 本发明公开了一种玻璃 瓶口缺陷检测方法、 装置、 设备及存储介质， 所述方法通过根据多尺 度多注意力卷积神经网络MSMA ‑CNN模块构建检 测模型； 通过所述检测模型对待检测玻璃瓶的玻 璃瓶口缺陷图像进行检测， 获得缺陷图像检测结 果； 根据所述缺陷图像检测结果确定玻璃瓶口缺 陷位置， 能够基于多尺度多注 意力卷积神经网络 进行玻璃 瓶口缺陷检测， 大幅度提高了检测模型 的性能， 缩短了玻璃瓶口缺陷检测的耗费时间， 提高了玻璃 瓶口缺陷检测的速度和效率， 提升了 玻璃瓶口缺陷的准确率。 权利要求书2页 说明书11页 附图7页 CN 115330754 B 2022.12.23 CN 115330754 B 1.一种玻璃瓶口缺陷检测方法， 其特 征在于， 所述玻璃瓶口缺陷检测方法包括： 根据多尺度多注意力卷积神经网络 MSMA‑CNN模块构建检测模型； 通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测， 获得缺陷 图像检测 结果； 根据所述 缺陷图像 检测结果确定玻璃瓶口缺陷位置； 其中， 所述通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测， 获得缺 陷图像检测结果， 包括： 将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元， 获得图片 特征图； 将所述图片特 征图输入至检测模块的MSMA单 元， 获得初始 注意力图； 将所述注意力图进行图像融合， 并将融合结果输入至所述检测模型的数据增强模块， 获得数据增强后的图像； 将数据增强后的图像与所述玻璃瓶口缺陷图像一起输入至所述检测模型的特征提取 单元和所述MSMA单 元， 获得目标 特征图和目标注意力图； 将所述初始注意力图、 所述目标特征图和所述目标注意力图输入至所述检测模型的特 征融合单 元， 获得融合特 征， 将所述融合特 征作为缺陷图像 检测结果； 其中， 所述将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单 元， 获得图片特 征图， 包括： 根据改进的I nception V3网络生成所述检测模型的特 征提取单元； 将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述特征提取单元， 获得不同尺度的第 一 特征图和第二特 征图； 通过空间金字塔池SPP模块执行预设卷积核对所述第二特征图进行池化处理， 获得第 三特征图； 其中， 所述将所述图片特征图输入至所述检测模块的MSMA单元， 获得初始注意力图， 包 括： 将所述图片特征图输入至所述检测模块的MSMA单元中的PANet模块， 根据所述PANet模 块中自底向上和自顶向下两条路径对所述图片特征图的表征能力进行增强， 获得初始特征 图； 将所述初始特征图输入至所述MSMA单元中的多注意力模块， 根据所述多注意力模块的 空间注意力机制、 通道注意力机制及混合注意力机制生成各初始特征图对应的各注意力 图， 将各注意力图融合后获得初始 注意力图。 2.如权利要求1所述的玻璃瓶口缺陷检测方法， 其特征在于， 所述根据多尺度多注意力 卷积神经网络 MSMA‑CNN模块构建检测模型， 包括： 从多尺度多注意力卷积神经网络MSMA ‑CNN模块中获得特征提取单元、 MSMA单元、 特征 融合单元和基于注意力引导的数据增强单 元； 根据所述特征提取单元、 所述MSMA单元、 所述特征融合单元和所述数据增 强单元构建 检测模型。 3.如权利要求1所述的玻璃瓶口缺陷检测方法， 其特征在于， 所述将所述初始注意力 图、 所述目标特征图和所述 目标注意力图输入至所述检测模型的特征融合单元， 获得融合权　利　要　求　书 1/2 页 2 CN 115330754 B 2特征， 将所述融合特 征作为缺陷图像 检测结果， 包括： 将所述初始注意力图、 所述目标特征图和所述目标注意力图输入至所述检测模型的特 征融合单元， 根据所述特征融合单元将所述初始注意力图、 所述 目标特征图和所述 目标注 意力进行 元素级相乘， 获得融合特 征， 将所述融合特 征作为缺陷图像 检测结果。 4.如权利要求1所述的玻璃瓶口缺陷检测方法， 其特征在于， 所述根据 所述缺陷图像检 测结果确定玻璃瓶口缺陷位置， 包括： 根据所述 缺陷图像 检测结果确定待检测玻璃瓶的瓶口缺陷区域图像； 对所述瓶口缺陷区域图像进行空间定位， 获得玻璃瓶口缺陷位置 。 5.一种玻璃瓶口缺陷检测装置， 其特 征在于， 所述玻璃瓶口缺陷检测装置包括： 模型构建模块， 用于根据多尺度多注意力卷积神经网络 MSMA‑CNN模块构建检测模型； 检测模块， 用于通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测， 获 得缺陷图像 检测结果； 缺陷确定模块， 用于根据所述 缺陷图像 检测结果确定玻璃瓶口缺陷位置； 所述检测模块， 还用于将待检测玻璃瓶的玻璃瓶口缺陷 图像输入至所述检测模型的特 征提取单元， 获得图片特征图； 将所述图片特征图输入至所述检测模块的MS MA单元， 获得初 始注意力图； 将所述注意力图进行图像融合， 并将融合结果输入至所述检测模型 的数据增 强模块， 获得数据增强后的图像； 将数据增强后的图像与所述玻璃瓶口缺陷图像一起输入 至所述检测模型的特征提取单元和所述MSMA单元， 获得 目标特征图和目标注意力图； 将所 述初始注意力图、 所述目标特征图和所述目标注 意力图输入至所述检测模 型的特征融合单 元， 获得融合特 征， 将所述融合特 征作为缺陷图像 检测结果； 所述检测模块， 还用于根据改进的Inception  V3网络生成所述检测模型的特征提取单 元； 将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述特征提取单元， 获得不同尺度的第一 特征图和第二特征图； 通过空间金字塔池SPP模块执行预设卷积核对所述第二特征图进行 池化处理， 获得第三特 征图； 所述检测模块， 还用于将所述图片特征图输入至所述检测模块的MSMA单元中的PANet 模块， 根据所述PANet模块中自底向上和自顶向下两条路径对所述图片特征图的表征能力 进行增强， 获得初始特征图； 将所述初始特征图输入至所述MSMA单元中的多注 意力模块， 根 据所述多注意力模块的空间注意力机制、 通道注 意力机制及混合注意力机制生成对应的注 意力图。 6.一种玻璃瓶口缺陷检测设备， 其特征在于， 所述玻璃瓶口缺陷检测设备包括： 存储 器、 处理器及存储在所述存储器上并可在所述处理器上运行 的玻璃瓶口缺陷检测程序， 所 述玻璃瓶口缺陷检测 程序配置为实现如权利要求1至4中任一项所述的玻璃瓶口缺陷检测 方法的步骤。 7.一种存储介质， 其特征在于， 所述存储介质上存储有玻璃瓶口缺陷检测程序， 所述玻 璃瓶口缺陷检测程序被处理器执行时实现如权利要求1至4中任一项所述的玻璃瓶口缺陷 检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115330754 B 3