(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211238743.3 (22)申请日 2022.10.11 (65)同一申请的已公布的文献号 申请公布号 CN 115311274 A (43)申请公布日 2022.11.08 (73)专利权人 四川路桥 华东建设有限责任公司 地址 610000 四川省成 都市蛟龙工业港双 流园区管委 会大楼5楼 专利权人 四川公路桥梁建 设集团有限公司 (72)发明人 刘杰　欧长阳　魏鹏飞　储长青　 刘亮　彭通州　余贵杨　刘红成　 骆俊　周彬　 (74)专利代理 机构 成都君合集专利代理事务所 (普通合伙) 51228 专利代理师 张鸣洁(51)Int.Cl. G06T 7/00(2017.01) G06T 3/00(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (56)对比文件 WO 2022178952 A1,202 2.09.01 CN 111489358 A,2020.08.04 审查员 杨慧 (54)发明名称 一种基于空间变换自注意力模块的焊缝检 测方法及系统 (57)摘要 本发明涉及三 维点云分割技术领域， 公开了 一种基于空间变换自注意力模块的焊缝检测方 法， 对焊件进行扫描生成三维点云， 对点云中的 焊缝进行真实焊缝点标注， 生成模型训练集； 根 据点云特性 设计搭建深度神经网络模 型， 首先利 用主干网络部分提取焊件的全局特征和局部特 征， 并分析挖掘点云内间的关联关系， 然后聚合 不同维度的特征信息用于后续特征分割任务； 一 种基于空间变换自注意力模块的焊缝检测方法 主干网络部分主要由点卷积组合模块和空间变 换自注意力模块构成， 前者用于解决点云无序 性， 增加局部特征， 后者用于解决点云的空间变 换不变性， 并深度挖掘点云中点与点之间的空间 相关性。 本发 明还提供了一种基于空间变换自注 意力模块的焊缝检测系统。 权利要求书3页 说明书7页 附图2页 CN 115311274 B 2022.12.23 CN 115311274 B 1.一种基于空间变换自注意力模块的焊缝检测方法， 其特 征在于， 包括以下步骤： 步骤S1,对焊件进行扫描生成三维点云数据， 对三维点云数据中的焊缝进行真实焊缝 点标注， 生成模型训练集； 步骤S2,根据空间变换自注意模块捕获三维点云数据的空间结构， 搭建基于空间变换 自注意模块的深度神经网络模型， 用模型训练集训练深度神经网络模型， 并将迭代 次数和 学习率预设完整； 所述深度神经网络模型由依次连接的主干网络和下游分割网络构 成， 所述主干网络包 括点卷积模块、 多层感知机层模块、 空间变换自注意力模块和特征聚合模块， 所述下游分割 网络包括多层感知机层模块和损失函数模块； 所述空间变换自注意力模块由关系感知位置嵌入模块和多头空间变换自注意力模块 构成; 所述关系感知位置嵌入模块由依次连接的最远点采样模块、 特征相减层、 第六多层感 知机层模块和特 征相加层构成; 所述多头空间变换自注意力 模块包括第一L2正则化层、 第二L2正则化层、 特征相乘层、 柔性最大值层和仿射变换层， 所述第一L2 正则化层和第二L2 正则化层并联连接至特征相乘 层、 柔性最大值层和仿射变换层； 所述柔性最大值层对点云特征进行加权学习， 并且在高维度空间中利用仿射变换层点 云特征进行空间变换; 步骤S3， 将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练， 三 维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息， 与此同 时下游分割网络对三 维点云数据进行下采样， 然后主干网络通过多层感知机层 对特征信息 维度进行变换， 变换后交予空间变换自注意力模块处理， 再 由空间变换自注意力模块深度 挖掘三维点云中点与点之 间的空间相关性， 最后下游分割网络将不同维度的特征信息聚合 之后使用损失函数计算预测点类别与真实点类别的损失值， 利用学习率下降法不断迭代衰 减损失值， 优化深度神经网络模型权重参数， 直到迭代 次数等于最大迭代 次数， 中止训练， 生成训练好的深度神经网络模型； 步骤S4， 在实际场景下对焊件进行采集生成对应的三维点云数据， 将对应的三维点云 数据输入进训练好的深度神经网络模型中， 通过深度挖掘分析得到焊缝特征并定位焊缝位 置， 将焊缝位置 输送到机械臂或智能焊接设备进行焊接 。 2.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法， 其特征在 于， 所述步骤S2包括： 所述主干网络由依次连接的第一点卷积组合模块、 第二点卷积组合模块、 第一多层感 知机层模块、 第一空间变换自注意力模块、 第二多层感知机层 模块、 第二空间变换自注意力 模块、 第三多层感知机层 模块、 第三空间变换自注意力模块和特征聚合模块构成， 所述第一 空间变换自注意力模块和第二空间变换自注意力模块分别连接特 征聚合模块； 所述下游分割网络包括依次连接的第四多层感知机层模块、 第五多层感知机层模块和 损失函数模块。 3.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法， 其特征在 于， 包括：权　利　要　求　书 1/3 页 2 CN 115311274 B 2所述点卷积组合模块包括第 一点卷积层、 第二点卷积层、 第 一层归一化层、 第 二层归一 化层、 第一 修正线性单 元层、 第二第一 修正线性单 元层、 最大值池化层和特 征拼接层； 所述点卷积组合模块用于解决三维点云的无序性， 增 加三维点云的局部特 征。 4.根据权利要求3所述的一种基于空间变换自注意力模块的焊缝检测方法， 其特征在 于， 包括： 所述点卷积组合模块由串联的K=16的第一点卷积层、 第一修正线性单元层、 第一层归 一化层， 串联K=32的第二点卷积层和第二修正线性单元层、 第二层 归一化层， 以及最大值池 化层并行 连接至特征拼接层构成， 其中K为描述 点卷积层的变量； 所述点卷积层提取点云的局部信息， 所述 最大值池化层提取点云的全局信息 。 5.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法， 其特征在 于， 包括： 首先利用关系感知位置嵌入模块将点云的坐标处理成相对坐标嵌入到点云特征中， 即 对点云特征进 行位置编 码， 然后由多头空间变换自注意力模块减弱模型对空间变换的敏感 性， 并捕获点云内间的空间相关性和几何信息特 征； 所述空间变换自注意力模块用于解决三维点云的空间变换不变性， 并深度挖掘三维点 云中点与点之间的空间相关性。 6.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法， 其特征在 于， 所述损失函数模块采用焦点损失函数作为模型 的分割损失函数， 计算预测点类别与真 实点类别的损失值。 7.一种基于空间变换自注意力模块的焊缝自动检测系统， 其特征在于， 包括采集单元、 模型搭建单元、 训练单 元和检测单 元， 其中： 采集单元， 用于对焊件进行扫描生成三维点云数据， 对三维点云数据中的焊缝进行真 实焊缝点标注， 生成模型训练集； 模型搭建单元， 用于搭建基于空间变换自注意模块的深度神经网络模型， 所述深度神 经网络模型 由依次连接的主干网络和下游分割网络构成， 所述主干网络包括点卷积模块、 多层感知机层模块、 空间变换自注意力模块和特征聚合模块， 所述下游分割网络包括多层 感知机层模块和损失函数模块； 所述空间变换自注意力模块由关系感知位置嵌入模块和多头空间变换自注意力模块 构成; 所述关系感知位置嵌入模块由依次连接的最远点采样模块、 特征相减层、 第六多层感 知机层模块和特 征相加层构成; 所述多头空间变换自注意力 模块包括第一L2正则化层、 第二L2正则化层、 特征相乘层、 柔性最大值层和仿射变换层， 所述第一L2 正则化层和第二L2 正则化层并联连接至特征相乘 层、 柔性最大值层和仿射变换层； 所述柔性最大值层对点云特征进行加权学习， 并且在高维度空间中利用仿射变换层点 云特征进行空间变换； 训练单元， 用于将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训 练， 三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息， 与此同时下游分割网络对三 维点云数据进 行下采样， 然后主干网络通过多层感知机层 对特权　利　要　求　书 2/3 页 3 CN 115311274 B 3