(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211222661.X (22)申请日 2022.10.08 (71)申请人 中国石油大 学 （华东） 地址 266580 山东省青岛市长江西路6 6号 (72)发明人 王斌　高嘉诚　宋冬梅　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 相黎超 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/10(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于注意力孪生网络与多模态融合特征的 地物分类方法 (57)摘要 本发明公开了一种基于注意力孪生网络与 多模态融合特征的地物分类方法， 包括： 获取高 光谱图像与激光雷达点云图像， 对获取的图像进 行预处理， 获得样本数据集与样本标签集； 构建 注意力孪生网络模型， 基于样 本数据集与 样本标 签集对模型进行训练优化； 基于训练优化后的模 型实现多模态数据特征融合并进行分类。 本发明 采用孪生网络框架， 使 得两种多模态数据所表达 的地物特征具有更高的相似性； 通过设计空间注 意力模块 以及通道注意力模块 以更好地提取数 据中的重要特征； 将提取的光谱 特征和高程特征 通过特征级和决策级融合策略进行特征融合， 使 得模型的融合效果更加优良。 权利要求书1页 说明书9页 附图4页 CN 115512162 A 2022.12.23 CN 115512162 A 1.一种基于注意力孪生网络与多模态融合特征的地物分类方法， 其特征在于， 包括以 下步骤： 获取高光谱图像与激光雷达点云图像， 分别对所述高光谱图像与所述激光雷达点云图 像进行预处理， 获得样本数据集与样本标签集； 其中样本数据集包括光谱样本数据集与 空 间样本数据集； 构建注意力 孪生网络模型， 基于所述样本数据集与所述样本标签集对所述注意力 孪生 网络模型进行训练优化； 基于训练优化后的注意力孪生网络模型实现多模态数据特 征融合并进行分类。 2.根据权利要求1所述的基于注意力孪生网络与多模态融合特征的地物分类方法， 其 特征在于， 对所述高光谱图像进 行预处理的过程包括： 对所述高光谱图像依次进 行滤波、 去 噪处理及归一化处理后， 基于主成分分析法与处理后的图像获得固定数量的主成分， 基于 像素值对所述主成分进行裁 剪， 获得光谱样本数据集， 所述像素值 为固定值。 3.根据权利要求2所述的基于注意力孪生网络与多模态融合特征的地物分类方法， 其 特征在于， 对所述激光雷达点云图像的预处理过程包括： 对所述激光雷达点云图像进行滤 波、 去噪处理， 获得无噪图像， 采用插值法对无噪图像进行处理， 对处理后的无噪图像进行 归一化处理， 基于像素值对 归一化处理后的图像进行裁 剪， 获得空间样本数据集。 4.根据权利要求1所述的基于注意力孪生网络与多模态融合特征的地物分类方法， 其 特征在于， 所述注 意力孪生网络模型包括两个子网络， 分别为光谱特征学习网络、 高程特征 学习网络， 所述光谱特征学习网络采用光谱样本数据集进行训练， 所述高程特征学习网络 采用空间样本数据集进行训练。 5.根据权利要求4所述的基于注意力孪生网络与多模态融合特征的地物分类方法， 其 特征在于， 所述光谱特征学习网络与所述高程特征学习网络均包括输入模块、 特征学习模 块、 特征融合模块， 所述特征学习模块包括若干个卷积层， 其中， 高程特征学习网络的特征 学习模块中还包括空间注意力模块， 所述空间样本数据集在进入卷积层之前需先通过 空间 注意力模块， 所述卷积层中间设置通道 注意力模块。 6.根据权利要求5所述的基于注意力孪生网络与多模态融合特征的地物分类方法， 其 特征在于， 所述光谱特征学习网络与所述高程特征学习网络的卷积层首层分别采用单独的 权重系数， 其 余卷积层使用耦合策略。 7.根据权利要求1所述的基于注意力孪生网络与多模态融合特征的地物分类方法， 其 特征在于， 所述特征融合模块采用特征级融合和决策级融合的组合策略， 其中， 所述特征级 融合的过程包括通过特征学习模块获取高光谱图像的光谱特征与激光雷达点云图像的高 程特征， 并结合得到新特征， 决策级融合的过程包括基于新特征、 高光谱图像的光谱特征与 激光雷达点云图像的高程特 征分别获得输出 结果， 对输出 结果进行加权求和。 8.根据权利要求1所述的基于注意力孪生网络与多模态融合特征的地物分类方法， 其 特征在于， 所述特 征级融合采用了拼接法、 求和法以及最大化方法。权　利　要　求　书 1/1 页 2 CN 115512162 A 2基于注意力孪生网 络与多模 态融合特征的地物分类方 法 技术领域 [0001]本发明属于多源数据融合分类技术领域， 特别是涉及一种基于注意力孪生网络与 多模态数据特 征融合的地物分类方法。 背景技术 [0002]由于城市区域地物类型越来越丰富， 空间格局越来越复杂， 单一遥感数据源己经 很难满足城市遥感信息提取的需求。 因此将多种不同类型的遥感数据进 行特征融合以弥补 单一数据源的局限性是一种行之有效的方法。 但是， 由于多源遥感数据成像方式的不同， 它 们的内在关系较为复杂， 传统方法难以综合地利用这些特征， 很难达到理想的分类结果， 而 且高光谱数据的特 征数量多， 如果再 结合多源遥感数据的特 征， 会导致特征规模更加巨大。 [0003]近年来， 基于深度学习的方法在计算机视觉领域的研究中被广泛应用， 并且展现 出了优秀的特征提取能力， 同时， 较多的特征数量可以更好的对模型进 行训练， 从而获得更 高的分类精度。 这一技术也被应用到多源数据融合分类领域， 如利用CNN提取高光谱数据的 光谱空间特征以及LiDAR数据的高程特征， 并将其融合分类。 基于深度学习的方法充分展现 出了其优异的特征提取能力， 可以通过深层网络提取到更抽象的、 更具有全局性的特征； 多 个卷积层和池化层的结构， 可以从 高光谱数据中提取出对多种变形具有高度不变性的非线 性特征； 并且深度学习可以从具有复杂关系的多源数据中自主地 提取具有可分性的特 征。 [0004]现有的多模态数据特征提取方法原理简单、 易于实现， 但是， 由于遥感场景二维空 间特征、 地物光谱特征、 场景高程特征从不同信息维度对遥感场景进 行表达， 具有不同的物 理含义， 形成观测场景的异构特征， 这些特征在场景表达上具有信息一致性和互补性； 同 时， 提取于多/高光谱图像和LiDAR数据的空间平面、 光谱、 高程特征维度高， 使遥感场景地 物分类面临 “Hughes”现象， 从而会导致维数灾难并且计算复杂度高。 现有的基于深度学习 的方法虽然相对于传统方法取得了较好的结果， 但是在特征融合阶段没有充分利用从高光 谱图像和L iDAR数据中所提取的特 征， 分类精度有限。 发明内容 [0005]本发明的目的是提供一种基于注意力孪生网络与多模态融合特征的地物分类方 法， 以解决上述现有技 术存在的问题。 [0006]为实现上述目的， 本发明提供了基于注意力孪生网络与多模态融合特征的地物 分 类方法， 包括： [0007]获取高光谱图像与激光雷达点云图像， 分别对所述高光谱图像与所述激光雷达点 云图像进行预处理， 获得样本数据集与样本标签集； 其中样本数据集包括光谱样本数据集 与空间样本数据集； [0008]构建注意力孪生网络模型， 基于所述样本数据集与所述样本标签集对所述注意力 孪生网络模型进行训练优化； [0009]基于训练优化后的注意力孪生网络模型实现多模态数据特 征融合并进行分类。说　明　书 1/9 页 3 CN 115512162 A 3