(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211201939.5 (22)申请日 2022.09.29 (71)申请人 锋睿领创 （珠海） 科技有限公司 地址 519000 广东省珠海市横琴新区环岛 东路1889号创意谷18栋110室-534 （集 中办公区） (72)发明人 何良雨　崔健　刘彤　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 专利代理师 张小燕 (51)Int.Cl. G06T 7/44(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01)G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 基于深度联合表征的视觉分析方法、 装置、 设备及介质 (57)摘要 本发明涉及人工智能技术领域， 尤其涉及一 种基于深度联合表征的视觉分析方法、 装置、 设 备及介质。 提取待分析目标的光强特征数据与 深 度特征数据中的光强特征矩阵与 深度特征矩阵， 对基于光强特征矩 阵与深度特征矩 阵得到的总 体误差矩阵进行归一化处理， 得到光强特征矩阵 与深度特征矩阵之间的依赖度矩阵， 并对光强特 征矩阵进行自适应特征增强处理， 根据视觉分析 模型中进行特征提取， 输出待分析目标的检测结 果， 本发明中， 通过将多源数据之间的依赖度作 为衡量特征重要性的指标赋予到各个特征点， 实 现对输入特征的全局自适应特征选择， 且通过多 源数据之间的依赖度实现多源数据的联合表征， 突出目标部位的纹理特征， 从而提高视觉分析的 准确性。 权利要求书2页 说明书13页 附图2页 CN 115546271 A 2022.12.30 CN 115546271 A 1.一种基于深度联合表征的视 觉分析方法， 其特 征在于， 所述视 觉分析方法包括： 对待分析目标的光强特征数据与深度 特征数据进行特征提取的处理， 得到特征提取后 的光强特 征矩阵与深度特 征矩阵； 对基于所述光强特征矩阵与 所述深度 特征矩阵进行总体误差计算得到总体误差矩阵， 并对得到的总体误差矩阵进行归一化处理， 确定归一化后的矩阵为所述光强特征矩阵与深 度特征矩阵之间的依赖度矩阵； 基于所述依赖度矩阵， 对所述光强特征矩阵进行自适应特征增强处理， 得到增强后的 光强特征矩阵； 将所述增强后的光强特征矩阵输入至视觉分析模型中进行特征提取， 输出所述待分析 目标的检测结果。 2.如权利要求1所述的视觉分析方法， 其特征在于， 所述对待分析目标的光强特征数据 与深度特征数据进行特征提取 的处理， 得到特征提取后的光强特征矩阵与深度特征矩阵， 包括： 对所述待分析目标的光强特征数据与深度 特征数据分别进行不同倍数的下采样处理， 得到N个下采样光强特 征数据与N个下采样 深度特征数据； N为大于1的整数； 对每个下采样光强特征数据与每个下采样深度特征数据进行特征提取的处理， 得到特 征提取后的N个光强特 征矩阵与N个深度特 征矩阵。 3.如权利要求2所述的视觉分析方法， 其特征在于， 所述对所述待分析目标的光强特征 数据与深度特征数据分别进行不同倍数的下采样处理， 得到N个下采样光 强特征数据与N个 下采样深度特征数据， 包括： 获取所述待分析目标的光强特 征数据与深度特 征数据； 对所述光强特征数据与深度特征数据进行不同倍数的最大值池化处理， 得到N个不同 倍数下的下采样光强特 征数据与下采样 深度特征数据。 4.如权利要求2所述的视觉分析方法， 其特征在于， 所述对每个下采样光强特征数据与 每下采样深度特征数据进 行特征提取的处理， 得到特征提取后的N个光 强特征矩阵与N个深 度特征矩阵， 包括： 根据预设卷积核， 对同一倍数下采样得到的所述下采样光强特征数据与所述下采样深 度特征数据进行 卷积处理， 得到卷积后的光强特 征数据与卷积后的深度特 征数据； 将所述卷积后的光强特征数据与 卷积后的深度特征数据进行压缩与投影处理， 得到投 影后的光强特 征数据与深度特 征数据； 将所述投影后的光强特征数据与深度特征数据作为特征提取后的光强特征矩阵与深 度特征矩阵， 得到特 征提取后的N个光强特 征矩阵与N个深度特 征矩阵。 5.如权利要求4所述的视觉分析方法， 其特征在于， 所述将所述卷积后的光强特征数据 与卷积后的深度特征数据进行压缩与投影处理， 得到投影后的光 强特征数据与深度特征数 据， 包括： 将所述卷积后的光强特征数据与 卷积后的深度特征数据的通道维度进行压缩处理， 得 到通道维度压缩后的光强特 征数据与通道维度压缩后的深度特 征数据； 根据预设投影函数， 对所述通道维度压缩后的光强特征数据与通道维度压缩后的深度 特征数据进行投影处 理， 得到投影后的光强特 征数据与深度特 征数据。权　利　要　求　书 1/2 页 2 CN 115546271 A 26.如权利要求1所述的视觉分析方法， 其特征在于， 所述对基于所述光强特征矩阵与 所 述深度特征矩阵进行总体误差计算得到总体误差矩阵， 并对得到的总体误差矩阵进行归一 化处理， 确定归一化后的矩阵为所述光强特征矩阵与深度特征矩阵之间的依赖度矩阵， 包 括： 根据所述光强特征矩阵与 所述深度 特征矩阵， 计算得到所述光强特征矩阵与 所述深度 特征矩阵的总体误差矩阵； 根据第一预设归一化函数， 对所述总体误差矩阵进行归一化处理， 得到归一化后的总 体误差矩阵， 将所述归一化后的总体误差矩阵作为所述光强特征矩阵与深度特征矩阵之间 的依赖度矩阵， 所述依赖矩阵的计算公式如下： 其中， Si为所述光特征特征矩阵第i行与所述深度特征矩阵之间的依赖度， qi为所述光 强特征矩阵第i行的特征向量， kj为所述深度特征矩阵转置后的第j列特征向量， HW为所述 光强特征矩阵与所述深度特 征矩阵的尺度， HW ＝H×W。 7.如权利要求1所述的视觉分析方法， 其特征在于， 所述基于所述依赖度矩阵， 对所述 光强特征矩阵进行自适应特 征增强处 理， 得到增强后的光强特 征矩阵， 包括： 将所述依赖度矩阵作为权值矩阵， 与所述光强特征矩阵进行相乘， 得到自适应增强的 光强特征矩阵； 根据第二预设归一化函数， 对所述自适应增强的光强特征矩阵进行归一化处理， 得到 归一化后的自适应增强的光 强特征矩阵， 将所述归一化后的自适应增强的光 强特征矩阵作 为增强后的光强特 征矩阵。 8.一种基于深度联合表征的视 觉分析装置， 其特 征在于， 所述视 觉分析装置包括： 特征提取模块， 用于对待分析目标的光强特征数据与深度 特征数据进行特征提取的处 理， 得到特 征提取后的光强特 征矩阵与深度特 征矩阵； 归一化模块， 用于对基于所述光强特征矩阵与 所述深度 特征矩阵进行总体误差计算得 到总体误差矩阵， 并对得到的总体误差矩阵进行归一化处理， 确定归一化后的矩阵为所述 光强特征矩阵与深度特 征矩阵之间的依赖度矩阵； 增强处理模块， 用于基于所述依赖度矩阵， 对所述光强特征矩阵进行自适应特征增强 处理， 得到增强后的光强特 征矩阵； 视觉分析模块， 用于将所述增强后的光强特征矩阵输入至视觉分析模型中进行特征提 取， 输出所述待分析目标的检测结果。 9.一种计算机设备， 其特征在于， 所述计算机设备包括处理器、 存储器以及存储在所述 存储器中并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现 如权利要求1至7任一项所述的基于深度联合表征的视 觉分析方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述的基于深度联合表征 的视觉分析方法。权　利　要　求　书 2/2 页 3 CN 115546271 A 3