(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211227120.6 (22)申请日 2022.10.09 (71)申请人 丽水学院 地址 323000 浙江省丽水市学院路1号计算 机系 (72)发明人 沈伟华　陶燎亮　周建东　商天戈　 (74)专利代理 机构 杭州华宸联名知识产权代理 事务所 (特殊普通合伙) 33352 专利代理师 胡铁锋 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01) (54)发明名称 基于深度学习的图像识别方法和系统 (57)摘要 本发明提供了一种基于深度学习的图像识 别方法和系统， 属于图像数据处理领域。 基于深 度学习的图像识别方法， 包括： 获取第一图像、 第 二图像和第三图像； 利用预先训练的遮挡识别模 型， 根据第一图像、 第二图像和第三图像生成第 一图像的像素遮挡分类图； 获取第一图像的深度 图； 根据第一图像、 第一图像的像素遮挡分类图 和第一图像的深度图， 识别第一图像的目标对 象。 本申请实施例中提供的一个或多个技术方 案， 可以提高识别目标对象的准确率。 权利要求书2页 说明书7页 附图2页 CN 115527085 A 2022.12.27 CN 115527085 A 1.基于深度 学习的图像识别方法， 用于识别图像中的目标对象， 其特征在于， 所述方法 包括： 获取第一图像、 第二图像和第三图像， 所述第一图像和所述第二图像分别是第一相机 和第二相 机在同一时间拍摄的图像， 所述第三图像是所述第一图像的前一帧图像， 所述第 一相机和所述第二相机相距预设距离且拍摄方向相同； 利用预先训练的遮挡识别模型， 根据所述第一图像、 第二图像和第三图像生成所述第 一图像的像素遮挡分类图， 所述像素遮挡分类图用于指示各个像素是否属于目标对象的被 遮挡区域， 其中， 所述遮挡识别模型根据第一样本训练集训练得到， 所述第一样本训练集包 括多个第一样本， 所述第一样本包括第一待训练图像、 第二待训练图像、 第三待训练图像以 及所述第一待训练图像的像素遮挡分类图， 所述第一待训练图像的所述第二待训练图像分 别是第三相机和 第四相机在同一时间拍摄的图像， 所述第三待训练图像是所述第一待训练 图像的前一帧图像； 获取所述第一图像的深度图； 根据所述第一图像、 所述第一图像的像素遮挡分类图和所述第一图像的深度图， 识别 所述第一图像的目标对象。 2.根据权利要求1所述的基于深度学习的图像识别方法， 其特征在于， 所述被遮挡区域 识别模型包括： 第一特征提取层， 用于提取 所述第一图像的第一特 征图； 第二特征提取层， 用于提取第二图像的第二特 征图； 第三特征提取层， 用于提取第三图像的第三特 征图； 第一融合层， 用于融合所述第一特 征图、 第二图像图和第三特 征图， 得到第四特 征图； 第一卷积与反卷积层， 用于根据所述第四特征图生成所述第一图像的像素遮挡分类 图。 3.根据权利要求1所述的基于深度学习的图像识别方法， 其特征在于， 所述获取所述第 一图像的深度图， 包括： 根据所述第一图像和所述第二图像， 生成第一图像的深度图。 4.根据权利要求3所述的基于深度学习的图像识别方法， 其特征在于， 所述根据 所述第 一图像和所述第二图像， 生成第一图像的深度图， 包括： 根据预先训练的深度识别模型， 根据 所述第一图像和所述第 二图像生成所述第 一图像 的深度图。 5.根据权利要求4所述的基于深度学习的图像识别方法， 其特征在于， 所述方法还包 括： 根据所述第一图像、 所述深度图以及所述第一图像与所述第二图像之间的姿态变化， 视点合成待对比图像； 若视点合成的所述待对比图像与 所述第一图像之间的相似度低于预设阈值 时， 生成预 警信息。 6.根据权利要求1所述的基于深度学习的图像识别方法， 其特征在于， 所述获取所述第 一图像的深度图， 包括： 利用所述第一相机处的雷达扫描模块扫描得到所述第一图像的深度图， 其中， 所述雷 达扫描模块的扫描区域包 含所述第一相机的拍摄区域。权　利　要　求　书 1/2 页 2 CN 115527085 A 27.根据权利要求1所述的基于深度学习的图像识别方法， 其特征在于， 所述根据 所述第 一图像、 所述第一图像的像素遮挡分类图和所述第一图像的深度图， 识别所述第一图像的 目标对象， 包括： 利用预先训练的图像识别模型， 根据所述第一图像、 所述第一图像的像素遮挡分类图 和所述第一图像的深度图， 识别所述第一图像的目标对象， 其中， 所述图像识别网络根据第 二样本集训练得到， 所述第二样本集包括多个第二样本， 所述第二样 本包括样本图像、 所述 样本图像的像素遮挡分类图、 所述样本图像的深度图以及所述样本图像的目标对象标签。 8.根据权利要求1～7任一所述的基于深度学习的图像识别方法， 其特征在于， 所述图 像识别模型包括： 深度变化特征提取层， 用于根据所述第 一图像的深度图提取所述第 一图像的深度变化 特征图； 第二融合层， 用于融合所述第一图像、 所述第一图像的深度变化特征图和所述第一图 像的像素遮挡分类图， 得到融合特 征图； 第二卷积和反卷积层， 用于根据融合特 征图识别确定第一图像的目标对象。 9.基于深度 学习的图像识别系统， 用于识别图像中的目标对象， 其特征在于， 所述系统 包括： 获取模块， 用于获取第一图像、 第 二图像和第 三图像， 所述第一图像和所述第 二图像分 别是第一相机和 第二相机在同一时间拍摄的图像， 所述第三图像是所述第一图像的前一帧 图像， 所述第一相机和所述第二相机相距预设距离且拍摄方向相同； 第一生成模块， 用于利用预先训练的遮挡识别模型， 根据所述第一图像、 第 二图像和第 三图像生成所述第一图像的像素遮挡分类图， 所述像素遮挡分类图用于指示各个像素是否 属于目标对象的被遮挡区域， 其中， 所述遮挡识别模型根据第一样本训练集训练得到， 所述 第一样本训练集包括多个第一样本， 所述第一样本包括第一待训练图像、 第二待训练图像、 第三待训练图像以及所述第一待训练图像的像素遮挡分类图， 所述第一待训练图像的所述 第二待训练图像分别是第三相机和 第四相机在同一时间拍摄的图像， 所述第三待训练图像 是所述第一待训练图像的前一帧图像； 第二生成模块， 用于根据所述第一图像和所述第二图像， 生成所述第一图像的深度图； 识别模块， 用于根据所述第一图像、 所述第一图像的像素遮挡分类图和所述第一图像 的深度图， 识别所述第一图像的目标对象。 10.根据权利要求9所述的基于深度学习的图像识别系统， 其特征在于， 所述被遮挡区 域识别模型包括： 第一特征提取层， 用于提取 所述第一图像的第一特 征图； 第二特征提取层， 用于提取第二图像的第二特 征图； 第三特征提取层， 用于提取第三图像的第三特 征图； 第一融合层， 用于融合所述第一特 征图、 第二图像图和第三特 征图， 得到第四特 征图； 第一卷积与反卷积层， 用于根据所述第四特征图生成所述第一图像的像素遮挡分类 图。权　利　要　求　书 2/2 页 3 CN 115527085 A 3