(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211166268.3 (22)申请日 2022.09.23 (71)申请人 东风悦享科技有限公司 地址 430000 湖北省武汉市武汉经济技 术 开发区全力二路101号经开智造2045 创新谷智能制造创新中心D240 (72)发明人 周智颖　王科未　陈乾坤　周子建　 吴云龙　 (74)专利代理 机构 武汉智嘉联合知识产权代理 事务所(普通 合伙) 42231 专利代理师 周伟 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/75(2022.01) G06V 10/30(2022.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06T 7/80(2017.01) G06T 7/73(2017.01) (54)发明名称 一种基于车载摄像头和激光雷达融合的障 碍物相机实时检测方法 (57)摘要 一种基于车载摄像头和激光雷达融合的障 碍物相机实时检测方法， 先是在已标定过的单目 摄像机与激光雷达和控制器组成的车载感知系 统上， 使用神经网络进行障碍物的识别， 再通过 相机标定的结果， 将目标位置粗滤的转换至三维 空间中， 同时在点云中采用传统的点云聚类方 式， 检测障碍位置， 并获取障碍物尺寸信息， 通过 相对位置与 目标大小的信息与图像检测结果进 行匹配， 从而输出完整可靠的障碍物类别与距离 信息， 本方案吸纳现有传统障碍物检测方法的优 点， 整合视觉方法与点云方法的长处， 在图像的 二维到三维转换过程中采用特殊方式缩小了图 像障碍物检测距离估计偏差， 进一步与点云在障 碍物检测结果信息融合， 保障障碍物检测的距离 感知与类别分类的准确度。 权利要求书2页 说明书6页 附图3页 CN 115497073 A 2022.12.20 CN 115497073 A 1.一种基于车 载摄像头和激光雷达融合的障碍物相机实时检测方法， 包括： 步骤1、 在已标定过的单目摄像机与激光雷达和控制器组成的车载感知系统上进行相 机障碍物目标检测， 使用神经网络对障碍物 识别； 步骤2、 通过相机标定的结果， 将目标位置粗滤转换至三维空间中； 步骤3、 在点云中采用传统的点云聚类方式， 进行相机障碍物位置估计， 并获取障碍物 尺寸信息， 通过点云 障碍物感知方法， 结合障碍物相对位置与目标大小的信息与图像检测 结果进行匹配； 步骤4、 进行障碍物信息融合， 最终输出完整可靠的障碍物类别与距离信息 。 2.如权利要求1所述的一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方 法， 其特征在于， 在所述步骤1中， 相机障碍物目标检测使用以基于YOLO的二维框目标或是 三维框目标检测算法， 使用深度学习目标检测模型， 输出障碍物在相 机中的种类与位置信 息。 3.如权利要求2所述一种的基于车载摄像头和激光雷达融合的障碍物相机实时检测方 法， 其特征在于， 所述输出障碍物在相 机中的种类与位置信息包含： 障碍物类别， 障碍物在 图片中的尺寸， 障碍物在图片中的边 缘信息。 4.如权利要求1所述的一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方 法， 其特征在于， 所述步骤3中， 相机障碍物 位置估计是基于深度学习， 以输出障碍物目标信 息与相机内外参的标定结果， 对障碍物在真实世界的位置进行估算的方法,方法包括： 步骤11、 选取障碍物目标与地 面的接触点作为估算距离的位置参 考点； 步骤12、 标定摄 像机内参， 建立摄 像机内参矩阵： 其中， 其中u,v为图像坐标， x,y,z为相机坐标系坐标,f/dx为使用像素来描述x轴方向 焦距的长度， f/dy为使用像素来描述y轴方向焦距的长度， u0,v0为像素偏移量， f表示摄像 机中关于像素点 坐标的函数关系； 步骤13、 建立摄 像机外参矩阵； 其中R表示世界坐标系的坐标轴相对于摄像机坐标轴的方向， t表示在摄像机坐标系下 空间原点的位置， R为3 *3阶旋转矩阵， t为3 *1阶平移向量； 步骤14、 修改世界坐标到图像坐标的变换关系， 以减少二维到三维信息转换时的信息 丢失程度， 函数变为： 其中， XV,YV为车载坐标系下目标坐标， 地面在车载坐标系下为平面， 取常量值(x,y, ‑ h),得出下述函数：权　利　要　求　书 1/2 页 2 CN 115497073 A 2其中， (sx,sy,sz)是目标点在相机坐标系下的坐标点， (Cx,Cy,Cz)是目标点在 世界坐标系下的坐标点， s为 参数常量， 得 出直接变换函数为： 图像中地 面像素点(u， v)对应的车 载坐标下(XV,YV,‑h)； 步骤15、 在已经建立图像坐标系到车载坐标系变换关系的情况下， 检测出目标在地面 上的点， 即可估算目标距离 。 5.如权利要求4所述的一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方 法， 其特征在于， 在所述步骤15中， 车辆、 行人及其他障碍物， 视作在地面上运动或静止的障 碍物， 使用以基于YOLO的二维框目标或是三维框目标检测算法提取出边缘框， 其边缘框下 边缘中点落在地面上， 用于进行深度估计。 6.如权利要求1所述的一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方 法， 其特征在于， 在所述 步骤3中， 点云障碍物感知包括： 步骤21、 地面滤除： 根据点云的高度信息与 聚类结果， 将点云中属于地面的点过滤， 实 现前景与背景的分离； 步骤22、 噪点滤除： 将地 面上方的噪声点做进一 步过滤， 减少障碍物聚类的干扰项； 步骤23、 通过聚类的方式， 在已经过滤的点云结果上， 提取出障碍物聚类结果， 获取聚 类障碍物结果的角点、 高度、 距离信息 。 7.如权利要求1所述的一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方 法， 其特征在于， 所述障碍物感知融合包括： 步骤31、 在点云输出的障碍物位置信息的基础上与图像输出的结果做匹配融合； 步骤32、 根据距离与尺寸接 近的原则， 对已检测的目标做 距离优先匹配； 步骤33、 对于孤立目标则匹配效果较为精确， 对于接近目标， 在距离匹配的基础上进行 尺寸匹配， 并根据车辆运动状态， 做多帧连续匹配， 从而实现障碍物的识别与分类。权　利　要　求　书 2/2 页 3 CN 115497073 A 3