(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211197262.2 (22)申请日 2022.09.29 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 洪晓斌　李浩然　林伟祺　刘心宇　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 蔡克永 (51)Int.Cl. G06V 20/54(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01) G06V 10/764(2022.01) (54)发明名称 一种双目视觉和激光雷达无人艇海洋环境 障碍物识别方法 (57)摘要 本发明公开了一种双目视觉和激光雷达无 人艇海洋环境障碍物识别方法： (1)使用激光雷 达获取无人艇航行环境的数字点云信息并进行 滤波处理； (2)使用双目相机获取航行环境的图 像信息； (3)将激光雷达与双 目相机各自获取的 海上环境信息进行同步与融合， 确定海上的障碍 物位置及分类； (4)基于Atlas500 人工智能平台， 搭建以YOLO_v3算 法为核心的海洋环境障碍物识 别系统并训练其学习辨别障碍物， 从激光雷达 ‑ 相机协助系统所获得的图像信息中辨别出障碍 物并计算障碍物距离。 该发明弥补了使用单一传 感器的缺点并结合各自的优势， 通过信息融合整 合不同传感器得到的障碍物特征信息， 更适应复 杂海况环境， 提高对 海上障碍物的识别能力。 权利要求书2页 说明书7页 附图3页 CN 115546741 A 2022.12.30 CN 115546741 A 1.一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法， 其特征在于包括如下步 骤： 步骤1： 双目视觉相机采集图像信 息和激光雷达采集点云数据， 对点云数据进行滤波处 理， 两者数据信息进行时间同步； 步骤2： 根据训练好的深度 学习网络模型和时间 同步后的双目视觉图像， 识别海上障碍 物、 提取其特 征信息并进行分类标签； 步骤3： 根据时间同步后的雷达数据框选数据中的感兴趣区域， 根据神经网络模型提取 激光雷达点云数据中的海上障碍物特 征信息； 步骤4： 对双目视觉相机和激光雷达得到的目标物体的位置信 息进行空间融合， 对空间 融合后的数据进 行目标匹配及障碍物特征信息融合， 加上所述双目视觉图像模块中的障碍 物分类标签， 完成对 海洋环境障碍物的识别。 2.根据权利要求1所述双目视觉和激光雷达无人艇海洋环境障碍物识别方法， 其特征 在于： 所述时间同步， 具体为： 相机每采集一帧图像， 同时选取激光雷达上一帧缓存的数据， 即完成共同采样同一帧雷达模块与双目立体视 觉模块的数据。 3.根据权利要求2所述双目视觉和激光雷达无人艇海洋环境障碍物识别方法， 其特征 在于： 根据训练好的深度学习网络模型和时间同步后的双目视觉图像， 提取海上障碍物的 特征信息并进行障碍物的分类标签， 具体为： 对双目视觉相机进行立体标定、 畸变矫正和平行校正； 获取海面障碍物数据集并采用 深度学习算法训练出神经网络训练模型， 为海面障碍物分类、 标签； 对神经网络模型检测到 的障碍物信息进行TensorRT模型转换； 根据立体成像原理， 利用立体相机标定的参数和 视 差值， 根据公式计算出目标三维点云的坐标。 4.根据权利要求3所述双目视觉和激光雷达无人艇海洋环境障碍物识别方法， 其特征 在于： 所述深度学习网络模型为YOLOV3卷积神经网络 。 5.根据权利要求4所述双目视觉和激光雷达无人艇海洋环境障碍物识别方法， 其特征 在于： 对双目视觉相 机和激光雷达得到的目标物体的位置信息进行空间融合， 对空间融合 后的数据进行目标匹配及障碍物特征信息融合， 加上所述双目视觉图像模块中的目标障碍 物分类标签， 完成对海洋环境障碍物的识别， 具体为： 利用激光雷达点云数据作为目标检测 的第一、 三 维信息； 利用双目立体视觉相机输出图像数据的二维信息； 根据图像数据的深度 信息以及图像数据的二维信息作为目标检测第二、 三维信息； 融合第一、 三维信息和第二、 三维信息中的相同目标， 得到目标检测结果。 6.根据权利要求4所述双目视觉和激光雷达无人艇海洋环境障碍物识别方法， 其特征 在于： 融合第一、 三 维信息和第二、 三 维信息中的相同目标， 得到目标检测结果， 具体步骤如 下： a： 利用神经网络模型输出激光雷达点云数据的第一、 三维信息： 第一、 三维信息包括用于表示图像数据中的第一目标的第一立体框的信息， 也即用于 表示第一立体框的位置的第一坐标[x,y,z,l,w,h]， 其中x、 y、 z为第一立体框的坐标信息， l、 w、 h分别代表第一立体框的长、 宽、 高信息。 其中， 一帧图像数据中的第一目标的数量可以 为一个或多个， 每 个第一目标对应一个第一 立体框；权　利　要　求　书 1/2 页 2 CN 115546741 A 2神经网络模型根据点云样本信息训练获得， 具体为： 在获取点云样本并标注好数据集 后， 在待训练的神经网络模型中输入点云样本数据， 利用待训练的神经网络模型输出预测 三维信息； 后续将点云数据输入到训练好的神经网络模型中， 神经网络模型能够输出用来 表示第一目标的第一 立体框的位置的第一 坐标； b： 根据图像数据的深度信息以及图像数据的二维信息确定第二、 三维信息： 第二、 三维信息包括用于表示图像数据中的第二目标的第二立体框的信息， 也即用于 表示第二立体框的位置的第二坐标[x,y,z,l,w,h]， 其中x、 y、 z为第二立体框的坐标信息， l、 w、 h分别代表第二立体框的长、 宽、 高信息。 其中， 一帧图像数据中的第二目标的数量可以 为一个或多个， 每 个第二目标对应一个第一 立体框； 根据分类识别目标障碍物时神经网络划分出目标的感兴趣区域以及双目立体视觉提 供的图像数据的深度信息， 两者共同组成第二目标的第二 立体框的位置的第二 坐标； c： 融合第一、 三维信息和第二、 三维信息中的目标， 得到目标检测结果： 相同目标表示第一三维信 息中的第 一目标与第 二、 三维信 息中的第二目标是同一 时刻 下雷达模块和视觉模块识别到的同个物体； 利用框定出的第一立体框与第二立体框的交叠 比例， 确定 两者是否为相同目标： 权　利　要　求　书 2/2 页 3 CN 115546741 A 3