(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211180574.2 (22)申请日 2022.09.27 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 夏景明　戴如晨　谈玲　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/54(2022.01) (54)发明名称 一种基于改进SSD算法的交通障碍检测方法 和系统 (57)摘要 本发明公开了一种基于改进SSD算法的交通 障碍检测方法， 包括： 基于VGG ‑16基础网络构建 交通障碍检测网络模型； 所述交通障碍检测网络 模型包括改进后的VGG ‑16基础网络、 多尺度提取 模块、 特征融合模块、 候选框 预设模块、 动态检测 模块和分类回归模块。 本发明将原SSD网络中不 同尺度的特征图上根据每个单元格设置的密集 先验框改为一组 固定数量的可迭代的候选框， 并 为每个候选框引入一个高维特征， 来提高预测精 度， 减少了检测 网络的初始候选框数量， 省去了 人工预设的密集先验框与复杂的后处理， 减 轻了 检测网络的负担， 实现模型候选框的轻量化， 提 高了模型检测的速度以及对各类不同大小的交 通障碍检测的平均精度。 权利要求书4页 说明书8页 附图4页 CN 115272665 A 2022.11.01 CN 115272665 A 1.一种基于改进SSD算法的交通障碍检测方法， 其特征在于， 所述交通障碍检测方法包 括以下步骤： S1， 获取若干张包含交通障碍的原始图像， 对原始图像进行预处理， 得到相应的交通障 碍样本图像， 生成图像数据集， 将图像数据集按照预设比例划分成训练集和验证集； S2， 基于VGG ‑16基础网络构建交通障碍检测网络模型； 所述交通障碍检测网络模型包 括改进后的VGG ‑16基础网络、 多尺度提取模块、 特征融合模块、 候选框预设模块、 动态检测 模块和分类回归 模块； 所述改进后的VGG ‑16基础网络将VGG ‑16基础网络的全连接层FC6和全连接层FC7转换 成3*3的卷积层Conv6和1*1的卷积层Conv7； 所述多尺度提取模块包括依次连接在卷积层 Conv7之后的卷积层Co nv8_2、 卷积层Co nv9_2、 卷积层Co nv10_2和卷积层Co nv11_2； 所述特征融合模块对改进后的V GG‑16基础网络的卷积层Conv1_2、 卷积层Conv2_2和卷 积层Conv3_3的特征图进行融合， 再将融合结果分别与卷积层Conv4_3、 卷积层Conv7、 卷积 层Conv8_2进行融合， 得到第一融合特 征、 第二融合特 征和第三融合特 征； 所述候选框预设模块用于在第 一融合特征、 第 二融合特征、 第三融合特征， 以及卷积层 Conv9_2、 卷积层Conv10_2和卷积层Conv11_2输出的特征图上预设一组初始可迭代的候选 框用以表示目标位置； 所述动态检测模块包括高维特征引入单元和若干个动态检测头， 高维特征引入单元用 于针对每个候选框引入一个与候选框一对一匹配的高维特征， 用以表示候选框内所包含对 象的深层次的抽象特征信息； 所述动态检测头用于将提取出 的特征图与候选框进行融合， 并通过ROI ‑Align得到感兴趣区域， 再将感兴趣区域与相应的高维特征进行特征 交互， 输出 对象特征至分类回归 模块进行分类回归； 所述分类回归模块综合所有动态检测头输出特征的分类回归结果， 得到最终的预测结 果； S3， 采用图像数据集训练交通障碍检测网络模型； 其中， 将训练集作为输入， 分类和回 归结果作为输出， 结合损失函数对交通障碍检测网络模型进行训练； S4， 将测试集输入训练完成的交通障碍检测网络模型， 得到测试集的目标检测结果。 2.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法， 其特征在于， 步骤S1 中， 对原始图像进行 预处理的过程包括以下步骤： S11， 获取开源数据集， 从中找出包含行人、 障碍物的原始图像， 对原始图像进行包括随 机旋转、 随机 裁剪在内的数据增强处 理； S12， 针对各个数据增 强处理后的原始图像， 按照预先设置的尺寸， 对各个原始图像的 像素和大小 进行统一设置， 得到包 含目标物体的有效图像； S13， 针对包含目标物体的有效图像， 使用图片标注工具标注出行人和障碍物的目标检 测边界框的大小和位置， 再对目标检测 边界框的障碍物类别进行标注， 得到交通障碍样本 图像。 3.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法， 其特征在于， 所述特 征融合模块包括依次连接的第一融合单 元、 第二融合单 元和降维单 元； 所述第一融合单元对卷积层Conv1_2、 卷积层Conv2_2和 卷积层Conv3_3输出的特征图 降维至相同深度后进行融合； 降维后的深度与卷积层Co nv4_3的深度相同；权　利　要　求　书 1/4 页 2 CN 115272665 A 2所述第二融合单元将第一融合单元的融合结果分别与卷积层Conv4_3、 卷积层Conv7、 卷积层Co nv8_2进行融合或者降维融合； 所述降维单元包括三个并联的3*3卷积层， 与第二融合单元输出的三个特征图一一对 应， 对第二融合单元输出的三个特征图进行降维处理， 得到保有原有卷积层Conv4_3、 卷积 层Conv7、 卷积层Co nv8_2相应深度的第一融合特 征、 第二融合特 征和第三融合特 征。 4.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法， 其特征在于， 在交通 障碍检测网络模 型中， 单次降采样结构先进行1次step为1， filter为3 ×3的卷积处理， 对细 节特征进 行总结， 再使用step为2的跨步卷积来降低特征融合的冗余， 最后进 行一次批正则 化操作。 5.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法， 其特征在于， 所述候 选框采用四维向量(x,y,h,w)表 示， x,y分别表 示归一化后的候选框的中心点横坐标和纵坐 标， h表示 候选框的高度， w表示 候选框的宽度。 6.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法， 其特征在于， 所述动 态检测头包括感兴趣区域池化组件、 自注意力机制组件和特 征交互组件； 所述感兴趣区域池化组件将提取出的特征图与候选框进行融合， 并通过ROI ‑Align得 到感兴趣区域； 所述自注意力机制组件在与候选框一一对应的高维特征的特征集中引入自注意力模 块， 对检测目标的关系进行梳理， 加强特 征信息之间的联系； 所述特征交互组件用于感兴趣区域和梳理后的高维特征进行特征交互， 输出对象特 征。 7.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法， 其特征在于， 所述分 类回归模块得到最终的预测结果的过程包括以下步骤： 基于对象特 征， 通过全连接层对物体进行回归和分类； 将对象特征和回归结果作为下一阶段动态检测头的高维特征和感兴趣区域继续检测， 不断迭代修 正结果， 直至网络收敛， 预测 和分类识别结果； 使用匈牙利算法对最后 一轮迭代的回归和分类结果进行处理， 将预测框与真实框之间 建立二分图匹配， 得到最终的预测结果。 8.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法， 其特征在于， 步骤S3 中， 所述损失函数为： 其中 、 、 分别代表各个损失所占的权 重； 代表分类损失： 式中， 取值范围是(0,1)， 用来控制 正负样本失衡问题， 取值范围是(0,1)， 反映 了预测值与真实值得接近程度； 为可调节因子， 使focal  loss小于标准交叉熵损失， 控制简单/难分辨样本失衡， 使得损失函数 更加专注于难分辨样本； 代表平均绝对误差MAE， 是真实值与预测值之差绝对值的均值， 表示预测值的权　利　要　求　书 2/4 页 3 CN 115272665 A 3