(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211199990.7 (22)申请日 2022.09.29 (71)申请人 郑州大学 地址 450001 河南省郑州市高新区科 学大 道100号 申请人 贵州祥源科技有限公司 　 郑州海威 光电科技有限公司 (72)发明人 焦战威　张寅宝　李晓佩　余方飞　 (74)专利代理 机构 郑州优盾知识产权代理有限 公司 41125 专利代理师 张真真 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/50(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进YOLO v5s的红外图像电动自行车 目标检测方法 (57)摘要 本发明提出了一种基于改进YOLO  v5s的红 外图像电动自行车目标检测方法， 其步骤包括： 利用红外摄像仪获取夜间道路电动自行车的图 像； 将获取的图像划分训练集、 验证集和测试集， 使用标注工具对训练集和测试集中的图像进行 标注签； 根据标签类型对训练集中的数据进行统 计、 分类、 筛选； 使用自适应直方图均衡方法对筛 选出的图像进行处理， 得到增强后的训练集； 搭 建改进的YOLO  v5s模型； 将增强后的训练集、 测 试集和验证集 分别输入改进的YOL O v5s模型中， 得到电动自行车行为检测模型； 将待检测的图像 或视频输入电动自行车行为检测模 型， 输出相应 的电动车行为检测结果。 本发明可以有效的检测 到电动自行 车行为， 为交通状况判断提供依据。 权利要求书3页 说明书10页 附图7页 CN 115410047 A 2022.11.29 CN 115410047 A 1.一种基于改进YOLO  v5s的红外图像电动自行车目标检测方法， 其特征在于， 其步骤 如下： 步骤一： 数据采集： 利用红外摄 像仪获取夜间道路电动自行 车的图像； 步骤二： 数据集制作： 将获取的图像划分训练集、 验证集和测试集， 使用标注工具对训 练集和测试集中的图像进 行标注签， 得到两种电动自行车驾驶行为的标签， 其中， 标签包括 dangerous标签和n ormal标签； 步骤三： 训练集图像分类： 根据标签类型对训练集中的数据进行统计， 并筛选出normal 标签对应的图像； 步骤四： 训练集部分图像增强： 使用自适应直方图均衡方法对筛选出的图像进行处理， 得到增强后的训练集； 步骤五： YOLO  v5s模型： 搭建YOLO  v5s模型， 包括Input模块、 Backbone模块、 Neck模块 和Predicti on模块； 步骤六： YOLO  v5s模型训练： 将增强后的训练集、 测试集和验证集分别输入改进的YOLO   v5s模型中进行训练、 测试和验证， 得到电动自行 车行为检测模型； 步骤七： 检测结果输出： 将待检测的图像或视频输入电动自行车行为检测模型， 输出相 应的电动车 行为检测结果。 2.根据权利要求1所述的基于改进YOLO  v5s的红外图像电动自行车目标检测方法， 其 特征在于， 所述danger ous标签表示载人驾驶电动自行车行为； normal标签为单人驾驶电动 自行车行为。 3.根据权利要求1所述的基于改进YOLO  v5s的红外图像电动自行车目标检测方法， 其 特征在于， 所述使用自适应直方图均衡方法对筛 选出的图像进行处 理的方法为： S4.1： 将输入的图像等分为图像块， 图像块的大小为 N×N； S4.2： 获取每一图像块内的图像的灰度级， 并计算图像块内原 始直方图的概 率； S4.3： 计算图像块内直方图概 率的累加值； S4.4： 根据下属方式求取像素映射关系： 假设r代表图像中像素灰度级， 经过归一化处理后， 0≤r≤1， 每个像素值在[0， 1]区间 的灰度级数是随机的， 图像灰度级的分布可以用概率密度函数Pr(r)来表示； 在数字图像处 理中， rk代表离散灰度级， 概 率密度函数Pr(rk)的表达式如下： 其中， 0≤rk≤1， k＝0， 1， 2， ...， n ‑1为灰度级， n代表图像的像素总数， 图像的直方图均 衡化公式为： 其中， Si表示将灰度级为rk的像素变换成灰度级为Si的像素， T(ri)表示变换函数。 4.根据权利要求1所述的基于改进YOLO  v5s的红外图像电动自行车目标检测方法， 其 特征在于， 所述Input模块的结构为输入层—Focus单元； Backbone模块的结构为Conv_I— CSP1_3_I—Conv_II—CSP1_3_II—Conv_III—CSP1_3_III—Conv_IV—SPP—CSP1_3_IV— SENet—Conv_V； Neck模块的结构为上采样层I—Concat _I—CSP1_3_VI—Conv_VI—上采样权　利　要　求　书 1/3 页 2 CN 115410047 A 2层II—Concat_II—CSP1_3_VII—Conv_VII—Concat_III—CSP1_3_VIII—Conv_VIII— Concat_IV—CSP1_3_IX， 且Conv_VI的输 出与Concat _III的输入相连接； Prediction模块包 括Predicti on_I、 Predicti on_II和Predicti on_III； Focus单元的输出与Conv_I的输入相连接， CSP1_3_II的输出与Concat_II的输入相连 接， CSP1_3_III的输 出与Concat _I的输入相连接， SENet的输出与Concat _IV的输入相连接， Conv_V的输出与上采样层I的输入相连接， Conv_VII的输出与 Prediction_I的输入相连接， Conv_VIII的输出与Prediction_II的输入相连接， CSP1_3_IX的输出与Prediction_III的 输入相连接 。 5.根据权利要求4所述的基于改进YOLO  v5s的红外图像电动自行车目标检测方法， 其 特征在于， 所述Focus单元包括slice_I、 slice_II、 slice_III、 slice_IV、 Concat_V和CBS_ I， slice_I、 slic e_II、 slic e_III、 slice_IV的输入均与输入层相连接， slic e_I、 slice_II、 slice_III、 slice_IV的输出均与Concat_V的输入相连接， Conc at_V的输出与CBS_I的输入 相连接， CBS_I的输出与Conv_I的输入相连接； 其中， CBS_I的结构为卷积层 ‑BN层‑SiLU激活 函数。 6.根据权利要求1所述的基于改进YOLO  v5s的红外图像电动自行车目标检测方法， 其 特征在于， 所述CSP1_3_I、 CSP1_3_II、 CSP1_3_III、 CSP1_3_IV、 CSP1_3_V、 CSP1_3_VI、 CSP1_ 3_VII、 CSP1_3_VIII和CSP1_3_IX的结构均包 括CBS_II、 CBS_III、 Resunit组件 I、 Resunit组 件II、 Resunit组件III、 Concat_VI、 CBS_IV； CBS_II的输 出均与Resu nit组件I、 Resunit组件 II、 Resunit组件III 的输入相连接， Resunit组件I、 Resunit组件II、 Resunit组件III 的输 出、 CBS_III的输出均与Concat_VI的输入相连接， Concat_VI的输出与CBS_IV的输入相连 接； 其中， Resunit组件 I、 Resunit组件II、 Resu nit组件III均包括CBS_VII、 CBS_VIII和a dd， CBS_VII的输出与CBS_VIII的输入相连接， CBS_VIII的输出和CBS_VII的输入均与add相连 接； CBS_I I、 CBS_III、 CBS_IV、 CBS_VI I、 CBS_VI II的结构均为卷积层 ‑BN层‑SiLU激活函数。 7.根据权利要求1所述的基于改进YOLO  v5s的红外图像电动自行车目标检测方法， 其 特征在于， 所述SPP的结构包括CBS_V、 MaxPool_I、 MaxPool_II、 MaxPool_III、 Concat_VII、 CBS_VI； CBS_V的输 出分别与MaxPool_I、 MaxPool_II、 MaxPool_III、 Concat_VII的输入相连 接， MaxPool_I、 MaxPool_II、 MaxPool_III的输出均与Concat_VII的输入相连接， Concat_ VII的输出与CBS_VI的输入相连接； 其中， CBS_V、 CBS_VI的结构均为卷积层 ‑BN层‑SiLU激活 函数。 8.根据权利要求1所述的基于改进YOLO  v5s的红外图像电动自行车目标检测方法， 其 特征在于， SENet的处 理方法为： 特征图通过自适应全局平均池 化、 将特征层的长宽进行压缩， 得到 Fsq(·)； Fsq(·)为压 缩(Squeeze)操作机制； 将Fsq(·)连续使用两个全连接层对通道信息进行自注意， 得到Fex(·，