(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211235689.7 (22)申请日 2022.10.10 (71)申请人 南京大学 地址 210023 江苏省南京市 鼓楼区汉口路 22号 (72)发明人 阮雅端　孟凡泽　李佳勋　陈启美　 (74)专利代理 机构 南京天翼专利代理有限责任 公司 321 12 专利代理师 朱戈胜 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种无人机场景的实时车道线检测方法 (57)摘要 本发明涉及一种无人机场景的实时车道线 检测方法， 包括： 构建车道线检测模型； 读 入无人 机高空拍摄的实时道路画面至车道线检测模型 中进行车道线检测； 其中， 构建车道线检测模型 中， 采集无人机高空对车道的监控视频， 获取视 频图片作为训练样本数据； 对视频图片进行预处 理； 采用CA注意力机制优化后的CA ‑Resnet18主 干网络中， 提取图片的若干特征信息， 获得三层 不同分辨率不同深度的特征图； 对不同分辨率不 同深度的特征图的特征图进行双向三层特征融 合； 经过组分类确定每条车道线的位置信息， 实 现车道检测。 本发明提高无人机场景下车道线的 检测识别准确度与实时性。 权利要求书2页 说明书6页 附图4页 CN 115546667 A 2022.12.30 CN 115546667 A 1.一种无 人机场景的实时车道线检测方法， 其特 征在于： 包括 步骤1： 构建车道线检测模型； 步骤101： 采集无 人机对车道的监控视频， 获取视频图片作为训练样本数据； 步骤102： 对视频图片进行 预处理； 步骤103： 采用CA注意力机制优化后的CA ‑Resnet18主干网络， 提取图片的若干特征信 息， 经过不同数量的卷积分别形成高层特 征图、 低层特 征图和标准特 征图； 步骤104： 对不同分辨率不同深度的高层特征图、 低层特征图和标准特征图进行双向三 层特征融合； 步骤105： 经过组分类确定每条 车道线的位置信息， 实现车道检测。 步骤2： 读入无 人机拍摄的实时道路画面， 送入车道线检测模型中进行 车道线检测。 2.根据权利要求1所述的一种无人机场景的实时车道线检测方法， 其特征在于： 步骤 101中， 采集无人机高空监控视频后， 读入视频画 面， 截取监控视频中包含车道线的图片； 在 采集无人机视角的高速公路监控视频时， 监控画面中高速公路的画面占比超过50％， 其中 车道线像素 范围不低于10 0*100。 3.根据权利要求1所述的一种无人机场景的实时车道线检测方法， 其特征在于： 步骤 102中， 预处理方法为： 对视频图片通过旋转、 垂直和水平移动组成的方式对图片数据集进 行增广； 并将图片中的车道线延伸至图像的边界。 4.根据权利要求1所述的一种无人机场景的实时车道线检测方法， 其特征在于： 步骤 103具体为： 步骤1031： 将图片输入至ResNet18主干网络， 首先图片将通过ResNet18主干网络的输 入部分， 输入部 分包含卷积和最大池化两个部 分； 然后输入中间卷积 部分提取特征， 最后分 别经过ReLU激活函数、 平均池化、 全连接层得到特征图； 其中， 卷积 部分包括残差结构， 通过 不同数量的残差结构形成不同分辨率的特征， 仅通过一个残差结构， 由于经过的卷积更少， 将形成低层特 征； 通过三个残差结构， 将获得高层特 征； 通过两个残差结构获得 标准特征； 步骤1032： 引入CA注意力机制， 将ResNet18网络提取的特征图沿着水平坐标和垂直坐 标两个空间方向聚合特征， 得到水平和垂直两组注意力特征块， 将两组注意力特征块拼接 并依次经过1x1卷积和非线性激活处理， 最终把注意力特征块与ResNet18网络提取的特征 图加权处理， 得到拥有空间与通道注意力特性的特征图， 拥有空间与通道注意力特性的特 征图包括高层特 征图、 低层特 征图和标准特 征图。 5.根据权利要求4所述的一种无人机场景的实时车道线检测方法， 其特征在于： 步骤 1031中， 中间卷积 部分通过3*3卷积的堆叠来实现信息的提取， 卷积核的重复堆叠次数为2； 经过输入部 分卷积和最大池化后的数据分成两条路， 一条路经过两个3*3卷积， 另一条路短 接， 二者相加构成了残差结构。 最后数据分别 经过ReLU激活函数、 平均池化、 全连接层得到 特征图。 6.根据权利要求4所述的一种无人机场景的实时车道线检测方法， 其特征在于： 步骤 1032中， 将ResNet18网络提取的特征图分别沿着水平 坐标和垂直坐标两个空间方向聚合特 征得到注意力特 征块， 具体为： 输入单一 通道特征图的尺寸 为H×W， 高度为h、 宽度为 w的第c通道输出表达式如下：权　利　要　求　书 1/2 页 2 CN 115546667 A 2其中， xc(h,i)表示输入特征图中第c个通道且高度为h的第i个中间特征张量； xc(j,w) 表示输入特征图中第c个通道且宽度为w的第j个中间特征张量； zc(h)表示高度为h的第c个 通道的特征输出， 即获得第一组沿水平方向的注意力特征块； zc(w)表示宽度为w的第c个通 道的特征输出， 即获得第二组沿垂直方向的注意力特 征块； 将两组注意力特征块拼接后经过1*1卷积与非线性激活， 与输入的特征图重新加权处 理， 得到注意力特 征图。 7.根据权利要求4所述的一种无人机场景的实时车道线检测方法， 其特征在于： 步骤 104具体为： 将高层特 征图通过 上采样扩张为标准尺寸特 征图； 将低层特 征图通过 下采样缩小为标准尺寸特 征图； 将三张标准尺寸特 征图通过co ncat方法进行融合。 8.根据权利要求7所述的一种无人机场景的实时车道线检测方法， 其特征在于： 高层特 征图经过卷积上采样后， 大小由H1*W1*C转变为H*W*C/2； 低层特征图在经过卷积下采样后由 H2*W2*转变为H *W*C/2， 三层特 征图融合， 最终大小为H *W*2C。 9.根据权利要求1所述的一种无人机场景的实时车道线检测方法， 其特征在于： 步骤 105具体为： 图像按照高度方向每隔若干像素点预定义一个行锚， 每行继续按照宽度方向分 割， 可形成若干个栅格； 对特征融合后的特征图进 行组分类， 可得到每个栅格是否为车道线 及属于哪条车道线； 结合预定义的行锚位置信息， 可得到每条车道线对应的像素点坐标信 息， 进而实现车道线的检测。 10.根据权利要求1所述的一种无人机场景的实时车道线检测方法， 其特征在于： 对于 监控视频的序列， 分辨 率大小设置为19 20*1080， 表示所有视频监控画面的像素点的数量。权　利　要　求　书 2/2 页 3 CN 115546667 A 3