(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211197896.8 (22)申请日 2022.09.29 (71)申请人 曲阜师范大学 地址 276800 山东省日照市烟台路80号曲 阜师范大学 (72)发明人 齐文海　陈文浩　宗广灯　曹佃国　 孙海滨　杨东　卢立晖　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 彭博 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/25(2022.01)G06V 10/82(2022.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于神经网络的无人机航拍水面漂浮 物识别方法 (57)摘要 一种基于神经网络的无人机航拍水面漂浮 物识别方法， 包括以下步骤： 将航拍水面漂浮物 图像输入ResNet ‑50网络中， 得到 特征图， 将特征 图输入到CC ‑FPN网络中， 生成融合特征图， 将融 合的特征图输入到S ‑RPN网络中， 生成候选框， 将 融特征图和候选框输入到ROIAlign层， 生成候选 特征图， 将候选特征图输入全连接层， 生成检测 框； 该检测方法使用了表达能力更强的ResNet ‑ 50网络和采用CAG模块的CC ‑FPN网络， 以及准确 度更高的S ‑RPN网络， 同时将匹配性更好的 ROIAlign层作为区域感兴趣层， 使得无人机航拍 图像的检测效果更加优异， 对水面漂浮物的分类 更加准确。 权利要求书1页 说明书8页 附图5页 CN 115512248 A 2022.12.23 CN 115512248 A 1.一种基于神经网络的无 人机航拍水面漂浮物 识别方法， 其特 征在于， 包括以下步骤： ResNet‑50网络生成特征图： 将航拍水面漂浮物图像输入所述ResNet ‑50网络中， 得到 特征图； CC‑FPN网络生成融合特征 图： 将所述特征 图输入到所述CC ‑FPN网络中， 生成融合特征 图； S‑RPN网络生成候选 框： 将所述融合的特 征图输入到所述S ‑RPN网络中， 生成候选 框； ROI Align层生成候选特征图： 将所述融特征图和候选框输入到所述ROI  Align层， 生 成候选特 征图； 全连接层生成检测框： 将所述 候选特征图输入所述全连接层， 生成检测框 。 2.根据权利要求1所述的一种基于神经网络的无人机航拍水面漂浮物识别方法， 其特 征在于， 所述ResNet ‑50网络包括 拼接形式。 3.根据权利要求1所述的一种基于神经网络的无人机航拍水面漂浮物识别方法， 其特 征在于， 所述C C‑FPN网络包括CAG模块。 4.根据权利要求3所述的一种基于神经网络的无人机航拍水面漂浮物识别方法， 其特 征在于， 所述CAG模块用于融合上 下层的信息， CAG模块注意力机制的执 行过程为： CA(x)＝σ(fc1(AvgPool(x))+fc2(MaxPool(x))) 其CA(x)为注意力函数， σ 为Sigmoid激活函数， fc1,fc2为特征提取函数， Avgpool是平均 池化函数， 是对范围内的特征点取平均值； maxpool是最大池化函数， 是对范围内的特征点 取最大值。 5.根据权利要求1所述的一种基于神经网络的无人机航拍水面漂浮物识别方法， 其特 征在于， 所述S ‑RPN网络生成候选 框的操作中包括使用正负 样本采样的方法生成锚定 框。 6.根据权利要求1所述的一种基于神经网络的无人机航拍水面漂浮物识别方法， 其特 征在于， 所述ROIAl ign层生成候选特 征图的操作中包括使用线性插值方法。 7.一种基于神经网络的无 人机航拍水面漂浮物 识别装置， 其特 征在于包括： ResNet‑50网络模块， 用于提取输入图像的特 征， 生成特 征图； CC‑FPN网络模块， 用于将输入的所述特 征图进行融合处 理， 生成融合特 征图； S‑RPN网络模块， 用于在输入的所述融合图的基础上， 生成候选 框； ROIAlign层模块， 用于将输入的所述融特 征图和候选 框进行处 理， 生成候选特 征图； 全连接层模块， 用于将输入的所述 候选特征图进行处 理， 生成检测框 。 8.一种基于神经网络的无人机航拍水面漂浮物识别设备， 其特征在于， 包括处理器和 存储器， 其中， 所述处理器执行所述存储器中保存的计算机程序时实现所述权利要求 1‑6中 任一项所述的一种基于神经网络的无 人机航拍水面漂浮物 识别方法。 9.一种计算机可读存储介质， 其特征在于， 用于存储计算机程序， 其中， 所述计算机程 序被处理器执行时实现所述权利要求 1‑6中任一项 所述的一种基于神经网络的无人机航拍 水面漂浮物 识别方法。权　利　要　求　书 1/1 页 2 CN 115512248 A 2一种基于神经 网络的无人机 航拍水面漂浮 物识别方 法 技术领域 [0001]本发明涉及人工智能神经网络技术领域， 具体为一种基于神经网络的无人机航拍 水面漂浮物 识别方法。 背景技术 [0002]随着人工智能的快速发展， 对高效的智能视觉系统提出了更高的要求。 为了解决 计算机视觉中更高语义的任务， 如物体识别、 行为分析以及运动分析等， 过去几十年研究人 员开发了众多检测和跟踪算法。 2012年被认为是 目标检测的里程碑， 2012年之前多数为传 统的目标检测方法， 如HOG(Histogram  of Oriented  Gradient， 方向梯度直方图)、 DPM (Deformable  Part Model， 可变形的组件模型)等。 从2 012年开始， 随着深度学习的发展， 基 于卷积神经网络的目标检测算法可以分为两类： 一类是基于回归的算法， 包括SSD网络 (Single Shot MultiBox  Detector)、 YOLO网络(You  Only Look Once)、 Retina ‑Net网络； 另一个是基于区域的算法， 包括R ‑CNN网络(Region ‑based Convolutional  Neural  Networks， 区域卷积神经网络)、 fast  R‑CNN网络、 faster  R‑CNN网络、 SPPNet网络(Spatial   Pyramid Pooling Convolutional  Networks， 空间金字塔池化卷积网络)、 R ‑FCN网络 (Region‑based Fully Convolutional  Net， 基于区域的全卷积网络)等。 前者在检测速度 上占优， 后者在检测精度和 准确率上更具优势。 现阶段目标检测 技术已广泛应用于工业工 件的缺陷检测、 交通车辆的视 觉跟踪以及医学影 像分析等行业。 [0003]在科技进步的今天， 人类的生产生活发生了巨大的变化， 同时社会发展带来的环 境问题也越来越严重， 其中水环境污染一直受到高度重视。 作为一个全球性问题， 地表水污 染和次地表水污染尤为严重， 其中地表水污染中的漂浮物问题逐渐进入人们的视野。 由于 植物杂草、 塑料制品和金属制品等漂浮物的存在， 水污染生态破坏尤为严重。 受益于无人机 产业的蓬勃发展， UAV(Unmanned  Aerial Vehicle， 无人机)已应用于安防监控、 搜救、 运动 分析等诸多领域。 与传统的监控摄像不同， 无人机移动摄像具有易于部署、 机动性高、 视野 范围大、 尺度均匀等优点。 目前， 无人机应用场景越来越广泛， 如无人机空中加油、 无人机跟 踪等。 [0004]水面漂浮物对于水环境污染日益严重， 长期积累会导致水环境的进一步恶化， 因 此水面漂浮物的检测对水源净化具有重要意义。 为了弥补人工作业检测水面漂浮物的不 足， 降低工人的工作强度， 保证工人 的安全性， 采用无人机对水面漂浮物进行检测。 无人机 检测水面漂浮物主要 是通过采集大量的水面航拍图像进行检测。 在 对无人机航拍水面漂浮 物图进行处理时， 常用Faster ‑RCNN网络对无人机航拍图像进行处理。 Faster  RCNN网络在 经过R‑CNN网络和Fast  RCNN网络的积淀基础上， 已经将特征抽取(feature  extraction)， 候选框(proposals)提取， 边界框偏移量(bounding  box regression)， 分类 (classification)都整合在了一个网络中， 综合性能有较大提高， 在检测速度方面尤为明 显。 [0005]目前在无人机航拍水面漂浮物检测类别方法等方面， 主要通过以下几个步骤完成说　明　书 1/8 页 3 CN 115512248 A 3