(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211247365.5 (22)申请日 2022.10.12 (71)申请人 中国人民解 放军陆军炮兵防空兵学 院 地址 230071 安徽省合肥市蜀山区黄山路 451号 (72)发明人 李从利　席智中　沈延安　高一博　 刘永峰　韦哲　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 朱文振 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/766(2022.01)G06V 10/764(2022.01) G06V 10/25(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于CNN与ViT融合的递进式辅助目标 检测方法及系统 (57)摘要 本发明提供一种基于CNN与ViT融合的递进 式辅助目标检测方法及系统， 方法包括： 将CNN与 ViT结构进行串联式融合； Pao  detection由特征 提取网络CNN、 分离 前景与背景的RPN结构以及三 个用进行目标间建模的ViT结构组成， 其中， 由 CNN率先提取目标特征， 降低特征图分辨率； 随 后， RPN结构 对CNN输出的特征金字塔提取不同尺 度层级的感兴趣区域， 将其对应特征分别按照递 进式结构输入三层ViT进行目标间建模， 利用相 关性注意力图实现特征交互与补 充， 提升特征有 效性， 进而提升检测 效果； 采用松弛边界计算方 法， 动态计算每个batch中不同图片的目标尺度 聚类形况， 为监督学习添加目标划分软边界。 本 发明解决了融合效果不佳、 增加网络负荷、 错检 漏检的技 术问题。 权利要求书4页 说明书15页 附图9页 CN 115546499 A 2022.12.30 CN 115546499 A 1.一种基于 CNN与ViT融合的递进式辅助目标检测方法， 其特 征在于， 所述方法包括： S1、 构建P ao detection模型， 其中， 所述Pao  detection模型包括： 特征提取骨干网络 backbone、 检测颈、 检测头， 利用所述特征提取骨干网络backbone提取目标特征， 以所述检 测颈根据所述 目标特征， 对差异层特征图进行上下融合， 以得到语义位置信息差异分辨率 特征图， 二分类并回归处理所述差异层特征图， 据以得到不少 于2个的感兴趣区域， 对不同 尺度级别的所述感兴趣区域进 行目标间建模， 以交互并补 充所述目标特征， 以得到V iT输出 结果， 以所述检测头分类并回归处 理所述ViT输出 数据， 以得到ViT预测结果； S2、 构建递进式目标间辅助检测模型， 以利用基于ViT的感兴趣区域建模方法对大分辨 率RoI特征进行目标间建模与特征对齐， 以得到对齐大分辨率RoI特征以及对齐中分辨率 RoI特征， 据以进行 目标间建模与特征对齐， 利用所述对齐大分辨率RoI特征以及所述对齐 中分辨率RoI特征与小分辨率RoI特征， 进行目标间建模与特征对齐， 以利用CSPNet从差异 尺度特征图上抽取 所述感兴趣区域； S3、 对所述Pao  detection模型中所述检测颈的每层RPN网络输出的前景目标以及所述 ViT输出结果， 按照sim OTA动态正负 样本分配策略进行训练； S4、 以所述Pao  detection模型计算所述每层RPN网络输出与所述ViT输出数据的分类 损失与回归损失， 据以得到联合 概率损失； S5、 设计面积缩放函数， 根据长宽比例因子对预置数据集中的目标按照缩放后目标面 积进行聚类， 将所有 所述目标按照所述缩放后目标面积分成不少于2个部 分， 以得到不少于 2个的聚类中心以得到动态聚类结果， 据以对每张图重新分配目标尺度的划分 界限， 以利用 大目标辅助检测中小目标。 2.根据权利要求1所述的一种基于CNN与ViT融合的递进式辅助目标检测方法， 其特征 在于， 所述 步骤S4包括： S41、 利用难易样本平衡损失函数Focal  loss， 计算RPN预测类别联合概率、 ViT预测类 别联合概率与目标真实标签值之间的差异， 据以获取 所述分类损失； S42、 利用带角度损失函数SIOU获取并选择角度损失， 根据所述角度损失重定义距离损 失以及形状损失， 并以预置逻辑处理得到IoU损失， 利用所述Pao  detection模型的第一层 RPN及ViT分类并回归处理最小分辨率特征图， 以预测大目标信息， 得到回归结果与大 目标 真值， 据以计算SIOU损失； S43、 利用第二层RPN回归 处理中分辨率特征图， 以得到中目标前景特征并与第一层ViT 输出拼接， 据以输入第二层ViT模块进行目标级建模， 以得到小中目标预测结果， 据以利用 真值计算获取 所述回归损失； S44、 利用第三层RPN回归特征金字塔中的大分辨率特征图， 以得到小目标前的前景特 征， 拼接所述小目标前的前景特征与第二层ViT输出， 并输入至第三层ViT模块进行目标级 建模， 以得到所有目标预测结果、 各层输出的所述分类损失及所述回归损失， 据以利用下述 逻辑求和得到整个网络训练总损失： L＝WboxLbox+WclsLcls 式中， Lcls与Lbox分别代表分类与回归损失， wcls与wbox为两种损失的权 重因子。 3.根据权利要求2所述的一种基于CNN与ViT融合的递进式辅助目标检测方法， 其特征 在于， 所述步骤S41中， 采用下述逻辑计算RPN预测类别 联合概率、 ViT预测类别 联合概率与权　利　要　求　书 1/4 页 2 CN 115546499 A 2目标真实标签值之间的差异： FL(pt)＝‑(1‑pt)γlog(pt) 其中， (1‑pt)γ为模块因子， 对于分类准确的样本pt→1， 所述模块因子趋近于0， pt表示 分类的难易 程度， y表示真实类别。 4.根据权利要求2所述的一种基于CNN与ViT融合的递进式辅助目标检测方法， 其特征 在于， 所述 步骤S42包括： S421、 以下述逻辑利用所述带角度损失函数SIOU获取并选择 所述角度损失： 其中， IoU是交并比损失， Δ是距离损失， Ω为形状损失； S422、 根据所述角度损失， 利用下述逻辑重 定义所述距离损失： 其中： γ＝2‑Λ， γ为松弛因子， Λ为角度损失， 由x计算得 到， x为预测框与目标框中点连线与水平线夹角的正弦值， α 为该夹角， σ 为两框距离， ch为两 框高度差 。 Δ为距离损失， ρx为两框水平归一 化欧式距离， ρy为两框竖直归一 化欧式距离； S423、 根据所述角度损失， 利用下述逻辑重 定义所述距离损失： 其中： θ 为形状关注程度参数； S424、 利用下述逻辑定义所述 IoU损失： 其中， B为预测框， BGT为真实标签框； S425、 以下述逻辑利用所述Pao  detection模型的第一层RPN及ViT分类并回归处理最 小分辨率特征图， 以预测大目标信息， 得到回归结果与大目标真值， 据以计算GI oU损失： L1(reg)＝Llarge。权　利　要　求　书 2/4 页 3 CN 115546499 A 3