(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211212592.4 (22)申请日 2022.09.29 (71)申请人 珠海视熙科技有限公司 地址 519080 广东省珠海市高新区唐家湾 镇金唐路1号港湾1号科创园4栋6层 601-1 (72)发明人 陈瑞斌　肖兵　李正国　 (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 陈宇楠 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 多目标检测模型及其训练方法、 装置、 介质 及设备 (57)摘要 本发明提供了一种多目标检测模型及其训 练方法、 装置、 介质及设备， 所述方法包括： 从训 练样本集中获取用于模型训练的至少一样本图 像， 将所述样本图像输入所述多目标检测模型以 得到对应的检测目标信息； 对所述检测目标信息 进行评价， 得到评价结果； 依据所述评价结果调 整所述检测目标结果， 利用调整后的检测目标结 果和所述样 本图像训练所述多目标检测模型。 本 发明的方案在不增加模型参数量和训练数据前 提下， 提升物体检测中分类精度， 从而加强算法 鲁棒性。 权利要求书2页 说明书9页 附图4页 CN 115482417 A 2022.12.16 CN 115482417 A 1.一种多目标检测模型， 其特征在于， 所述多目标检测模型基于YOLO网络架构创建， 所 述多目标检测模型包括进 行图像特征学习的主干网络结构和损失函数结构； 所述损失函数 结构包括： 模型预测解码器、 真实信息分配模块、 交并比计算模块、 检测目标置信度回归模 块、 边框回归 模块、 分类模块以及模型 先验模块。 2.根据权利要求1所述的多目标检测模型， 其特征在于， 所述模型预测解码器分别与交 并比计算模块、 检测目标置信度回归 模块和分类模块耦合； 所述交并比计算模块还与 所述检测目标置信度回归模块、 边框回归模块和模型先验模 块耦合； 所述真实信息分配模块分别与所述交并比计算模块和模型先验模块耦合； 所述模 型先验模块还与分类模块耦合。 3.根据权利要求1所述的多目标检测模型， 其特 征在于， 模型预测解码器， 用于 输出所述图像的检测目标信息； 真实信息分配模块， 用于 输出所述图像的真实目标信息； 交并比计算模块， 用于计算检测框与真实框之间的交并比； 模型先验模块， 用于根据真实信 息分配模块和交并比计算模块的输出调整检测目标信 息。 4.一种基于模型先验的多目标检测模型训练方法， 应用于权利要求1 ‑3中任一项所述 的多目标检测模型， 所述方法包括： 从训练样本集中获取用于模型训练 的至少一样本图像， 将所述样本图像输入所述多目 标检测模型以得到对应的检测目标信息； 对所述检测目标信息进行评价， 得到 评价结果； 依据所述评价结果调整所述检测目标结果， 利用调整后的检测目标结果和所述样本图 像训练所述多目标检测模型。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述真实 目标信息对所述检测目 标信息进行评价， 得到 评价结果包括： 获取所述样本 图像的真实目标信息； 所述真实目标信息包括真实框的图像坐标； 所述 检测目标信息包括检测目标对应 检测框的图像坐标； 利用所述交并比计算模块基于真实框的图像坐标和检测框的图像坐标， 计算各检测框 和各真实框的交并比， 以将所述检测框与真实框之间的交并比作为评价结果。 6.根据权利要求5所述的方法， 其特征在于， 所述依据所述评价结果调整所述检测目标 结果包括： 基于所述样本图像的各检测框和各真实框的交并比生成交叠掩膜 矩阵； 基于交叠掩膜 矩阵生成检测目标对应的交叠类别列表； 依据所述交叠类别列表确定所述检测目标的类别标签， 作为检测目标的最终类别标 签。 7.根据权利要求6所述的方法， 其特征在于， 所述基于各检测框和各真实框的交并比生 成交叠掩膜 矩阵包括： 获取各检测框对应的检测目标ID和各真实框对应的真实目标ID， 以对各检测框和各真 实框的交并比进行排序， 生成交并比矩阵； 将所述交并比矩阵中交并比大于第 一预设阈值的矩阵元素标记为第 一参数， 将小于或权　利　要　求　书 1/2 页 2 CN 115482417 A 2等于所述第一预设阈值的矩阵元 素标记为第二 参数； 基于所述交并比矩阵、 所述第 一参数和所述第 二参数生成对应各检测目标的交叠掩膜 矩阵。 8.根据权利要求6所述的方法， 其特征在于， 所述基于交叠掩膜矩阵生成检测目标对应 的交叠类别列表包括： 获取真实目标类别标签； 对所述真实目标类别标签和所述交叠掩膜矩阵进行去重得到对应各检测目标的交叠 类别列表。 9.根据权利要求6所述的方法， 其特征在于， 所述依据所述交叠类别列表确定所述检测 目标的类别标签包括： 获取所述检测目标的交叠类别列表的类别总数； 若所述类别总数小于或等于第 二预设阈值， 则 基于所述交叠类别列表中的类别标签作 为所述检测目标的类别标签； 若所述类别总数大于所述第二预设阈值， 则利用argmax函数从所述交叠类别列表确定 所述检测目标的类别标签。 10.一种基于模型先验的多目标检测模型训练装置， 应用于权利要求1 ‑3中任一项所述 的多目标检测模型， 所述装置包括： 目标检测单元， 用于从训练样本集中获取用于模型训练的至少一样本 图像， 将所述样 本图像输入所述多目标检测模型以得到对应的检测目标信息； 评价单元， 用于对所述检测目标信息进行评价， 得到 评价结果； 训练单元， 用于依据所述评价结果调整所述检测目标结果， 利用调整后的检测目标结 果和所述样本图像训练所述多目标检测模型。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储程序代 码， 所述程序代码用于执 行权利要求1 ‑9任一项所述的方法。 12.一种计算设备， 其特 征在于， 所述计算设备包括处 理器以及存 储器： 所述存储器用于存 储程序代码， 并将所述 程序代码传输给 所述处理器； 所述处理器用于根据所述 程序代码中的指令执 行权利要求1 ‑9任一项所述的方法。 13.一种摄像设备， 其特征在于， 所述摄像设备采用权利要求1 ‑3任一项所述的多目标 检测模型， 或执行权利要求4 ‑9任一项所述的基于模型先验的多目标检测模型训练方法， 或 包括权利要求 10所述的基于模型先验的多目标检测模型训练装置， 或具有权利要求 11所述 的计算机可读存 储介质。权　利　要　求　书 2/2 页 3 CN 115482417 A 3