(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211213572.9 (22)申请日 2022.09.30 (71)申请人 中北大学 地址 030000 山西省太原市学院路3号 申请人 太原青禾之道科技有限公司 (72)发明人 蔡文涛　李子圣　韩建宁　廉亚霖　 杨宇超　杨凯　周泓宇　秦超　 毕效乾　陈旭　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 刘文求 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/246(2017.01) G06T 7/70(2017.01)G06N 3/08(2006.01) G06V 10/77(2022.01) (54)发明名称 一种基于多目标追踪的生猪健康状态判断 方法及相关 设备 (57)摘要 本发明公开一种基于多目标追踪的生猪健 康状态判断方法及相关设备， 所述方法包括： 将 采集到的有关待检测生猪的视频数据拆分为预 设时长的视频序列后， 进行预处理操作； 将预处 理后的视频序列输入到预先训练后逐的目帧标 的检数测据模关型联中操； 作， 将得根到据输的 检出测的数每据一输帧入检到测数De据ep中SO 帧RT编号追、 踪待模检型测后生进行猪ID号和对 应ID号待检测生猪的位置信息， 计算每一个待检 测生猪的五类运动指标后组成五个第一数据矩 阵； 对第一数据矩阵进行降维处理后， 将得到的 第二数据矩阵输入到异常检测模 型中， 输出待检 测生猪的异常健康状态， 从而利用多目标追踪技 术获取的五类运动指标等生猪运动信息， 实现对 于生猪异常健康进行检测。 权利要求书3页 说明书17页 附图19页 CN 115471491 A 2022.12.13 CN 115471491 A 1.一种基于多目标追踪的生猪健康状态判断方法， 其特征在于， 所述基于多目标追踪 的生猪健康状态判断方法包括以下步骤： 将采集到的有关待检测生猪的视频数据拆分为预设时长的视频序列， 并利用中值滤波 算法和视频掩 模操作对所述视频序列进行 预处理； 将预处理后的视频序列输入到预先训练后的目标检测模型中， 输出检测数据； 其中， 所 述检测数据包括： 物体种类、 物体位置和置信度数据； 将所述检测数据输入到DeepSORT追踪模型中， 利用所述DeepSORT追踪模型中卡尔曼滤 波器、 表观特征提取模型和匈牙利匹配算法进行逐帧的数据关联操作， 输出每一帧检测数 据中帧编号、 待检测生猪ID号和对应ID号待检测生猪的位置信息； 根据所述帧编号、 所述待检测生猪ID号和所述对应ID号待检测生猪的位置信息， 计算 每一个待检测生猪的五类运动 指标， 并利用所述运动 指标组成五个第一数据矩阵； 其中， 所 述运动指标包括： 运动距离、 运动最大速度、 运动最大加速度、 运动平均速度和运动平均加 速度； 利用主成分分析方法对所述第一数据矩阵进行降维处理， 组成第二数据矩阵， 并将所 述第二数据矩阵输入到异常检测模型中， 输出待检测生猪的异常健康状态。 2.根据权利要求1所述的基于多目标追踪的生猪健康状态判断方法， 其特征在于， 所述 将采集到的有关待检测生猪的视频数据拆分为预设时长的视频序列， 并利用中值滤波算法 和视频掩 模操作对所述视频序列进行 预处理的步骤 包括： 利用摄像头对一个栏 位内多头待检测生猪采集多段RGB视频 数据； 将所述RGB视频数据拆分为预设时长的视频序列， 并利用所述中值滤波算法和所述视 频掩模操作对所述视频序列进行 预处理。 3.根据权利要求1所述的基于多目标追踪的生猪健康状态判断方法， 其特征在于， 所述 将预处理后的视频序列输入到预先训练后的目标检测模型中， 输出检测数据的步骤具体包 括： 将经过预处理后的视频序列输入到初始目标检测模型中， 并调整模型参数直至误差值 低于设定阈值， 得到预 先训练后的目标检测模型； 将经过增强处理后的视频序列输入到预先训练后的目标检测模型中， 输出所述检测数 据。 4.根据权利要求1所述的基于多目标追踪的生猪健康状态判断方法， 其特征在于， 所述 将所述检测数据输入到DeepSORT追踪模型中， 利用所述DeepSORT追踪模型中卡尔曼滤波 器、 表观特征提取模型和匈牙利匹配算法进行逐帧的数据关联操作， 输出每一帧检测数据 中帧编号、 待检测生猪ID号和对应ID号待检测生猪的位置信息的步骤具体包括： 对初始帧检测数据创建对应的追踪框， 将卡尔曼滤波器的运动变量初始化， 利用所述 卡尔曼滤波器预测下一帧检测数据的追踪框后， 计算下一帧检测数据的目标检测框和下一 帧检测数据的追踪框的马氏距离； 将所述目标检测框中RGB图像输入到预先训练的表观特征提取模型中， 计算余弦距离， 根据所述 余弦距离、 所述马氏距离和预设门限矩阵阈值计算出代价矩阵； 将所述代价矩阵输入到匈牙利算法中， 对上一帧卡尔曼滤波器预测的追踪框和下一帧 的目标检测框进行匹配， 得到匹配成功的第一追踪框、 匹配失败的第一检测框和匹配失败权　利　要　求　书 1/3 页 2 CN 115471491 A 2的第二追踪框； 将匹配成功的第一追踪框的位置信 息输入到卡尔曼滤波器中， 分别计算匹配失败的第 一检测框和匹配失败的第二追踪框的IOU阈值， 并利用匈牙利算法进 行匹配， 得到匹配成功 的第三追踪框、 匹配失败的第二检测框和匹配失败的第四追踪框； 分别对匹配成功的第 三追踪框、 匹配失败的第 二检测框和匹配失败的第四追踪框进行 相应地处 理； 利用卡尔曼滤波器更新均值和协方差矩阵， 并判断追踪器的状态是否为确定态后， 输 出每一帧检测数据中帧编号、 待检测生猪ID号和对应ID号待检测生猪的位置信息 。 5.根据权利要求1所述的基于多目标追踪的生猪健康状态判断方法， 其特征在于， 所述 根据所述 帧编号、 所述待检测生猪ID号和所述对应ID号待检测生猪的位置信息， 计算每一 个待检测生猪的五类运动 指标， 并利用所述运动 指标组成五个第一数据 矩阵的步骤具体包 括： 根据所述帧编号、 所述待检测生猪ID号和所述对应ID号待检测生猪的位置信息， 计算 每一个待检测生猪的五类运动指标； 将N只待检测生猪的相同类的运动指标分别提取出来组成五类第 一运动指标特征向量 后， 利用五类第一运动 指标特征向量组成五个第一数据 矩阵； 其中， 每一个第一数据 矩阵的 长度为N个。 6.根据权利要求5所述的基于多目标追踪的生猪健康状态判断方法， 其特征在于， 所述 利用主成分分析方法对所述第一数据矩阵进行降维处理， 组成第二数据矩阵， 并将所述第 二数据矩阵输入到异常检测模型中， 输出待检测生猪的异常健康状态的步骤具体包括： 分别计算每类所有第 一运动指标特征向量的均值， 并分别计算在同一类中每个第 一运 动指标特征向量与所在类第一 运动指标 特征向量的均值之间的差值； 由五类差值组成五类第 二运动指标特征向量后， 利用五类第 二运动指标特征向量组成 五个第三数据矩阵； 其中， 每一个第三数据矩阵的长度为 N个； 求解所述第 三数据矩阵的协方差矩阵， 使用特征值分解方法计算所述协方差矩阵的特 征值和特征向量； 其中， 所述特征向量为新坐标轴方向、 数据的旋转方向或者新的主成分方 向； 所述特征值为所述检测数据在对应新坐标轴 上投影的方差大小， 或者所述检测数据对 应特征向量上包 含的信息量； 将所述特征值按从大到小进行排序， 取排序后的特征值前两大的特征向量组成第四数 据矩阵， 并将所述第一数据矩阵和所述第四数据矩阵进行矩阵乘法， 得到所述第二数据矩 阵； 将所述第二数据矩阵进行拆分得到数据集， 将预设比例的数据集作为训练数据集输入 到经过训练后的异常检测模型中进行 预测， 输出 所述待检测生猪的异常健康状态。 7.根据权利要求4所述的基于多目标追踪的生猪健康状态判断方法， 其特征在于， 所述 分别对匹配 成功的第三追踪框、 匹配失败的第二检测框和匹配失败的第四追踪框进行相应 地处理的步骤具体包括： 将匹配成功的第三追踪框的位置信 息输入到所述卡尔曼滤波器中， 对匹配失败的第 二 检测框新增追踪框； 若所述第四追踪框未与其他任何帧检测数据的目标检测框匹配成功， 则所述第四追踪权　利　要　求　书 2/3 页 3 CN 115471491 A 3