(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211195726.6 (22)申请日 2022.09.29 (71)申请人 山东大学 地址 266237 山东省青岛市 即墨滨海路72 号 申请人 哈尔滨工业大 学 （深圳） 　 浙江猫精人工智能科技有限公司 (72)发明人 吴建龙　孙玮　聂礼强　甘甜　 李潇婕　丁宁　姜飞俊　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 张庆骞 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/778(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 基于近邻一致性和对比学习的半监督视频 分类方法及系统 (57)摘要 本发明属于计算机视觉视频分类领域， 为了 解决现有技术对视频中的运动信息挖掘不足， 引 入监督信号过少， 模型训练效率低下以及学习到 的特征判别性不足， 这些均导致视频分类的准确 率较低的问题， 提供基于近邻一致性和对比学习 的半监督视频分类方法及系统。 其中基于近邻一 致性和对比学习的半监督视频分类方法包括提 取待分类视频样本的RGB帧图像； 基于RGB帧图像 及训练好的教师网络， 得到所有视频分类的预测 分布， 将概率最大的类别作为分类结果； 其基于 教师‑学生网络对视频进行分类， 能够在仅有少 量标注数据的情况 下提高视频分类的准确性。 权利要求书2页 说明书11页 附图2页 CN 115311605 A 2022.11.08 CN 115311605 A 1.一种基于 近邻一致性和对比学习的半监 督视频分类方法， 其特 征在于， 包括： 提取待分类视频样本的RGB帧图像； 基于RGB帧图像及训练好的教师网络， 得到所有视频分类的预测分布， 并将其中概率最 大的类别作为分类结果； 其中， 所述教师网络来源于教师 ‑学生网络， 教师 ‑学生网络的训练过程 为： 对于有标签视频样本， 进行监 督学习， 得到监 督学习损失； 对于无标签视频样本， 进行伪标签学习， 得到伪标签学习损失； 对于无法生成伪标签的无 标签视频样本， 进行近邻一 致性学习， 得到 近邻一致性损失； 依据近邻视频样本信息， 进行近邻对比学习， 得到 近邻对比损失； 根据整合在一起的监督学习损失、 伪标签学习损失、 近邻一致性损失和近邻对比损失， 对教师‑学生网络进行 联合优化训练。 2.如权利要求1所述的基于近邻一致性和对比学习的半监督视频分类方法， 其特征在 于， 在训练教师 ‑学生网络的过程， 还 包括： 提取视频样本的RGB帧和TG帧， 并进行强弱扩充。 3.如权利要求2所述的基于近邻一致性和对比学习的半监督视频分类方法， 其特征在 于， 在训练教师 ‑学生网络的过程中： 对于有标签视频样本， 依据标签和弱扩充后样本的预测分布， 最小化 二者交叉熵。 4.如权利要求2所述的基于近邻一致性和对比学习的半监督视频分类方法， 其特征在 于， 在训练教师 ‑学生网络的过程中： 对于无标签视频样本， 教师网络利用弱扩充后的RGB帧和TG帧生成高置信度的伪标签， 并最小化伪标签和由学生网络得到的强扩充样本预测分布之间的交叉熵。 5.如权利要求2所述的基于近邻一致性和对比学习的半监督视频分类方法， 其特征在 于， 在训练教师 ‑学生网络的过程中： 对于无法生成伪标签的无标签样本， 教师网络借助近邻信息生成高置信度的近邻标 签， 并最小化近邻标签和由学生网络得到的强扩充样本预测分布之间的KL散度。 6.如权利要求1或2所述的基于近邻一致性和对比学习的半监督视频分类方法， 其特征 在于， 在训练教师 ‑学生网络的过程中： 依据近邻信 息， 将样本与其近邻样本构造正样本对， 与非近邻样本构造负样本对， 并利 用对比学习， 最小化 正样本对之间的距离， 最大化负 样本对之间的距离 。 7.一种基于 近邻一致性和对比学习的半监 督视频分类系统， 其特 征在于， 包括： RGB帧提取模块， 其用于提取待分类视频样本的RGB帧图像； 视频分类模块， 其用于基于RGB帧图像及训练好的教师网络， 得到所有视频分类的预测 分布， 并将其中概 率最大的类别作为分类结果； 其中， 所述教师网络来源于教师 ‑学生网络， 教师 ‑学生网络的训练过程 为： 对于有标签视频样本， 进行监 督学习， 得到监 督学习损失； 对于无标签视频样本， 进行伪标签学习， 得到伪标签学习损失； 对于无法生成伪标签的无 标签视频样本， 进行近邻一 致性学习， 得到 近邻一致性损失； 依据近邻视频样本信息， 进行近邻对比学习， 得到 近邻对比损失； 根据整合在一起的监督学习损失、 伪标签学习损失、 近邻一致性损失和近邻对比损失，权　利　要　求　书 1/2 页 2 CN 115311605 A 2对教师‑学生网络进行 联合优化训练。 8.如权利要求7所述的基于近邻一致性和对比学习的半监督视频分类系统， 其特征在 于， 在训练教师 ‑学生网络的过程中： 提取视频样本的RGB帧和TG帧， 并进行强弱扩充； 对于有标签视频样本， 依据标签和弱扩充后样本的预测分布， 最小化 二者交叉熵。 9.如权利要求8所述的基于近邻一致性和对比学习的半监督视频分类系统， 其特征在 于， 在训练教师 ‑学生网络的过程中： 对于无标签视频样本， 教师网络利用弱扩充后的RGB帧和TG帧生成高置信度的伪标签， 并最小化伪标签和由学生网络得到的强扩充样本预测分布之间的交叉熵。 10.如权利要求8所述的基于近邻一致性和对比学习的半监督视频分类系统， 其特征在 于， 在训练教师 ‑学生网络的过程中： 对于无法生成伪标签的无标签样本， 教师网络借助近邻信息生成高置信度的近邻标 签， 并最小化近邻标签和由学生网络得到的强扩充样本预测分布之间的KL散度。权　利　要　求　书 2/2 页 3 CN 115311605 A 3