(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211213678.9 (22)申请日 2022.09.30 (71)申请人 五邑大学 地址 529000 广东省江门市东成村2 2号 (72)发明人 邓辅秦　钟家铭　莫卓亚　谭朝恩　 官桧锋　黄焕钊　金少峰　张建民　 胡轶　丁毅　钟东洲　王栋　 付兰慧　李楠楠　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 何卿华 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种小样本视频异常行为分类方法、 系统、 设备及介质 (57)摘要 本发明涉及计算机视觉技术领域， 尤其涉及 一种小样本视频异常行为分类方法、 系统、 设备 及介质， 包括： 采集Kinetics数据集和各类异常 行为视频数据集； 建立由特征提取网络和图生成 模块构成的自监督图神经网络模型； 在Kinetics 数据集上预训练自监督图神经网络模 型， 并通过 各类异常行为视频数据集进行微调训练， 得到微 调好的自监督图神经网络模型。 本发 明通过自监 督学习与图神经网络实现小样 本学习， 解决了 现 有的小样本识别方法不能充分利用视频的时序 信息进行建模， 且无法充分挖掘数据隐藏的信 息， 以提高模型性能的问题， 本发明不仅可以学 习到视频长期的时序信息和空间信息， 而且不易 受数据量少和噪声等的影响。 权利要求书2页 说明书9页 附图4页 CN 115512269 A 2022.12.23 CN 115512269 A 1.一种小样本 视频异常行为分类方法， 其特 征在于， 包括以下步骤： 采集Kinetics数据集以及各类异常行为视频 数据集； 建立由特 征提取网络和图生成模块构成的自监 督图神经网络模型； 在Kinetics数据集上 预训练所述特 征提取网络， 得到预训练好的特 征提取网络； 基于所述预训练好的特征提取网络， 利用所述Kinetics数据集预训练所述图生成模 块， 以实现所述自监 督图神经网络模型的预训练； 将各类异常行为视频数据集输入预训练好的自监督图神经网络模型进行微调训练， 得 到微调好的自监 督图神经网络模型。 2.如权利要求1所述的一种小样本视频异常行为分类方法， 其特征在于， 所述在 Kinetics数据集上 预训练所述特 征提取网络， 得到预训练好的特 征提取网络的步骤 包括： 对所述Ki netics数据集进行稀疏采样， 得到预设采样帧数的视频图像； 对所述视频图像进行随机翻转， 得到不同角度的旋转图像； 对所述旋转图像设置类别标签和旋转角度标签， 得到标签图像； 以标签图像的旋转角度作为监督信号， 对所述特征提取网络进行自监督学习， 得到预 训练好的特 征提取网络 。 3.如权利要求1所述的一种 小样本视频异常行为分类方法， 其特征在于， 所述基于所述 预训练好的特征提取网络， 利用所述Kinetics数据集预训练所述图生成模块， 以实现所述 自监督图神经网络模型的预训练的步骤 包括： 对所述Kinetics数据 集进行稀疏采样， 将Kinetics数据 集中的每个视频数据分为若干 个视频片段； 提取每个视频片段中的图像， 得到每 个视频数据对应的若干 视频片段图像； 利用所述预训练好的特征提取网络提取所述视频片段图像的特征， 得到视频特征节点 集合； 根据所述视频 特征节点集合以及预 先构建的卷积神经网络得到节点关系集 合； 根据所述视频 特征节点集合和所述节点关系集 合构建视频图网络； 对所述视频图网络进行图卷积， 以更新节点特 征和边信息； 通过节点汇聚， 将每 个视频图网络汇聚成单个节点， 得到汇聚节点； 利用Softmax分类器对汇聚节点进行分类、 识别， 得到预训练好的图生成模块， 以实现 所述自监 督图神经网络模型的预训练。 4.如权利要求3所述的一种 小样本视频异常行为分类方法， 其特征在于， 所述根据 所述 视频特征节点集合以及预 先构建的卷积神经网络得到节点关系集 合的步骤 包括： 计算所述视频 特征节点集合中任意两个节点特 征差值的平方， 得到节点差异特 征； 将所述节点差异特征输入预先构建的卷积神经网络， 并通过sigmoid层得到单条边特 征； 根据所述单 条边特征以及视频帧数计算得到节点关系集 合； 其中， 所述卷积神经网络包括依次连接的卷积层、 BatchNorm层、 卷积层、 B atchNorm层 以及Relu层。 5.如权利要求3所述的一种 小样本视频异常行为分类方法， 其特征在于， 所述对所述视 频图网络进行图卷积， 以更新节点特 征和边信息的计算公式为：权　利　要　求　书 1/2 页 2 CN 115512269 A 2式中， f(k+1)(xk)表示经过(K+1)次图卷积后的图网络， σ 表示激 活函数， D(k)表示第k次图 卷积的度矩阵， 表示第k次图卷积的邻 接矩阵， Wedge表示学习权重， 表示任意两个 帧节点i、 j的边， MLPedge表示卷积神经网络， f(zi)表示帧节点i的特征， f(zj)表示帧节点j的 特征。 6.如权利要求1所述的一种 小样本视频异常行为分类方法， 其特征在于： 所述特征提取 网络包括RestNet ‑50卷积网络 。 7.如权利要求1所述的一种 小样本视频异常行为分类方法， 其特征在于， 所述特征提取 网络采用的损失函数为： 式中， cn表示第n个视频的类别标签， ym表示第m个视频的旋转角 度标签， pn表示所述特 征提取网络预测得到的类别概率值， pm表示所述特征提取网络预测得到的旋转角度概率 值， γ表示自监 督损失对总损失的贡献度， N表示视频总数。 8.一种小样本 视频异常行为分类系统， 其特 征在于， 所述系统包括： 数据采集模块， 用于采集Ki netics数据集以及各类异常行为视频 数据集； 模型建立模块， 用于建立由特征提取网络和图生成模块构成的自监督图神经网络模 型； 模型预训练模块， 用于在Kinetics数据集上预训练所述特征提取网络， 得到预训练好 的特征提取网络； 还用于基于所述预训练好的特征提取网络， 利用所述Kinetics数据集预 训练所述图生成模块， 以实现所述自监 督图神经网络模型的预训练； 模型微调模块， 用于将各类异常行为视频数据集输入预训练好的自监督图神经网络模 型进行微调训练， 得到微调好的自监 督图神经网络模型。 9.一种计算机设备， 其特征在于： 包括处理器和存储器， 所述处理器与所述存储器相 连， 所述存储器用于存储计算机程序， 所述处理器用于执行所述存储器中存储的计算机程 序， 以使得 所述计算机设备 执行如权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于： 所述计算机可读存储介质中存储有计算机 程序， 当所述计算机程序被运行时， 实现如权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115512269 A 3