(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211206803.3 (22)申请日 2022.09.30 (71)申请人 华东师范大学 地址 200062 上海市普陀区中山北路3 663 号 (72)发明人 金博　王子阳　王祥丰　朱骏　 (74)专利代理 机构 上海交达专利事务所 31201 专利代理师 王毓理　王锡麟 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/08(2006.01) (54)发明名称 基于无监督下帧相关性的视频时间序列的 异常帧探测方法 (57)摘要 一种基于无监督下帧相关性的视频时间序 列的异常帧探测方法， 通过构建包含正常视频和 伪异常视频的训练对； 对训练对中的视频帧进行 语义编码和位置编码， 得到具有时序信息的降维 特征， 根据编码后的特征进行相关性计算得到视 频帧的全局相关性和局部相关性； 本发明两种注 意力分布图， 通过类比人类判断异常的过程， 实 现基于视频窗口内部的同类类比的异常检测流 程， 通过对比注意力分布图进而得到目标序列的 每一帧的异常分数。 其中： 在每种目标分布图中 根据实际特点， 构造两类EM算法式的单循环内迭 代更新， 再用重建损失和k ‑min‑max规则对异常 模型进行修正， 从而获得正常样 本所具有和隐含 模式， 当推理阶段输入是异常时， 可以实现精准 异常值检测。 权利要求书2页 说明书6页 附图2页 CN 115546689 A 2022.12.30 CN 115546689 A 1.一种基于无监 督下帧相关性的视频时间序列的异常帧探测方法， 其特 征在于， 包括： 步骤一： 获取多个连续的正常视频序列作为训练集， 剔除其中过曝， 幻影等质量不佳的 片段； 步骤二： 对于步骤一处理后的正常视频， 抽取其中与其场景不同的其他正常视频中的 片段， 替换为正常视频中的同长度片段， 构成伪异常视频， 形成的伪异常视频和正常视频 组 成训练对； 步骤三： 使用卷积网络 分别提取伪异常视频和正常视频的语义特征， 并计算位置特 征， 将语义特 征和位置特 征相加得到伪异常视频和正常视频的训练特 征； 步骤四： 将伪异常训练特征和正常训练特征输入全局特征和局部特征模型得到全局特 征， 通过相关性约束损失函数 约束伪异常视频和正常视频的局部特征， 通过正常视频的 全局相关性损失函数 约束正常视频的全局特征， 通过伪异 常视频全局相关性损失函数 约束伪异常视频的全局特 征； 步骤五： 使用k ‑min‑max规则筛选伪异常视频和正常视频的全局特征， 将选出的视频帧 的特征通过铰链损失函数L ossdis约束全局特 征； 步骤六： 将步骤五选出的视频帧的特 征输入训练打 分器模型fγ， 得到全局特 征； 步骤七： 通过全局特征构建正常视频和伪异常视频的重建项， 将重建项输入全局特征 和局部特征模型并重复步骤四 ‑步骤六， 直到循环 次数达到预设模型层数l， 实现全局特征 和局部特征模型的训练； 步骤八： 在 在线阶段， 采用训练后的全局特 征和局部特征模型进行异常帧探测。 2.根据权利要求1所述的异常帧探测方法， 其特征是， 所述的伪异常视频， 通过正常视 频段构造异常视频段： 使用其他场景下 的正常视频片段替换当前场景下 的视频片段， 构造 伪异常视频F＝[x1,x2,x3,…,xj‑1,g1,g2,g3,…,gm,xj+m,…,xk]， 其中： k为正常视频长度， 其 中： 第j帧到j+m ‑1帧被替换为,[g1,g2,g3,…,gm]， 记录异常的位置； 所述的正常视频段是指： 将输入 的原始视频通过ffmpeg分解成若干帧作为原数据， 对 原数据删除过 曝， 幻影等图像质量较差的图片； 对原始图片按照预设的时间窗口和 步长分 解成若干时间窗口， 每一个视频片段将会产生 个视频片段， 达到数据增广的作用， 单 视频所得视频片段为F＝[[x1,x2,x3,…,xk],[x1+s,x2+s,x3+s,…,xk+s],…,[xT‑k+1,xT‑k+2, xT‑k+3,…,xT]]。 3.根据权利要求1所述的异常帧探测方法， 其特征是， 所述的语义特征， 即对训练对中 的视频帧进行语义编码和位置编码， 得到具有时序信息的降维特征， 根据编码后的特征进 行相关性计算得到视频帧的全局相关性和局部相关性， 具体包括： 其中： tk为视 频帧xk输入网络 得到， 即xk经过语义编码后的结果， 为卷积层， pk为位置编码 器的结果， 与xk具体向量值无关， 实现方式为一个三角函数特征编码器， 具体的， 其中s是帧的编号， i是特征的序号， 标识第s 帧特征第i维向量的值， k从1顺序增加到d/2， d表示xk的特征维度， 得到终提取出的特征为fk ＝pk+tk；权　利　要　求　书 1/2 页 2 CN 115546689 A 2所述的视频帧的全局相关性和局部相关性， 使用计算Q,K,Vσ的方式为： 其中： fl和上述表述相同为第l层模型的特征输出， N为视频段窗口大小， Q,K,V分别为注意力模型中的query,key,value， σ 为第i帧通过模型学到的正态分布的方差， 为第 l层对应未知项的模型参数， l为模型层数。 4.一种实现权利要求1 ‑3中任一所述基于无监督下帧相关性的视频时间序列的异常 帧 探测方法的异常帧探测系统， 其特征在于， 包括： 伪异常生成模块、 特征编码模块、 相关性计 算模块、 相关性约束模块、 k ‑min‑max约束模块和异常打分模块， 其中： 伪异常生 成模块根据 不同场景下 的正常视频信息， 进行视频重组处理， 得到伪异常视频和正常视频训练对及其 标注结果， 特征编码模块根据伪异常视频和正常视频， 进行语义编 码和位置编码处理， 得到 具有时序位置信息和语义信息的伪异常视频特征和正常视频特征， 相关性计算模块根据编 码后的特征， 利用注意力模型得到全局相关性特征， 通过拟合高斯分布得到局部相关性特 征， 相关性约束模块根据全局相关性特征和局部相关性特征， 进 行局部相关性特征约束， 正 常视频全局相关性约束和伪异常视频全局相关性约束， 得到更关注邻域的局部相关性特征 和更关注全域的全局相关性特征， k ‑min‑max约束模块根据相关性计算模块得到的全局相 关性特征， 使用铰链损失函数， 得到对伪异常敏感的全局相关性计算模型， 异常打分模块根 据根据正常视频和伪异常视频的全局相关性特征， 使用异常打分模型， 利用伪异常生成模 块获得的标注结果作为模型约束， 得到每一个视频帧的异常 打分。 5.根据权利要求4所述的系统， 其特征是， 所述的异常帧探测系统通过定义异常为视频 窗口中与其他帧相关性低的视频帧的方式， 使得使用正常视频帧构造伪异常具有可行性， 同时对正常视频和伪异常视频使用不同的约束条件， 最 终使得模型对于全局特征的学习可 以通用于不同视频中， 实现对于视频帧的异常判断， 与其他无监督视频异常检测方法比对 及各模块贡献效果见表， 指标为异常检测通用指标AUC 。权　利　要　求　书 2/2 页 3 CN 115546689 A 3