(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211245726.2 (22)申请日 2022.10.12 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市江北新区宁六 路219号 (72)发明人 张小瑞　解其健　孙伟　张小娜　 宋爱国　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/62(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于轻量化OpenPose时空图网络的行为检 测方法 (57)摘要 本发明公开了基于轻量化OpenPose时空图 网络的行为检测方法， 包括以下步骤： (1)收集数 据集， 将图像预处理； (2)将数据集送入轻量化 OpenPose网络， 获取人体骨 架序列； (3)将人体骨 架序列送入DST ‑GCN网络， 从空间和时间维度提 取空间结构特征和时间轨迹特征， 形成高级时空 特征； (4)使用Softmax分类器将高级时空特征其 分类为相应的动作类别； (5)判断测试图像的动 作类别。 本发明先对OpenPose进行轻量化， 提高 模型检测的实时性， 同时对S T‑GCN采用稠密连接 机制进行改进， 提高时空卷积层的长距离关联信 息提取能力， 提高判断准确率。 权利要求书2页 说明书3页 附图1页 CN 115546894 A 2022.12.30 CN 115546894 A 1.基于轻量 化OpenPose时空图网络的行为检测方法， 其特 征在于， 包括以下步骤： (1)收集数据集， 将图像预处 理； (2)将数据集送入轻量 化OpenPose网络， 获取 人体骨架序列； (3)将人体骨架序列送入DST ‑GCN网络， 从空间和时间维度提取空间结构特征和时间轨 迹特征， 形成高级时空特 征； (4)使用Softmax分类 器将高级时空特 征分类为相应的动作类别； (5)判断测试图像的动作类别。 2.根据权利要求1所述的基于轻量化OpenPose时空图网络的行为检测方法， 其特征在 于， 所述步骤(2)包括： (2.1)获取输入轻量 化OpenPose网络的数据的特 征； (2.2)特征提取后送入OpenPose模型的预测层， 获取人体关键点的热力图以及不 同关 键点之间的亲和力， 融合后得到人体骨架序列； 将预测层中的7x7卷积结构替换为由1x7卷 积、 7x1卷积与7x 7卷积三个卷积并联的结构， 该三个卷积的输出经过BN操作后进行融合， 同 时在并联 卷积层前采用一个1x1卷积来压缩输入并联 卷积层的特 征图通道数目。 3.根据权利要求1所述的基于轻量化OpenPose时空图网络的行为检测方法， 其特征在 于， 所述轻量化OpenPose网络采用MobileNet  V1网络替换OpenPose模型中的VGG  19网络， 并移除MobileNet  V1网络中conv4_2/dw层的步幅， 将扩张参数值设置为2， 且轻量化 OpenPose网络仅采用Mobi leNet V1网络第一层到 conv5_5层。 4.根据权利要求1所述的基于轻量化OpenPose时空图网络的行为检测方法， 其特征在 于， 所述步骤(3)中DST ‑GCN网络采用稠密连接机制， 将九层时空图卷积层设计为两个稠密 块， 前五层为一个稠密块， 后四层为一个稠密块， 在每一个稠密块中， 每一层时空图卷积都 与前面所有的时空图卷积进行连接， 跨层将特征在通道上进行拼接， 在两个稠密块之间设 计一个过渡层来控制模型复杂度， 通过1 ×1的卷积层来降低通道数， 并使用步幅为2的平均 池化层减半特 征图的高和宽 。 5.根据权利要求1所述的基于轻量化OpenPose时空图网络的行为检测方法， 其特征在 于， 步骤(4)所述Softmax分类器使用二个全连接层， 第一个全连接层将维度从256降至64， 同时使用dropout防止过拟合， 第二个全连接层将维度降低至类别数， 输出 行为分类结果。 6.根据权利要求1所述的基于轻量化OpenPose时空图网络的行为检测方法， 其特征在 于， 采用二分类交叉熵损失函数， 加入L2正则项， 使用Adam优化器训练最优模型， 其中包含 L2正则化的目标损失函数为： 其中， L为目标损失函数， a为样本下标， m为样本数， 为样本标签， 正类为1， 负类为0， ya 为预测为 正的概率， λ ‖ θ ‖2为L2正则项, θ表示特 征系数， λ为用户指定系数。 7.根据权利要求1所述的基于轻量化OpenPose时空图网络的行为检测方法， 其特征在 于， 步骤(5)所述测试阶段， 选取一段监控视频， 首先通过轻量化OpenPose获取监控视频中 人体目标的骨架序列， 并送入DST ‑GCN通过图卷积与时间卷积提取骨架序列高层次的时空 特征图， 然后 将时空特征图送入分类器进 行分类， 输出摔倒与非摔倒的概率， 概率高的为判权　利　要　求　书 1/2 页 2 CN 115546894 A 2断结果。 8.基于轻量化OpenPose时空图网络的行为检测装置， 包括存储器、 处理器及存储在存 储器上并可在处理器上运行 的计算机程序， 其特征在于， 所述计算机程序被加载至处理器 时实现根据权利要求1 ‑7任一项所述的基于轻量 化OpenPose时空图网络的行为检测方法。权　利　要　求　书 2/2 页 3 CN 115546894 A 3