(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211232052.2 (22)申请日 2022.10.10 (71)申请人 动自由 （北京） 科技有限公司 地址 100000 北京市昌平区科技园区超前 路23号院C区2层2 25号 (72)发明人 葛杰　郭保琪　谭建昌　宗绪麟　 胡若彤　周永星　朱静朝　吕利涛　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 管高峰 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/20(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) (54)发明名称 一种人体姿态图像智能识别方法及系统 (57)摘要 本发明公开了一种人体姿态图像智能识别 方法及系统， 其中方法包括元学习样本预处理： 将人体动作采集公开数据集作为预训练数据集， 并对预训练数据集中的人体姿态 图像进行预处 理； 元学习模型构建： 构建姿态动作识别模型来 计算两个动作样本之间的距离， 分析匹配程度； 元学习模型训练： 使用预处理后的人体姿态图像 来训练姿态动作识别模型， 识别出难以区分的类 别记为难样本； 使用难样本作为输入再次训练； 目标姿态动作学习和识别： 使用训练后的姿态动 作识别模型学习支持集中目标类别的姿势动作， 并识别查询集中的姿态动作。 本发 明通过多任务 学习让姿态动作识别模型具备运动姿态的通用 学习能力， 只需要学习少量的标注样本就能识别 新类别的动作姿态。 权利要求书3页 说明书8页 附图5页 CN 115527269 A 2022.12.27 CN 115527269 A 1.一种人体姿态图像智能识别方法， 其特 征在于， 包括： 元学习样本预处理： 将人体动作采集公开数据集作为预训练数据集， 并对所述预训练 数据集中的人体姿态图像进行 预处理， 所述预处 理包括裁 剪、 翻转、 旋转和数据增强； 元学习模型构建： 构建姿态动作识别模型来计算两个动作样本之间的距离， 分析匹配 程度； 所述姿态动作识别模型包括嵌入模块和关系模块， 所述嵌入模块用于计算成对动作 样本的特征图， 并将得到的特征图在通道深度维度上进行串联组合操作， 所述关系模块基 于特征图计算成对动作样本属于同一类别的概 率， 记为相似关系分数； 元学习模型训练： 使用所述预训练数据集中预处理后的人体姿态图像来训练所述姿态 动作识别模型， 然后用所述姿态动作识别模型识别出难以区分的类别， 即相似关系分数高 的类别， 记为难样本； 使用所述难样本作为输入， 再次训练所述姿态动作识别模型， 以区分 之前难以区分的类别； 目标姿态动作 学习和识别： 使用训练后的所述姿态动作识别模型学习支持集中目标类 别的姿势动作， 并识别查询集中的姿态动作； 所述支持集为待识别的动作分类图像， 每一类 包括少量标记样本， 所述 查询集为待识别的人体姿态图像。 2.根据权利要求1所述的人体姿态图像智能识别方法， 其特征在于， 所述元学习 模型构 建包括以下步骤： S201.使用Openpose 人体姿态 识别模型识别出目标 人物的若干个关节点； S202.获取每个关节点的特征， 并获取每个关节点与其邻近两个关节点形成的三角形 基元的特 征， 并使用串联组合操作将这些 特征进行组合； S203.使用MLP即多层感知机网络挖掘以上 特征的深度特 征； S204.将所有关节点特征通过最大池化层组合， 得到人体姿态图像的特征表示， 再基于 特征表示计算成对动作样本属于同一类别的概 率， 从而得到相似关系分数。 3.根据权利要求1所述的人体姿态图像智能识别方法， 其特征在于， 所述相似关系分数 的计算方法包括： 式中， Scorei,j指样本i与样本j之间的相似关系分数， 指经过嵌入模块处理后得到的 特征映射， Comb指串联组合操作， 指经过关系模块处 理。 4.根据权利要求1所述的人体姿态图像智能识别方法， 其特征在于， 所述元学习 模型训 练包括以下步骤： S301.对所述预训练数据集使用Openpose 人体姿态 识别模型 得到关节点图； S302.对所述预训练数据集通过小样本学习方法的n ‑way k‑shot方式归类划分， 得到 动作元学习的任务集， 每个任务是采样两张图片并利用所述姿态动作 识别模型识别是否归 属同一类别； 初始化所述姿态动作识别模型参数 S303.计算目标损失函数 使得所有任务的总的损失最小， 其中N 指小任务的个数， 指网络参数学习到第n个小任 务时的参数， ln指以 为参数的小任 务n 的损失函数；权　利　要　求　书 1/3 页 2 CN 115527269 A 2S304.将训练好的姿态动作识别模型作为难样本选择器， 选择出难以区分的类别即难 样本； S305.将难样本作为输入再次执行步骤S301～S303， 重新训练得到一个姿态动作识别 模型， 新模型参数的初始化 为步骤S303更新结束后对应模型的参数； S306.保存最终输出的姿态动作识别模型。 5.根据权利要求4所述的人体姿态图像智能识别方法， 其特征在于， 步骤S303包括以下 子步骤： S3031.随机采样一个任务 n， 得到该任务中每对样本的相似关系分数； S3032.进行多次梯度下降和反向参数 更新， 得到该任务下的优化 参数θn； S3033.利用 θn的方向来更新 参数 到 S3034.采样新任务， 循环步骤S3 031～S3033， 直到无新任务或误差低于预设值 为止。 6.根据权利要求1所述的人体姿态图像智能识别方法， 其特征在于， 所述目标姿态动作 学习和识别包括以下步骤： S401.建立支持集特 征库； S402.对支持集特征库的每个目标类别中所有样本的嵌入向量进行平均， 并进行归一 化， 得到目标类别的代 表向量； S403.将每个目标类别的代表向量转置后放入softmax函数的权值矩阵W的每一行， 作 为权值向量的初始值； S404.利用交叉熵对权值矩阵W进行微调； S405.将待识别的查询样本经过预处理和提取关节点特征后， 将特征输入所述姿态动 作识别模 型， 得到查询样 本的特征向量x， 再利用微调好的权值矩阵W和Softmax 预测头来预 测查询样本所属类别。 7.根据权利要求6所述的人体姿态图像智能识别方法， 其特征在于， 步骤S401包括以下 子步骤： S4011.使用Op enpose人体姿态识别模型得到关节点图， 再处理得到支 持集的关节点特 征图集； S4012.将支持集关节点特征图集输入到所述姿态动作识别 模型的嵌入模块， 得到关节 点特征图集的特 征向量集合； S4013.将类别作为索引建立支持集特 征库。 8.根据权利要求7所述的人体姿态图像智能识别方法， 其特征在于， 步骤S404包括以下 子步骤： S4041.在支持集中任取一张图片； S4042.从支持集特 征库中检索到该图片的嵌入特 征向量x； S4043.利用p＝softmax(Wx+b)计算预测的概 率分布， 其中b为偏置； S4044.利用该图片的标注计算实际的o ne‑hot向量； S4045.计算实际和预测的概 率分布的交叉熵Cros sEntropy(x)； S4046.利用概率分布p计算熵正则化指标 ‑p(x)log(p(x))， 使得输出的概率不确定度 减小； S4047.求 解最优化问题：权　利　要　求　书 2/3 页 3 CN 115527269 A 3