(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211233140.4 (22)申请日 2022.10.10 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 (72)发明人 程世超　张建海　周俊哲　刘华圣　 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种密集人群环境中的特定行为识别方法 (57)摘要 本发明公开了一种密集人群环境中的特定 行为识别方法， 包括如下步骤： S1、 数据集获取， 所述数据集包括行人检测数据集和行为识别数 据集； S2、 数据集预处理； S3、 将预处理后的行人 检测数据集中的图像输入至特征图金字塔网络 提取出对应的特征， 在通过区域生成 网络生成候 选区域以及该候选区域的类别信息； S4、 使用极 大值抑制算法去 除重叠目标； S5、 基于残差网络 的分类识别网络进行特定行为目标的识别； S6、 训练分类识别网络的网格参数； S7、 通过步骤S6 得到最优网格参数， 并导入分类识别网络中， 通 过行为识别数据集进行测试。 该方法对密集人群 这一特殊环 境， 通过融合检测与识别任务的两阶 段， 实现密集人群环境中特定行为的检测识别任 务。 权利要求书2页 说明书5页 附图2页 CN 115527270 A 2022.12.27 CN 115527270 A 1.一种密集人群环境中的特定行为识别方法， 其特 征在于， 包括如下步骤： S1、 数据集获取， 所述数据集包括行 人检测数据集和行为识别数据集； S2、 数据集预处 理 S2‑1、 在不丢失图像信息的前提下， 将数据集尺寸统一化， 使用ImageNet训练集抽样计 算得到图像数据并进行归一 化； S2‑2、 对归一化后得到的图像 中行人是否有某个特定行为进行标签标记， 0为存在特定 行为， 1为 不存在特定行为； S3、 将预处理后的行人检测数据集中的图像输入至特征图金字塔网络提取出对应的特 征， 在通过区域 生成网络生成候选区域以及该候选区域的类别 信息； S4、 使用改进的极大值抑制算法去除重 叠目标； S5、 基于残差网络的分类识别网络进行 特定行为目标的识别 S6、 训练分类识别网络的网格参数； S7、 通过步骤S6得到最优网格参数， 并导入分类识别网络中， 通过行为识别数据集进行 测试。 2.根据权利要求1所述的密集人群环境中的特定行为识别方法， 其特征在于， 所述行人 检测数据集使用针对拥挤场景的Cr owdHuman数据集； 所述行为识别数据集通过自行拍摄行 人密集的交通场景 得到。 3.根据权利要求1所述的密集人群环境中的特定行为识别方法， 其特征在于， 所述步骤 S3中采用了RoI  Align的特征图金字塔网络， 通过特征图金字塔网络的高层特征进行上采 样和低层特 征进行自顶向下的连接， 并每一层进行 预测得到对应的特 征。 4.根据权利要求1所述的密集人群环境中的特定行为识别方法， 其特征在于， 所述步骤 S3中采用了RPN区域生 成网络生 成候选区域以及该候选区域的类别信息， 方法为： 首先生成 锚框， 判断每个锚框为包含物体的前景或者是背景并进行二分类， 使用边界框回归对锚框 进行微调， 使得筛 选出的锚框和真实框更加接 近。 5.根据权利要求4所述的密集人群环境中的特定行为识别方法， 其特征在于， 所述步骤 S3中， 对于生成候选区域， 使用带有参数 K的检测函数 预测一个实例集， 表达式如下： G(bi)＝{gj∈G|IOU(bi,gj)≥θ }                   (1) 其中bi表示第i项候选区域proposal  box， G(bi)表示与bi对应的一组真实实例集 ground truth集合， G表示所有的ground  truth boxes集合， K代表候选框 中实例的最大个 数， 表示G(bi)的最大基数， P(bi)是一个预测实例集， ci是类置信度标签， li是对应的位置， θ 是给定的联合交集比率的阈值。 6.根据权利要求5所述的密集人群环境中的特定行为识别方法， 其特征在于， 所述步骤 S4的具体方法为： 通过步骤S 3得到的多个候选区域中选择其中一个置信度最大的作为第一 边界框， 然后 从剩余候选区域中选择一个作为第二边界框， 如果两边界框来自同一个候选 区域， 则跳过抑制步骤， 否则， 通过极大值抑制算法计算两个边界框的联合交集比率的值， 如果其值大于阈值， 则将该第二边界框剔除， 然后再依次对剩余候选区域重复上述操作， 直 到所有候选区域遍历完成， 确定最终的候选区域。权　利　要　求　书 1/2 页 2 CN 115527270 A 27.根据权利要求1所述的密集人群环境中的特定行为识别方法， 其特征在于， 所述分类 识别网络包括第一阶段检测网络和 第二阶段分类网络， 所述第一阶段检测网络使用三层全 连接的卷积神经网络进 行初步分类， 将 检测出概率大于0.1的目标则直接 分到玩手机类别， 概率小于0.1的目标设为待定； 所述第二阶段分类网络使用三层两个神经元的ResNet ‑50框 架网络对待定目标进行进一 步分类。 8.根据权利要求7所述的密集人群环境中的特定行为识别方法， 其特征在于， 所述步骤 S6中， 所述第 一阶段检测网络的θd参数的训练， 使用推图距离函数EMD最小化预测集和P(bi ( θd))与bi对应的ground  truth实例集G(bi)之间的距离， 表达式如下： 其中， π代表一个特定排列(1、 2、 ……K)， 第k项为πk， 是第k项πk的真实实例 ground truth box， Lcls(·)和Lreg(·)分别表示分类损失和框的回归损失， ci是类置信度 标签， li是对应的位置， R是Smo oth L1损失函数。 9.根据权利要求7所述的密集人群环境中的特定行为识别方法， 其特征在于， 所述步骤 S6中， 所述第二阶段识别网络的θc和 θR参数的训练， 使用交叉熵损失函数计算θc参数， 表达式如下： 其中， y是网络的输出向量； 其中， x是网络的输出向量， clas s是真实标签。权　利　要　求　书 2/2 页 3 CN 115527270 A 3