(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211222059.6 (22)申请日 2022.10.08 (71)申请人 杭州韵度信息科技有限公司 地址 310000 浙江省杭州市萧 山区闻堰街 道三江汇谷18-1-2 (72)发明人 韦小伟　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 吴琰 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 访客管理系统及其方法 (57)摘要 公开了一种访客管 理系统及其方法， 其通过 利用基于对抗生成网络的去遮挡生成器对所采 集访客的人脸图像进行去遮挡处理； 然后， 通过 包含深浅特征融合模块的卷积神经网络模型进 行图像特征的提取 以得到人脸特征图， 其中， 所 述人脸特征图的沿通道维度的各个特征矩 阵表 示各个人脸局部特征； 接着， 基于转换器思想， 对 所述各个人脸局部特征进行基于全局的上下文 语义编码以提取所述各个人脸局部特征的全局 关联特征， 最后通过分类器得到用于表示人脸识 别结果的分类结果。 这样， 可以提高访客人脸识 别的精准度， 以进行访客智能管理。 权利要求书2页 说明书13页 附图5页 CN 115512420 A 2022.12.23 CN 115512420 A 1.一种访客管理系统， 其特 征在于， 包括： 访客人脸图像采集模块， 用于获取由摄 像头采集的访客的人脸图像； 去遮挡模块， 用于将所述人脸图像通过去遮挡生成器以得到生成人脸图像； 卷积编码模块， 用于将所述生成人脸图像通过包含深浅特征融合模块的卷积神经网络 模型以得到人脸特 征图； 局部特征池化模块， 用于将所述人脸特征图的沿通道维度的各个特征矩阵进行基于行 向量方向或列向量方向的池化以得到多个人脸局部特 征向量； 优化模块， 用于对所述多个人脸局部特征向量中各个人脸局部特征向量进行优化以得 到多个优化人脸局部特 征向量； 全局编码模块， 用于将所述多个优化人脸局部特征向量排列为向量的序列后通过基于 转换器的上 下文编码器以得到人脸全局语义关联 特征向量； 和 访客识别结果生成模块， 用于将所述人脸全局语义关联特征向量通过分类器以得到分 类结果， 所述分类结果 为人脸识别结果。 2.根据权利要求1所述的访客管理系统， 其特征在于， 所述去遮挡生成器为对抗生成网 络。 3.根据权利要求2所述的访客管理系统， 其特 征在于， 所述卷积编码模块， 包括： 特征提取单元， 用于使用所述卷积神经网络模型的各层在层的正向传递中分别对输入 数据进行卷积处理、 池化处理和非线性激活处理以从所述卷积神经网络模 型的浅层提取浅 层特征图和从所述卷积神经网络模型的深层提取深层特 征图； 以及 融合单元， 用于将所述浅层特征图和所述深层特征图进行级联以得到所述人脸特征 图。 4.根据权利要求3所述的访客管理系统， 其特征在于， 所述卷积神经网络模型的浅层为 1‑6层， 所述卷积神经网络模型的深层为所述卷积神经网络模型的最后一层。 5.根据权利要求4所述的访客管理系统， 其特征在于， 所述局部特征池化模块， 进一步 用于： 将所述人脸特征图的沿通道维度的各个特征矩阵进 行基于行向量方向或列向量方向 的均值池化以得到所述多个人脸局部特 征向量。 6.根据权利要求5所述的访客管理系统， 其特征在于， 所述优化模块， 进一步用于： 使用 如下公式对所述多个人脸局部特征向量中各个人脸局部特征向量进行优化以得到所述多 个优化人脸局部特 征向量； 其中， 所述公式为： 其中， vi是所述人脸局部特征向量中各个位置的特征值， vi′是所述优化人脸局部特征 向量中各个位置的特征值， μ和σ 是所述人脸局部特征向量中所有位置的特征值集合的均值 和方差， ReLU()表示非线 性修正单元， Sigmoid()表示Sigmoid激活函数， exp( ‑σ )表示以所 述人脸局部特 征向量中所有位置的特 征集合的方差的负值 为幂的自然指数函数值。 7.根据权利要求6所述的访客管理系统， 其特 征在于， 所述全局编码模块， 包括： 上下文语义编码单元， 用于使用所述基于转换器的上下文编码器对由所述多个优化人 脸局部特征向量排列的向量的序列进行基于全局的上下文语义编码以得到多个人脸语义权　利　要　求　书 1/2 页 2 CN 115512420 A 2局部特征向量； 以及 级联单元， 用于将所述多个人脸语义局部特征向量进行级联以得到所述人脸全局语义 关联特征向量。 8.根据权利要求7所述的访客管理系统， 其特征在于， 所述访客识别结果生成模块， 进 一步用于： 使用所述分类器以如下公式对所述人脸全局语义关联特征向量进 行处理以生成 分类结果， 其中， 所述公式为： O＝softm ax{(Wn， Bn)： ...： (W1， B1)|X}， 其中X表示所述人脸全 局语义关联特征向量， W1至Wn为各层全连接层的权重矩阵， B1至Bn表示各层全连接层的偏置 向量。 9.一种访客管理方法， 其特 征在于， 包括： 获取由摄 像头采集的访客的人脸图像； 将所述人脸图像通过去遮挡生成器以得到生成人脸图像； 将所述生成人脸图像通过包含深浅特征融合模块的卷积神经网络模型以得到人脸特 征图； 将所述人脸特征图的沿通道维度的各个特征矩阵进行基于行向量方向或列向量方向 的池化以得到多个人脸局部特 征向量； 对所述多个人脸局部特征向量中各个人脸局部特征向量进行优化以得到多个优化人 脸局部特 征向量； 将所述多个优化人脸局部特征向量排列为向量的序列后通过基于转换器的上下文编 码器以得到人脸全局语义关联 特征向量； 和 将所述人脸全局语义关联特征向量通过分类器以得到分类结果， 所述分类结果为人脸 识别结果。 10.根据权利要求9所述的访客管理方法， 其特征在于， 所述将所述生成人脸图像通过 包含深浅特 征融合模块的卷积神经网络模型以得到人脸特 征图， 包括： 使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、 池化处理和非线性激活处理以从所述卷积神经网络模型的浅层提取浅层特征图和从所述 卷积神经网络模型的深层提取深层特 征图； 以及 将所述浅层特 征图和所述深层特 征图进行级联以得到所述人脸特 征图。权　利　要　求　书 2/2 页 3 CN 115512420 A 3