(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211273301.2 (22)申请日 2022.10.18 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 田玲　闫科　高辉　唐乾轲　 李帏韬　 (74)专利代理 机构 成都希盛知识产权代理有限 公司 512 26 专利代理师 陈泽斌 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/40(2022.01)G06N 3/08(2006.01) (54)发明名称 一种基于视觉语义约束的生成零样本学习 方法 (57)摘要 本发明涉及计算机视觉中的图像 分类领域， 其公开了一种基于视觉语义约束的生成零样本 学习方法， 其首先提取已知类的图像视觉特征和 属性语义特征以及未知类属性的语义特征， 建立 生成器基于已知类语义特征生成的生成特征同 已知类和未知类 之间的视觉语义约束， 构建基于 视觉语义约束的生成对抗网络， 训练获得生成 器； 然后， 利用训练好的生成器， 获得未知类生成 特征； 最后， 将未知类生成特征融入已知类特征 集中， 对零样本分类器进行训练， 其通过提高未 知类生成特征的质量， 提升模型对 未知样本的识 别准确率。 适用于濒危动物识别、 安检预测、 人脸 验证和故障诊断等领域的零样本学习。 权利要求书3页 说明书7页 附图1页 CN 115471712 A 2022.12.13 CN 115471712 A 1.一种基于 视觉语义约束的生成零样本学习方法， 其特 征在于， 包括以下步骤： A、 训练零样本分类 器模型； A1、 数据准备 构建训练数据集， 所述训练数据集的样本包括已知类样本和未知类样本， 所述已知类 样本包括图像及其类别的属性和标签， 所述未知类样本包括类别的属性和标签； 基于已知类样本， 根据图像提取视觉特征xi， 根据类别属性提取语义特征yi； 基于未知 类样本， 根据类别属性 提取语义特 征 A2、 构建生成对抗网络， 基于已知类样本对生成对抗网络进行训练， 获得完成训练的生 成器； 且， 构建生成器所生成的生成特征同已知类样本之间以及未知类样本之间的视觉语 义约束， 对生成器的训练过程进行约束； A3、 基于未知类样 本的语义特征 输入到完成训练的生 成器G中， 生成未知类的视觉特 征 然后， 将生成的未知类的视觉特征 与提取的已知类的视觉特征xi进行合并， 获得训 练数据集的完整的视觉特征集V； 或者， 基于已知类样本的语义特征yi和未知类样本的语义 特征 输入到完成训练的生成器G中， 生成视觉特征vn， 获得训练数据集的完整的视觉特征 集V； A4、 利用训练数据集样本的视觉特征及其标签， 对分类器进行训练， 获得完成训练的分 类器； B、 基于完成训练的分类 器， 执行检测任务： 提取待检测图像的视觉特征， 输入至完成训练的分类器进行图像分类， 输出该图像的 类别标签。 2.如权利要求1所述的一种基于视觉语义约束的生成零样本学习方法， 其特征在于， 步 骤A2中， 对生成对抗网络的训练， 包括： A21、 由生成器G根据已知类的语义特征yi， 得到生成特征 固定生成器G的参数， 根据 生成特征 获得最大化 鉴别器D的训练损失， 对鉴别器D进行反向传播训练； A22、 由生成器G根据已知类的语义特征yi， 得到生成特征 固定鉴别器D的参数， 根据 生成特征 获得最小化生成器G的训练损失， 并在视觉语义约 束的约束下， 对生成器G进行 反向传播训练； A23、 重复步骤A2 1‑A22， 直至生成对抗网络收敛或达到预设的训练轮次， 得到完成训练 的生成器。 3.如权利要求2所述的一种基于 视觉语义约束的生成零样本学习方法， 其特 征在于， 步骤A21中， 鉴别器D的损失函数为： 其中， 表示最大化鉴别器D的训练损失， E表示数学期望， λ为权重系数， xi为根据第i 个已知类图像提取的视觉特征xi， yi为根据第 i个已知类图像的类别属性提取的语义特征， 为由生成器根据语义特征yi所获得的生成特征， 为鉴别器D期望的二范数，权　利　要　求　书 1/3 页 2 CN 115471712 A 2为视觉特征xi和生成特 征 之间的插值。 4.如权利要求2所述的一种基于 视觉语义约束的生成零样本学习方法， 其特 征在于， 步骤A22中， 生成器G的损失函数为： 其中， 表示最小化生成器G的训练损失， E表示数学期望， yi为根据第i个已知类图像 的类别属 性提取的语义特征， 为由生成器根据语义特征yi所获得的生成特征， Lvs为生成 器的生成特 征同已知类样本之间以及未知类样本之间的视 觉语义约束， γ为超参数。 5.如权利要求1～4任一项所述的一种基于视觉语义约束的生成零样本学习方法， 其特 征在于， 步骤A2中， 生成器所生成的生成特征同已知类样本之间以及未知类样本之间的视 觉语义约束为： Lvs＝Ls+Lu 上述Ls为生成特征与已知类样本之间的视 觉语义约束， 计算公式如下： 其中， δ为超参数， 为由生成器根据第i个已知类类别属性的语义特征yi所获得的生 成 特征， 为第i个已知类类别的视觉特征中心， 为从 以外的其他已知类类别的视觉特征 中心中随机 选取的一个视 觉特征中心， ‖·‖2表示二范数； 上述Lu为生成特征与未知类样本之间的视 觉语义约束， 并按如下公式获得 其中， δ为超参数， 为由生成器根据第i个已知类类别属性的语义特征yi所获得的生成 特征， 为第i个已知类类别的视觉特征 中心， 为由生成器根据随机选取的一个未知类类 别属性的语义特 征 所获得的生成特 征， ‖·‖2表示二范数。 6.如权利要求5任一项所述的一种基于视觉语义约束的生成零样本学习方法， 其特征 在于， 按如下公式计算类别的视 觉特征中心 其中， p为已知类中第i个 类别的样本数， xj为该类别中第j个图像的视 觉特征。 7.如权利要求1～4任一项所述的一种基于视觉语义约束的生成零样本学习方法， 其特 征在于， 步骤A3中， 遍历 各个未知类样本的语义特征 分别输入到完成训练的生成器G中， 生成未知类的视觉特征 然后， 将生成的未知类的视觉特征 与提取的已知类的视觉特征 xi进行合并， 获得训练数据集的完整的视 觉特征集V。 8.如权利要求1～4任一项所述的一种基于视觉语义约束的生成零样本学习方法， 其特 征在于， 步骤A4， 分类 器为Softmax分类 器， 对分类 器进行训练， 其损失函数为：权　利　要　求　书 2/3 页 3 CN 115471712 A 3