(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211184768.X (22)申请日 2022.09.27 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 于茜　安梓睿　于靖博　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06T 11/00(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于手绘的多类别对象级自然图像生 成方法 (57)摘要 本发明公开了一种基于手绘的多类别对象 级自然图像生成方法， 包括以下步骤， 获取多类 别对象级初始 手绘以及对应的类别标签； 根据所 述初始手绘和所述类别标签， 对 预先构建的图像 生成模型进行训练； 所述训练步骤包括： 将所述 初始手绘和其对应的类别标签输入至条件编码 器中进行编码， 得到预测隐空间向量； 将所述预 测隐空间向量和相同的类别标签输入至预训练 生成器模型生成对应类别的自然图像预测结果， 根据所述预测结果判断模型收敛情况； 将实际手 绘输入至训练好的图像生 成模型中， 生成自然图 像； 本发明通过预训练的生成器， 解决了小规模 训练数据集的图像域先验知识不足的问题。 权利要求书2页 说明书9页 附图3页 CN 115496824 A 2022.12.20 CN 115496824 A 1.一种基于手绘的多类别对象级自然图像生成方法， 其特 征在于， 包括以下步骤， 获取多类别对象级初始手绘以及对应的类别标签； 根据所述初始手绘和所述类别标签， 对预先构建的图像生成模型进行训练； 所述训练 步骤包括： 将所述初始手绘和其对应的类别标签输入至条件编码器中进行编码， 得到预测 隐空间向量； 将所述预测隐空间向量和相同的类别标签输入至预训练生成器模型生成对应 类别的自然图像预测结果， 根据所述预测结果判断模型收敛情况； 训练至模型收敛； 将实际手绘输入至训练好的所述图像生成模型中， 生成自然图像。 2.根据权利要求1所述的一种基于手绘的多类别对象级自然图像生成方法， 其特征在 于， 所述训练步骤 还包括： 将所述自然图像输入至图像 ‑手绘转译网络， 输出重建手绘； 根据 所述初始手绘与所述 重建手绘， 计算形状损失， 约束所述自然图像忠实于所述初始手绘的形状特 征。 3.根据权利要求2所述的一种基于手绘的多类别对象级自然图像生成方法， 其特征在 于， 所述训练步骤 还包括： 所述预训练生成器模型固定； 所述条件编码器根据真实隐空间向量和所述预测隐空间向量采用预设的第一损失函 数计算向量重 建损失， 并进行参数更新； 所述图像 ‑手绘转译网络采用预设的第二损失函数 计算形状损失， 并进行参数 更新。 4.根据权利要求3所述的一种基于手绘的多类别对象级自然图像生成方法， 其特征在 于， 所述训练步骤还包括： 使用真实手绘 ‑图像数据集进行调优， 即利用该数据集作为训练 数据集， 使用预设的调优损失函数和所述第二损失函数分别对所述条件编码器E和所述图 像‑手绘转译网络S的参数进行优化。 5.根据权利要求4所述的一种基于手绘的多类别对象级自然图像生成方法， 其特征在 于， 所述第一损失函数为： 其中， 所述第二损失函数为： 所述调优损失函数为： 其中， zGT为隐空间向量， xGT为训练图像， s为输入手绘， y为类别标签， E为条件编码器， S 为图像‑手绘转译网络， G为预训练图像生成器， F为预训练特征提取网络， λimage、 λimage和、 λimage为模型训练参数。 6.根据权利要求1所述的一种基于手绘的多类别对象级自然图像生成方法， 其特征在 于， 所述条件编码器包括输入层、 多个残差块、 卷积层、 下采样层和线性投影层； 所述输入 层、 多个残差块、 卷积层、 下采样层和所述线性投影层依次连接；权　利　要　求　书 1/2 页 2 CN 115496824 A 2通过所述残差块对所述输入层输入的所述初始手绘和所述类别标签进行归一 化； 依次通过 所述卷积层、 所述下采样层和所述线性投影层， 输出 预测隐空间向量。 7.根据权利要求6所述的一种基于手绘的多类别对象级自然图像生成方法， 其特征在 于， 通过所述残差块对所述输入层输入的所述初始手绘和所述类别标签进行归一化， 步骤 包括： 获取输入向量和所述类别标签； 其中， 所述输入向量为所述初始手绘或由所述残差块 输出的中间向量； 通过1×1卷积层对所述输入向量进行特征提取， 得到第一特征向量； 对所述第一特征 向量使用最大池化层进行 下采样， 得到第一采样向量； 通过三层线性投影层对所述类别标签分别进行投影， 对应得到增益 参数和偏差参数； 通过1×1卷积层对所述输入向量进行 特征提取得到第二特 征向量。 根据第一层线性投影层输出的所述增益参数和所述偏差参数对所述第二特征向量进 行条件批量归一 化， 并经过激活函数， 得到第三特 征向量； 通过3×3卷积层对所述第 三特征向量进行特征提取， 缩小特征图的尺寸为所述第二特 征向量的1/2， 增 加特征向量的通道深度为所述第二特 征向量的2倍， 得到第四特 征向量； 根据第二层线性投影层输出的所述增益参数和所述偏差参数对所述第四特征向量进 行批量归一 化， 并经过激活函数， 得到第五特 征向量； 通过1×1卷积层对所述第五特 征向量进行 特征提取， 得到第六 特征向量； 根据第三层线性投影层输出的所述增益参数和所述偏差参数对所述第六特征向量进 行批量归一化， 并与所述第一采样向量进 行相加后， 由激活函数进 行激活， 得到所述中间向 量。 8.根据权利要求1所述的一种基于手绘的多类别对象级自然图像生成方法， 其特征在 于， 所述图像 ‑手绘转译网络包括， 多个上采样残差模块和多个下采样残差模块和1个1 ×1 卷积层； 其中， 多个所述上采样残差模块和多个所述下采样残差模块以及所述1 ×1卷积层 依次连接 。 9.根据权利要求8所述的一种基于手绘的多类别对象级自然图像生成方法， 其特征在 于， 所述上采样模块的残差网络由一个1 ×1卷积层和一个平均池化层构成； 所述上采样模块的主干网络接由两个3 ×3卷积层组成； 其中， 在输入所述3 ×3卷积层 之前， 经过激活函数层进行激活； 在每 个所述3×3卷积层之后接有一个谱 归一化层。 10.根据权利要求8所述的一种基于手绘的多类别对象级自然图像生成方法， 其特征在 于， 所述下采样模块的残差网络由上采样层和1 ×1卷积层连接构成； 所述下采样模块的主干网络由激活函数层、 上采样层、 3 ×3卷积层、 批量归一化层、 激 活函数层、 3 ×3卷积层和批量归一 化层依次连接构成。权　利　要　求　书 2/2 页 3 CN 115496824 A 3