(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211195403.7 (22)申请日 2022.09.28 (71)申请人 青岛信芯微电子科技股份有限公司 地址 266100 山东省青岛市崂山区松岭路 399号 (72)发明人 宗志凯　查林　葛中峰　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 宋正伟 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/20(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/774(2022.01) (54)发明名称 超分图像重建方法、 生 成对抗网络模 型的训 练方法及装置 (57)摘要 本申请实施例提供了一种超分图像重建方 法、 生成对抗网络模型的训练方法及装置， 用以 解决现有技术中超分图像的重建方法中重建效 果不理想的问题。 本申请提供的方法包括： 获取 待处理图像； 对所述待处理图像进行特征提取， 以获得所述待处理图像的特征矩阵； 针对所述待 处理图像中的每个像素点从所述特征矩 阵中拆 分出M个滤波矩阵； 通过所述每个像素点分别对 应的所述M个滤波矩阵对所述待处理图像中的所 述每个像素点进行滤波得到所述每个像素点对 应的M个滤波值； 基于所述待处理图像中每个像 素点对应的M个滤波值对所述待处理图像进行上 采样处理， 以获得所述目标分辨 率的超分图像 。 权利要求书3页 说明书19页 附图7页 CN 115456881 A 2022.12.09 CN 115456881 A 1.一种超分图像重建方法， 其特 征在于， 包括： 获取待处 理图像； 对所述待处 理图像进行 特征提取， 以获得 所述待处 理图像的特 征矩阵； 针对所述待处理图像中的每个像素点从所述特征矩阵中拆分出M个滤波矩阵， M为超分 倍数的平方的倍数； 所述超分倍数为目标分辨率相比所述待处理图像的分辨率提升的倍 数； 所述特征矩阵的维数与所述待处理图像的分辨率、 超分倍数以及所述滤波矩阵的大小 相关； 通过所述每个像素点分别对应的所述M个滤波矩阵对所述待处理图像中的所述每个像 素点进行 滤波得到所述每 个像素点对应的M个滤波值； 基于所述待处理图像中每个像素点对应的M个滤波值对所述待处理图像进行上采样处 理， 以获得 所述目标分辨 率的超分图像。 2.如权利要求1所述的方法， 其特征在于， 所述特征矩阵的维数为所述待处理图像的分 辨率、 超分倍数的平方以及滤波矩阵大小的乘积的正整数倍。 3.如权利要求1或2所述的方法， 其特征在于， 所述对所述待处理图像进行特征提取， 以 获得所述待处 理图像的特 征矩阵， 包括： 将所述待处理图像输入生成对抗网络模型， 使得所述生成对抗网络模型中的生成网络 对所述待处 理图像进行 特征提取， 以获得 所述待处 理图像的特 征矩阵。 4.如权利要求3所述的方法， 其特征在于， 所述生成对抗网络模型是基于训练样本集训 练得到的， 所述训练样本集包括多个样本， 第一样本包括第一图像和第二图像， 所述第一图 像为所述第二图像经过降采样后获得的， 所述第二图像的分辨率大于所述第一图像的分辨 率， 所述第一样本为所述训练样本集中的任一样本 。 5.如权利要求4所述的方法， 其特征在于， 所述生成网络模型还包括判别网络， 所述方 法还包括： 通过如下 方式训练所述 生成对抗网络模型： 将所述第一样本 中的第一图像输入所述生成网络， 通过所述生成网络对所述第 一图像 进行特征提取， 以获得 所述第一图像的特 征矩阵； 针对所述第一图像中的每 个像素点从所述特 征矩阵中拆分出M个滤波矩阵； 通过所述每个像素点分别对应的所述M个滤波矩阵对所述第 一图像中的所述每个像素 点进行滤波得到所述每 个像素点对应的M个滤波值； 基于所述第一图像中每个像素点对应的M个滤波值对所述第一图像进行上采样处理， 得到第一超分图像， 其中， 所述第一超分图像的分辨率与所述第一样本中的第二图像的分 辨率相同； 将所述第一超分图像和所述第 二图像输入所述判别网络中， 通过所述判别网络输出判 别结果， 所述判别结果用于表征所述第一超分图像包括的多个像素点分别被判定为所述第 二图像对应位置的像素点的概 率； 根据所述第一超分图像和所述第二图像之间的比对结果以及所述概率构造第一损失 函数， 根据所述第一损失函数调整所述生成网络的网络参数； 并根据所述概率构造第二损 失函数， 根据所述第二损失函数调整所述判别网络的网络参数， 以获得所述生成对抗网络 模型。权　利　要　求　书 1/3 页 2 CN 115456881 A 26.如权利要求5所述的方法， 其特征在于， 所述根据 所述第一超分图像和所述第 二图像 之间的比对结果以及所述 概率构造第一损失函数， 包括： 根据所述第一超分图像与所述第二图像之间的比对结果确定均方损失函数； 根据所述第 一超分图像对应的第 一特征矩阵， 以及所述第 二图像对应的第 二特征矩阵 构造感知损失函数， 所述第一特征矩阵通过卷积神经网络针对第一超分图像进行特征提取 得到， 所述第二特 征矩阵通过 所述卷积神经网络针对所述第二图像进行 特征提取得到； 根据所述 概率构造对抗损失函数； 将所述均 方损失函数、 所述感知损失函数和所述对抗损失函数进行加权获得所述第 一 损失函数。 7.如权利要求6所述的方法， 其特征在于， 所述均方损失函数满足如下公式所示的条 件： Lossl1＝‖ fθ(LR)‑HR‖1； 其中， Lossl1表示所述均方损失函数， fθ(LR)表示所述生成网络输出的所述第一超分图 像， HR表示所述第二图像， ‖ ·‖1表示1‑范数； 所述感知损失函数满足如下公式所示的条件： Lossper＝‖ Ψ(HR) ‑Ψ(fθ(LR))‖； 其中， Lossper表示所述感知损失函数， Ψ(HR)表示所述第 二特征矩阵， Ψ(fθ(LR))表示 所述第一特 征矩阵， ‖·‖表示范数； 所述对抗损失函数满足如下公式所示的条件： Lossadv＝‑log(1‑D(HR， fθ(LR)))‑log D(fθ(LR)， HR)； 其中， Lossadv表示所述对抗损失函数， D(HR， fθ(LR)表示所述判别网络输出的第一超分 图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的概率， 所述D(fθ (LR)， HR)表示所述判别网络输出的所述第二图像包括的多个像素点分别被判定为所述第 一超分图像对应位置的像素点的概 率； 所述第一损失函数满足如下公式所示的条件： Lossall＝ λl1Lossl1+λperLossper+λadvLossadv； 其中， Lossall表示所述第一损失函数， λl1表示所述均方损失函数的权重系数， λper表示 所述感知损失函数的权 重系数， λadv表示所述对抗损失函数的权 重系数； 所述第二损失函数满足如下公式所示的条件： LossD＝‑log(1‑D(fθ(LR)， HR) )‑log D(HR， fθ(LR))； 其中， 所述 LossD表示所述第二损失函数。 8.一种生成对抗网络模型的训练方法， 其特征在于， 所述生成对抗网络模型包括生成 网络和判别网络， 所述方法包括： 获取训练样本集， 所述训练样本集包括多个样本， 第 一样本包括第一图像和第 二图像， 所述第一样本为所述训练样本集中的任一样本， 所述第一图像为所述第二图像经过降采样 后获得的， 所述第二图像的分辨 率大于所述第一图像的分辨 率； 将所述第一样本 中的第一图像输入所述生成网络， 通过所述生成网络对所述第 一图像 进行特征提取， 以获得 所述第一图像的特 征矩阵； 针对所述第一图像中的每 个像素点从所述特 征矩阵中拆分出M个滤波矩阵；权　利　要　求　书 2/3 页 3 CN 115456881 A 3