(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211219252.4 (22)申请日 2022.09.30 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 张婉平　温圣召　田飞　杨馥魁　 张刚　冯浩城　韩钧宇　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 鄢功军 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 模型训练方法、 图像分类方法、 装置、 设备和 介质 (57)摘要 本公开提供了一种深度学习模型的训练方 法， 涉及人工智能技术领域， 尤其涉及深度学习、 图像处理、 计算机视觉等技术领域。 具体实现方 案为： 将样 本图像输入第一深度学习模型的第一 特征提取网络， 得到样本图像的第一特征； 对样 本图像的第二特征进行转换， 得到转换后的第二 特征， 其中， 第一特征的维度与转换后的第二特 征的维度之间的差异小于或等于预设维度差异 阈值； 将转换后的第二特征输入第一深度学习模 型的第一分类网络， 得到转换后的分类结果； 以 及根据转换后的分类结果， 训练第一深度学习模 型。 本公开还提供了一种深度学习模 型的训练装 置、 图像分类装置、 电子设备和存 储介质。 权利要求书3页 说明书10页 附图4页 CN 115482396 A 2022.12.16 CN 115482396 A 1.一种深度学习模型的训练方法， 包括： 将样本图像输入第 一深度学习 模型的第 一特征提取网络， 得到所述样本图像的第 一特 征； 对所述样本图像的第二特征进行转换， 得到转换后的第 二特征， 其中， 所述第 一特征的 维度与所述 转换后的第二特 征的维度之间的差异小于或等于预设维度差异阈值； 将所述转换后的第 二特征输入所述第 一深度学习模型的第 一分类网络， 得到转换后的 分类结果； 以及 根据所述 转换后的分类结果， 训练所述第一深度学习模型。 2.根据权利要求1所述的方法， 其中， 所述第 二特征是利用第 二深度学习 模型的第 二特 征提取网络处理所述样 本图像得到的， 所述第二深度学习模型的参数量大于或等于所述第 一深度学习模型的参数量。 3.根据权利要求1所述的方法， 其中， 所述将样本图像输入第 一深度学习 模型的第 一特 征提取网络包括： 对所述样本图像进行 数据增强处 理， 得到增强后的样本图像； 以及 将所述增强后的样本图像输入所述第一特 征提取网络 。 4.根据权利要求2所述的方法， 其中， 所述根据所述转换后的分类结果， 训练所述第一 深度学习模型包括： 将所述第一特 征输入所述第一分类网络， 得到第一分类结果； 根据所述第一分类结果和所述 转换后的分类结果， 确定损失值； 以及 根据所述损失值， 调整所述第一深度学习模型的参数， 以训练所述第一深度学习模型。 5.根据权利要求4所述的方法， 其中， 所述根据所述第 一分类结果和所述转换后的分类 结果， 确定损失值包括： 根据所述第一分类结果和所述 转换后的分类结果， 确定第一蒸馏子损失值； 以及 根据所述第一蒸馏子损失值， 确定所述损失值。 6.根据权利要求5所述的方法， 其中， 所述根据所述第一蒸馏子损 失值， 确定所述损 失 值包括： 根据第二分类结果和所述转换后的分类结果， 确定第 二蒸馏子损失值， 其中， 所述第二 分类结果是利用所述第二深度学习模型的第二分类网络处 理所述第二特 征得到的； 根据所述第一蒸馏子损失值和所述第二蒸馏子损失值， 确定所述损失值。 7.根据权利要求6所述的方法， 其中， 所述根据所述第一蒸馏子损 失值， 确定所述损 失 值还包括： 根据所述第一分类结果和所述样本图像的标签， 确定第一分类子损失值； 根据所述 转换后的分类结果和所述标签， 确定第二分类子损失值； 根据所述第一蒸馏子损 失值、 所述第二蒸馏子损 失值、 所述第一分类子损 失值和所述 第二分类子损失值， 确定所述损失值。 8.根据权利要求4所述的方法， 其中， 所述对所述样本 图像的第二特征进行转换， 得到 转换后的第二特 征包括： 利用特征转换网络对所述第二特 征进行转换， 得到所述 转换后的第二特 征。 9.根据权利要求8所述的方法， 还 包括：权　利　要　求　书 1/3 页 2 CN 115482396 A 2根据所述损失值， 调整所述特 征转换网络的参数。 10.根据权利要求1所述的方法， 其中， 所述第一特征的维度与所述转换后的第二特征 的维度一 致。 11.一种图像分类方法， 包括： 将目标图像输入第一深度学习模型， 得到目标分类结果， 其中， 所述第一深度学习模型 是利用权利要求1至10任一项所述的方法训练的。 12.一种深度学习模型的训练装置， 包括： 第一获得模块， 用于将样本 图像输入第一深度学习模型的第一特征提取网络， 得到所 述样本图像的第一特 征； 转换模块， 用于对所述样本图像的第二特征进行转换， 得到转换后的第二特征， 其中， 所述第一特征 的维度与所述转换后的第二特征的维度之间的差异小于或等于预设维度差 异阈值； 第二获得模块， 用于将所述转换后的第 二特征输入所述第 一深度学习模型的第 一分类 网络， 得到转换后的分类结果； 以及 训练模块， 用于根据所述 转换后的分类结果， 训练所述第一深度学习模型。 13.根据权利要求12所述的装置， 其中， 所述第 二特征是利用第 二深度学习模型的第 二 特征提取网络处理所述样本图像得到的， 所述第二深度学习模型的参数量大于或等于所述 第一深度学习模型的参数量。 14.根据权利要求12所述的装置， 其中， 所述第一获得模块包括： 数据增强子模块， 用于对所述样本图像进行数据增强处理， 得到增强后的样本图像； 以 及 输入子模块， 用于将所述增强后的样本图像输入所述第一特 征提取网络 。 15.根据权利要求13所述的装置， 其中， 所述 转换模块包括： 第一获得子模块， 用于将所述第一特 征输入所述第一分类网络， 得到第一分类结果； 确定子模块， 用于根据所述第一分类结果和所述 转换后的分类结果， 确定损失值； 调整子模块， 用于根据 所述损失值， 调整所述第 一深度学习模型的参数， 以训练所述第 一深度学习模型。 16.根据权利要求15所述的装置， 其中， 所述确定 子模块包括： 第一确定单元， 用于根据所述第一分类结果和所述转换后的分类结果， 确定第一蒸馏 子损失值； 以及 第二确定单 元， 用于根据所述第一蒸馏子损失值， 确定所述损失值。 17.根据权利要求16所述的装置， 其中， 所述第二确定单 元包括： 第一确定子单元， 用于根据第二分类结果和所述转换后的分类结果， 确定第二蒸馏子 损失值， 其中， 所述第二分类结果是利用所述第二深度学习模型 的第二分类网络处理所述 第二特征得到的； 第二确定子单元， 用于根据所述第一蒸馏子损 失值和所述第二蒸馏子损 失值， 确定所 述损失值。 18.根据权利要求17 所述的装置， 其中， 所述第二确定单 元还包括： 第三确定子单元， 用于根据所述第一分类结果和所述样本 图像的标签， 确定第一分类权　利　要　求　书 2/3 页 3 CN 115482396 A 3