(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211238897.2 (22)申请日 2022.10.11 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 高丽丽　时拓　刘琦　顾子熙　 张徽　张程高　崔狮雨　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉　杨小凡 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/063(2006.01)G06N 3/08(2006.01) (54)发明名称 基于阻变存储器的量化因子优化的图像分 类方法及装置 (57)摘要 本发明公开了基于阻变存储器的量化因子 优化的图像分类方法及装置， 分别构建基于阻变 存储器的浮点神经网络模型及与其对应的基于 阻变存储器的神经网络量化模型， 通过一种新的 量化因子优化损失函数结合分类损失函数， 对神 经网络量化模 型进行训练， 并且与阻变存储器的 特性结合， 通过迭代优化使图像分类神经网络模 型学习到的量化因子尽可能的接近2的幂次方， 在推理阶段， 将量化后的值映射到阻变存储器阵 列的电压值和电导值， 并对输出电流进行移位操 作， 得到卷积层输出量化后的值， 最终得到基于 阻变存储器的神经网络量化模型的图像分类结 果， 由于每层的量化因子通过基于阻变存储器的 神经网络模 型学习得到， 能够加快模 型的推理速 度。 权利要求书3页 说明书10页 附图3页 CN 115311506 A 2022.11.08 CN 115311506 A 1.基于阻变存 储器的量 化因子优化的图像分类方法， 其特 征在于包括如下步骤： 步骤S1： 构建基于阻变存储器的浮点神经网络模型， 包括输入层、 卷积层， 通过训练集 图像进行浮 点神经网络模型 预训练， 得到预训练的浮 点神经网络模型参数； 步骤S2： 构建基于阻变存储器的神经网络量化模型， 为浮点神经网络模型的相应层， 构 建对应的量 化层和反量 化层； 步骤S3： 将训练集图像输入基于阻变存储器的神经网络量化模型中， 并加载预训练的 浮点神经网络模型参数， 进行量化感知训练， 得到的量化感知训练后的基于阻变存储器的 神经网络量化模型， 包括浮点神经网络模型相应层的量化因子以及量化感知训练后的神经 网络量化模型参数； 神经网络量化模型的总损失函数包括分类损失函数和量化因子优化损 失函数； 步骤S4： 将量化感知训练后的基于阻变存储器的神经网络量化模型， 映射到阻变存储 器忆阻器上， 输入测试集图像， 进行前向推理测试， 其中输入层推理阶段量化后的值映射为 阻变存储器阵列的电压值， 卷积层量化后的卷积核映射为阻变存储器阵列的电导值， 对通 过电压值与电导值得到的输出电流进行移位操作， 得到卷积层输出量化后的值， 最终得到 基于阻变存 储器的神经网络量 化模型的图像分类结果。 2.根据权利要求1所述的一种基于阻变存储器的量化因子优化的图像分类方法， 其特 征在于： 所述 步骤S3中的量 化因子优化损失函数如下： 其中 表示取绝对值操作， 表示神经网络量化模型当前层数，  表示第 层量 化因子的符号 函数， 表示神经网络量 化模型的总层数。 3.根据权利要求2所述的一种基于阻变存储器的量化因子优化的图像分类方法， 其特 征在于： 所述基于阻变存储器的浮点神经网络模型还包括激活层和全连接层， 所述步骤S3 的量化感知训练包括如下步骤： 步骤S3‑1： 对输入层通过输入量化层进行量化操作， 得到量化以后的输入值 ， 然后再 通过输入反量 化层进行反量 化操作， 得到反量 化以后的输入值 ； 步骤S3‑2： 通过第一卷积量化层进行量化操作， 得到量化以后的卷积核 ， 通过第一卷 积反量化层进行反量 化操作， 得到反量 化以后的卷积核 ； 步骤S3‑3： 将反量化以后的输入值 与反量化以后的卷积核 进行卷积操作， 得到卷 积输出值 ； 步骤S3‑4： 将 通过第一激活量化层进行量化操作， 得到量化以后的激活值 ， 通过 第一激活反量化层进行反量化操作， 然后再通过 ReLU激活函数得到反量化以后的激活值 ；权　利　要　求　书 1/3 页 2 CN 115311506 A 2以此类推， 得到全连接层的浮点值， 然后通过softmax分类器得到网络的输出， 通过量 化因子优化损失函数更新网络参数和每层的量化因子， 直至网络 收敛， 最后得到量化感知 训练后的基于阻变存 储器的神经网络量 化模型； 总损失函数 通过结合分类损失函数 和量化因子优化损失函数 ， 训练神 经网络量 化模型， 更新神经网络模型的权 重参数和量 化因子， 直至网络收敛。 4.根据权利要求3所述的一种基于阻变存储器的量化因子优化的图像分类方法， 其特 征在于： 所述 步骤S3‑1中量化操作如下： 其中 表示输入层的浮点值， 表示四舍五入， 表示截断操作，  表示 量化后的最小值， 表示量化后的最大值， 表示输入层待训练的浮点值的量化因子， 由神 经网络模型通过优化损失函数 得到。 5.根据权利要求3所述的一种基于阻变存储器的量化因子优化的图像分类方法， 其特 征在于： 所述 步骤S4的映射及前向推理测试 过程如下： 首先将测试集图像作为基于阻变存储器的神经网络量化模型的输入， 将输入层、 第一 卷积量化层、 第一激活量 化层进行量 化， 量化方法如下： 其中 表示输入层的浮点值， 表示第一卷积量化层卷积核的浮点值， 表示第一激活 量化层的输入浮点值， 表示神经网络量化模型训练好 的输入层的量化因子， 表示神经 网络量化模型训练好的第一卷积量化层的量化因子， 表示神经网络量化模型训练好的第 一激活量化层的量化因子， 表示输入层在推理阶段量化后的值， 然后将 映射为电压值， 将网络学习到的第一卷积量化层的卷积核进行量化， 得到量化后的卷积核 ， 然后将 映 射为基于阻变存储器阵列的电导值， 输出的电流为卷积操作后的值 ， 其次将电流值 进行移位操作， 得到卷积层输出量化后的值 ， 然后通过最大池化操作得到池化后的值； 以 此类推， 得到全连接层的量化值， 将全连接层量化值的最大值的索引作为神经网络量化模 型预测的图像 类别。 6.根据权利要求1所述的一种基于阻变存储器的量化因子优化的图像分类方法， 其特 征在于： 所述 步骤S3中的分类损失函数：权　利　要　求　书 2/3 页 3 CN 115311506 A 3