(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211194557.4 (22)申请日 2022.09.29 (71)申请人 中国电子科技 集团公司信息科 学研 究院 地址 100041 北京市石景山区实兴大街金 府路30号院4号楼 (72)发明人 操俊　胡小燕　曹静　汪志强　 王伟平　杨丽君　刘松　赵书侠　 (74)专利代理 机构 北京中知法苑知识产权代理 有限公司 1 1226 专利代理师 李明　赵吉阳 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G01J 5/20(2006.01) G01J 5/48(2006.01) (54)发明名称 红外探测识别系统及方法 (57)摘要 本公开涉及图像识别技术领域， 提供一种红 外探测识别系统及方法， 系统包括： 感算一体红 外探测模块， 用于根据动态配置的调制权重对待 识别的红外图像进行卷积运算， 得到红外图像的 特征信息， 调制权重通过利用预先采集的训练样 本集， 对预先设置的深度神经网络模 型进行训练 得到； 图像处理模块， 用于根据特征信息， 基于训 练好的深度神经网络模型对红外图像进行分类 识别， 得到红外图像的语义信息； 语义解释处理 转化模块， 用于将语义信息转化为预设形式的信 息， 并将预设形式的信息传递给用户。 本公开提 高了卷积运算效率， 加快了数据传输速度与数据 处理速度， 可应用于需长时间在 线的红外图像采 集、 目标检测、 分类与识别等实际应用中。 权利要求书3页 说明书12页 附图4页 CN 115471710 A 2022.12.13 CN 115471710 A 1.一种红外 探测识别系统， 其特 征在于， 所述红外 探测识别系统包括： 感算一体红外探测模块， 用于根据动态配置的调制权重对待识别的红外图像进行卷积 运算， 得到所述红外图像的特征信息， 其中， 所述调制权重通过利用预先采集的训练样本 集， 对预先设置的包括卷积层的深度神经网络模型进行训练得到； 图像处理模块， 用于根据所述特征信息， 基于训练好的所述深度神经网络模型对所述 红外图像进行分类识别， 得到所述红外图像的语义信息； 语义解释处理转化模块， 用于将所述语义信息转化为预设形式的信息， 并将所述预设 形式的信息传递给用户。 2.根据权利要求1所述的红外探测识别系统， 其特征在于， 所述感算一体红外探测模 块， 还用于根据动态配置的像面权重， 获取样本红外图像的像面数据， 得到所述训练样本 集， 其中， 所述像面数据与所述样本红外图像的原 始像面数据相同。 3.根据权利要求2所述的红外探测识别系统， 其特征在于， 所述感算一体红外探测模块 包括红外 探测器阵列以及与所述红外 探测器阵列电连接的感算 一体处理芯片； 所述红外探测器阵列， 用于基于所述像面权重或者所述调制权重， 在所述感算一体处 理芯片的作用下输出电流信号； 所述感算一体处理芯片， 用于将所述像面权重或者所述调制权重动态配置至所述红外 探测器阵列， 并控制所述红外探测器阵列基于所述像面权重或者所述调制权重输出所述电 流信号， 得到所述训练样本集或者所述特 征信息。 4.根据权利要求  3所述的红外探测识别系统， 其特征在于， 所述感算一体处理芯片包 括偏置电压产生模块、 选通器件阵列、 列放大转换模块和控制模块， 其中： 各行所述红外探测器的第一端通过对应的行输出线分别与所述偏置电压产生模块和 所述控制模块电连接； 各列所述选通器件的第 一端与对应列的所述红外探测器的第 二端电连接， 各列所述选 通器件的第二端通过对应的列输出线与对应的放大转换模块电连接， 各列所述选通器件的 控制端与所述控制模块电连接； 其中， 所述控制模块， 用于控制所述偏置电压产生模块向所述红外探测器阵列施加偏置电 压； 以及， 所述控制模块， 还用于控制所述选通器件阵列按照预设的选通方式选通， 对所述偏置 电压进行调节， 以将所述像面权重或者所述调制 权重动态配置至所述红外探测器阵列， 并 控制所述红外 探测器阵列基于所述像面权 重或者所述调制权 重输出所述电流信号； 所述列放大转换模块， 用于将所述电流信号放大， 并将放大后的所述电流信号转换为 电压信号， 得到所述训练样本集或者所述特 征信息。 5.根据权利要求  4所述的红外 探测识别系统， 其特 征在于， 所述选通器件采用MOS选通管， 所述MOS选通管的漏极为所述选通器件的第一端， 所述 MOS选通管的源级为所述选通器件的第二端， 所述M OS选通管的栅极为所述选通器件的控制 端； 所述放大转换模块包括电容跨导放大器和采样保持电路， 所述电容跨导放大器的输入 端与对应的所述列输出线电连接， 所述电容跨导放大器的输出端与所述采样保持电路的输 入端电连接；权　利　要　求　书 1/3 页 2 CN 115471710 A 2所述感算一体红外探测模块还包括模数转换器和缓冲器， 所述模数转换器通过所述缓 冲器与所述采样保持电路的输出端电连接 。 6.一种红外探测识别方法， 其特征在于， 应用于权利要求1至5任一项所述的红外探测 识别系统， 所述红外 探测识别方法包括： 根据动态配置的调制权重对待识别的红外图像进行卷积运算， 得到所述红外图像的特 征信息， 其中， 所述调制权重通过利用预先采集的训练样 本集， 对预先设置的包括卷积层的 深度神经网络模型进行训练得到； 根据所述特征信 息， 基于训练好的所述深度神经网络模型对所述红外图像进行分类识 别， 得到所述红外图像的语义信息； 将所述语义信息转 化为预设形式的信息， 并将所述预设形式的信息传递给用户。 7.根据权利要求6所述的红外探测识别方法， 其特征在于， 所述利用预先采集的训练样 本集， 对预 先设置的深度神经网络模型进行训练， 包括： 基于预设的应用场景， 将预设的像面权重动态配置至所述感算一体红外探测模块， 通 过所述感算一体红外探测模块 获取样本红外图像的像面数据， 得到所述训练样本集， 其中， 所述像面数据与所述样本红外图像的原 始像面数据相同； 基于所述预设的应用场景， 建立包括卷积层的深度神经网络模型， 并设置所述卷积层 的权重约束条件； 基于所述权重约束条件， 利用所述训练样本集对所述深度神经网络模型进行训练， 得 到训练好的所述深度神经网络模型以及所述调制权 重。 8.根据权利要求7所述的红外探测识别方法， 其特征在于， 在所述感算一体红外探测模 块包括红外 探测器阵列以及与所述红外 探测器阵列电连接的感算 一体处理芯片时， 所述基于预设的应用场景， 将预设的像面权重动态配置至所述感算一体红外探测模 块， 通过所述感算一体红外探测模块 获取样本红外图像的像面数据， 得到所述训练样本集， 包括： 所述感算一体处理芯片基于所述预设的应用场景， 将所述预设的像面权重动态配置至 所述红外 探测器阵列； 所述红外探测器阵列基于所述预设的像面权重， 获取所述像面数据， 在所述感算一体 处理芯片的控制下输出电流信号； 所述感算 一体处理芯片根据所述电流信号， 得到所述训练样本集。 9.根据权利要求8所述的红外探测识别方法， 其特征在于， 在所述感算一体处理芯片包 括偏置电压产生模块、 选通器件阵列和控制模块时， 所述感算一体处理芯片基于所述预设的应用场景， 将所述预设的像面权重动态配置至 所述红外 探测器阵列， 包括： 所述控制模块基于所述预设的应用场景， 控制所述偏置电压产生模块向所述红外探测 器阵列施加偏置电压； 所述控制模块控制所述选通器件阵列按照预设的选通方式选通， 对所述偏置电压进行 调节， 将所述像面权 重动态配置 至所述红外 探测器阵列。 10.根据权利要求6至9任一项所述的红外探测 识别方法， 其特征在于， 在所述感算一体 处理芯片包括偏置电压产生模块、 选通器件阵列、 列放大转换模块和控制模块时，权　利　要　求　书 2/3 页 3 CN 115471710 A 3