(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211236799.5 (22)申请日 2022.10.10 (71)申请人 中国计量大 学 地址 310000 浙江省杭州市下沙高教园区 学源街258号 (72)发明人 梁培　杨思危　陈强　谢宇浩　 舒海　刘佳祯　王乐　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/46(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于光谱分析和视频分类算法联用的 物质分析方法 (57)摘要 本发明公开了一种基于光谱分析和视频分 类算法联用的物质分析方法， 包括： 获取纯净物 和混合物的样品； 获取不同波长且不同激光功率 下样品光谱数据并将其通过连续小波变换转换 为光谱图片； 将光谱图片合成为光谱视频； 其中， 将同一台光谱仪获取到的每一类样品的n张光谱 图片进行合成， 且n张光谱图片分别来自相邻的 激光功率； 采集公共视频数据集对视频深度学习 分类模型进行预训练； 将光谱视频在预训练后的 视频深度学习分类模型上进行迁移学习； 通过迁 移学习后的视频深度学习分类模型进行物质识 别。 本发明能够实现准确的单一和混合物质的检 测， 且拓展性强， 可用于基于光谱进行相似混合 物检测、 低浓度物质检测、 复杂环境下物质检测 等任务场景。 权利要求书2页 说明书6页 附图2页 CN 115512164 A 2022.12.23 CN 115512164 A 1.一种基于光谱分析和视频分类算法联用的物质分析方法， 其特征在于， 包括以下步 骤： S1.获取纯净物和混合物的样品； S2.获取不同波长且不同激光功率下样品光谱数据； S3.将所述样品光谱数据通过 连续小波变换转换为 光谱图片； S4.将所获取到的所述光谱图片进行合成， 获得光谱视频； 其中， 将同一台光谱仪获取 到的每一类样品的n张光谱图片进行合成， 且n张所述 光谱图片分别来自相邻的激光功率； S5.采集公共视频 数据集对视频深度学习分类模型进行 预训练； S6.将S4中合成的所述光谱视频在预训练后的所述视频深度学习分类模型上进行迁移 学习； S7.通过迁移学习后的所述视频深度学习分类模型进行物质识别。 2.根据权利要求1所述的一种基于光谱分析和视频分类算法联用的物质分析方法， 其 特征在于， S2中所获取的样品光谱数据为拉曼光谱数据。 3.根据权利要求1所述的一种基于光谱分析和视频分类算法联用的物质分析方法， 其 特征在于， S3中所述 光谱数据通过 连续小波变换转换为 光谱图片具体内容包括: 1)采用Morse小波作为母小波将拉曼光谱信号变为时频域二维信号， 其中所述Morse小 波为： 其中， ω为数字域频率， 表示序列变化的速率， 其表达式为ω＝2πf*Ts， 其中Ts是采样 周期， 为Morse小 波， U(ω)是 单位步长， a是归一 化常数， β 是时间带宽积， γ为对称参 数表征Morse小 波的对称性； 2)根据光谱分辨率， 设置时间带宽积β和对称参数γ， 计算出ω， 并将拉曼光谱数据作 为输入， 通过Morse小 波进行特征变换： 其中， b为长度固定的缩放因子； 将所述CWT时频域 二维数据尺度图表示 为 4.根据权利要求1所述的一种基于光谱分析和视频分类算法联用的物质分析方法， 其 特征在于， 在第一次使用所述深度学习分类模型时对数据进行预处理， 将每个所述光谱视 频分割为非重 叠的n张图片， 用作所述深度学习分类模型的输入。 5.根据权利要求1所述的一种基于光谱分析和视频分类算法联用的物质分析方法， 其 特征在于， S5中所述深度学习分类模型为C3D网络模型， 它包括8个卷积层、 5个池化层、 2个 全连接层、 2个Dropout层和1个分类层， 所述分类层为由softmax激活的全连接层； 8个所述卷积层依次连接， 其中第 一卷积层与第 二卷积层 之间、 第二卷积层与第 三卷积 层之间、 第四卷积层与第五卷积层之间、 第六卷积层与第七卷积层之 间、 以及第八卷积层与 第一全连接层之间连接有池化层；权　利　要　求　书 1/2 页 2 CN 115512164 A 22个所述全连接层依次相连， 且第 一全连接层与第 二全连接层、 第二全连接层和所述分 类层之间分别连接有所述Dropout层。 6.根据权利要求5所述的一种基于光谱分析和视频分类算法联用的物质分析方法， 其 特征在于， 所述C3D网络模型的8个所述卷积层的卷积核的大小均为3*3*3， 步长为1*1*1； 第 一池化层的池化核大小和步长均为1*2*2， 其余所述池化层的大小和步长均为2*2*2； 每个 所述全连接层均包括4096个输出单元， 分类层为由softmax激活的14个输出单元的全连接 层。 7.根据权利要求5所述的一种基于光谱分析和视频分类算法联用的物质分析方法， 其 特征在于， 所述C3D网络模型的卷积为三 维卷积， 卷积层中的特征映射分别与前一层中的不 同相邻帧相连接， 从而获取运动信息， 第i层第j个特 征图(x,y,z)处的值公式如下： 其中tanh()为双曲正切函数， bij为该特征映射的偏移量， m为连接到当前特征映射的 (i‑1)层特征映射集的索引， Pi和Qi分别为核的高度和宽度， Ri是沿时间维方向的3D核的大 小， 是与上一层的第m个特 征映射相连的核的第(p,q,r)个值。 8.根据权利要求5所述的一种基于光谱分析和视频分类算法联用的物质分析方法， 其 特征在于， S5中用于预训练的所述 公共视频数据集为UCF101数据集， 将所述C3D网络模 型分 类层输出改为101， 在UCF101数据集上训练200个epoch后 取验证集上准确率最高的模型作 为预训练模型。 9.根据权利要求8所述的一种基于光谱分析和视频分类算法联用的物质分析方法， 其 特征在于， S6中所述迁移学习的具体内容包括： 使用所述UCF101预训练的模型参数作为所 述光谱视频数据集的初始参数， 将C3D网络模型分类层输出由101改为14后进行训练和微 调。 10.根据权利要求6所述的一种基于光谱分析和视频分类算法联用的物质分析方法， 其 特征在于， 进行预训练和迁移学习训练时， 分类层学习 率为1e‑3， 其余层学习 率为1e‑4； 优 化器为随机梯度下降； 损失函数为交叉熵损失， 其计算公式如下： 其中N为样本数， K为标签个数， yi,k表示第i个样本的真实标签为k， pi,k表示第i个样本 预测为第k个标签值的概 率。权　利　要　求　书 2/2 页 3 CN 115512164 A 3