(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211210148.9 (22)申请日 2022.09.30 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 谢平　徐猛　江国乾　王颖　 张经纬　王崑宇　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 王忠良 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多源域自适应的跨用户手势识别 方法 (57)摘要 本发明提供了一种基于多源域自适应的跨 用户手势识别方法， 尤其是肌电惯 性手势识别方 法， 属于人工智能的人机交互技术领域， 包括： S1： 通过传感器获取多个被试前臂的肌电信号和 惯性信号， 构建多源域数据集； S2:对S1步骤中得 到的肌电、 惯性信号进行预处理与数据处理； S3： 构建共有特征提取器， 获取时序特征； S4： 构建域 特征提取器， 进行域特有特征对齐； S5： 构建域 分 类器， 进行域分类器对齐； S6： 计算多领域自适应 方法的损失估计， 将S3获得的数据送入模型中， 对模型进行训练直到模型损失函数不再提升， 保 存模型。 权利要求书3页 说明书6页 附图2页 CN 115512440 A 2022.12.23 CN 115512440 A 1.一种基于多源域自适应的跨用户手势 识别方法， 其特 征在于包括以下步骤： S1、 通过传感器获取多个 被试前臂的肌电信号和惯性信号， 构建多源域数据集； S2、 对S1步骤中得到的肌电、 惯性信号进行预处理， 包括带通滤波、 工频陷波； 进行数据 处理， 包括数据标签矫 正， 数据增强； S3、 构建共有特 征提取器， 通过长短期记 忆LSTM和激励网络SE  Net获取时序特 征； S4、 构建域特征提取器， 全连接层作为每个域域特征提取器对各个源域和目标域的共 有特征进行进一步特征提取， 进而获得每个源域特有特征， 实现将各个源域数据映射到每 个域特定的特征空间； 域特有特征对齐， 使用CORAL作为对域特征之间分布差异的度量函 数， 通过计算协方差来计算特 征之间的距离； S5、 构建域分类器， 每个域分类器各加入SoftMax分类器， 每个域的特有特征进行通过 域分类器获得分类结果； 域分类器对齐， 利用目标域在所有域分类器上输出 的交叉熵差异 的绝对值作为对齐距离； S6、 多领域自适应方法的损失估计， 包括分类损失、 域特有特征差异损失和域分类器差 异损失； 将获得的数据送入模型中， 对模型进行训练直到模型损失函数不再提升， 保存模 型。 2.根据权利要求1所述的一种基于多源域自适应的跨用户手势识别方法， 其特征在于： 步骤S1采用差分放大电路作为信号输入端， 输入端采用三个电极， 分别为差分电极对和参 考电极， 差 分电极对放置在肌肉中心 位置， 参考电极放置于远离目标肌肉或者无肌肉位置； 采集惯性信号， 惯性信息是通过固定坐标系与 惯性传感器坐标系间的相对位移关系进 行计 算， 两个坐标轴位置之间形成的夹角主要由航向角、 俯仰角和翻转角组成， 根据坐标系映射 关系及输出的上述角度值， 即可计算出被采集物体的惯性信息 。 3.根据权利要求1所述的一种基于多源域自适应的跨用户手势识别方法， 其特征在于： 步骤S2中采用巴特沃斯滤波器对肌电信号进行0.1～200Hz的带通滤波， 通带衰减为0.5dB， 阻带衰减为40dB， 将带通滤波后的数据经过50Hz陷波器进行工频陷波获得预处理后的信 号； 标签矫正， 使用数据窗口大小为200ms， 在采样频率为2000Hz下共有400数据 点， 在这个 窗口内平均短时能量 为： 通过多次实验结果确定活动段阈值T1和T2， 其中T1作为活动段的起始阈值， T2作为活 动段的结束阈值， 当窗口平均短时能量Pi>T1将其认 为是活动段开始数据点， 将其第一个点 作为活动段的开始点； 当窗口平均短时能量Pi<T2将其认为是活动段 结束的数据点； 数据增强， 增加随机噪声， 用高斯随机噪声来增加数据的多样性； 数据轴缩放， 使用缩 放方法可以模拟统一手势持续时间的长短带来的数据变化； 通道翻转， 通过翻转通道也能 够增加数据的多样性。 4.根据权利要求1所述的一种基于多源域自适应的跨用户手势识别方法， 其特征在于： 步骤S3中LSTM由遗忘门、 更新门和输出门组成； LSTM的遗忘门使用tanh函数作为最终输出， 选用一个输出值在[0,1]区间内的函数作为门的激活函数， 当ft为0时上一个细胞状态Ct‑1权　利　要　求　书 1/3 页 2 CN 115512440 A 2被遗忘； 当ft为1时上一个细胞状态Ct  1被保留； 时序特 征是通过LSTM网络来获取； 数学表达式如下 所示： ft＝singmoid(wf*[ht‑1,xt]+bi) 式中， XT为当前时刻网络的输入值， Ht‑1为上一时刻LSTM的输出值， WF为遗忘门的权重矩 阵， bi为输入门的偏置项； 最新的细 胞状态Ct是由上一个细胞状态Ct‑1和新的待定细胞状态一起决定的； ft和it是 Ct‑1和的权重系数项， 是细胞的更新或遗 忘的体现， 数 学表达式如下 所示： it＝sigmoid(wi*[ht‑1,xt]+bi) 式中， Wi为输入门的权重矩阵， Wc为计算单元状态的权重矩阵， bc为计算单元状态的偏 置项， it为输入门， CT‑1为上个细胞状态； 输出门负责确定当前细胞状态Ct有多少会输出至 输出值Ht中， 数学表达式如下 所示： ot＝sigmoid(wo*[ht‑1,xt]+bo) ht＝ot*tanh(Ct)。 5.根据权利要求1所述的一种基于多源域自适应的跨用户手势识别方法， 其特征在于： SENet通过将每个特征通道看作一个整体， 使用特征重标定方式利用通道全局特征来标定 模型通道的权重， 使模型在训练过程中能够学习到不同特征通道的重要程度， 对重要特征 通道予以加强， 抑制不重要特 征通道， 实现多通道特 征数据的自适应融合； SENet中实现自适应通道融合 的关键模块是SE  Block， SE  Block是由压缩和激励两个 操作组成； 所述 步骤S3中采用改进的SE  Block激励， 将短时平均能量引入至SE  Block， 短时平均能量公式如下： 其中n代表序列长度， N代表窗口长度， 通过短时平均能量将输入的每个通道数据聚合， 将原始图像由T* C降维至1* C， 以获得每 个通道的全局时序特 征。 6.根据权利要求1所述的一种基于多源域自适应的跨用户手势识别方法， 其特征在于： 所述步骤S4中， 使用C ORAL作为对域特征之间分布差异的度量函数实现域特有 特征对齐， 该 方法通过计算协方差来计算特 征之间的距离， 该 方法的差异度量 为： 其中， CovS代表源域特征的协 方差矩阵， CovT代表源域特征的协 方差矩阵， d代表特征层 神经元个数， ||CovS‑CovT||2代表协方差距离的F范数， DS代表源域数据特征， DT代表源域数 据特征， Sn代表源域数据量， Tn代表目标域数据量， 通过计算源域特征和目标域特征的协方权　利　要　求　书 2/3 页 3 CN 115512440 A 3