(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211201681.9 (22)申请日 2022.09.29 (71)申请人 电子科技大 学 地址 610000 四川省成 都市高新区(西区) 西源大道 2006号 (72)发明人 丁熠　卜君健　曹明生　邓伏虎　 赵洋　周尔强　秦臻　 (74)专利代理 机构 成都众恒智合专利代理事务 所(普通合伙) 51239 专利代理师 刘沁 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/33(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合残差图像信息的2D医学图像配准 方法 (57)摘要 本发明公开了一种融合残差图像信息的2D 医学图像配准方法， 涉及医学图像技术领域， 包 括： 构建医学图像配准模 型； 模型训练； 模型在图 像配准的应用。 本发明在计算MSE相似度时引入 残差图像， 有效融合局部像素信息， 解决了像素 失位和变形折叠的问题； 基于卷积神经网络的局 部性和Vision  Transformer中多头注意力机制 的全局性， 设计了一个基础地配准网络， 并在该 基础配准网络中创新性地使用了融合残差图像 信息的跳跃连接， 解决了MSE仅对像素值计算， 无 法准确找到像素之间特征匹配的问题， 并有效提 高了配准模 型的泛化性能； 提出了多分辨率渐进 配准策略， 提高了配准的准确性， 在变形过程中 增强了拓扑保持性。 权利要求书3页 说明书9页 附图4页 CN 115457020 A 2022.12.09 CN 115457020 A 1.一种融合残差图像信息的2D医学图像 配准方法， 其特 征在于， 包括以下步骤： S100、 构建医学图像配准模型， 所述图像配准模型包括第一堆叠模块C1、 第二堆叠模块 C2、 粗配准分支网络和精细配准分支网络， 所述粗配准分支网络和精细配准分支网络均包 括基于卷积神经网络、 流预测网络和视 觉转换器中的多头注意力网络构建的配准网络； S200、 选择若干数据对构成训练数据对集， 每个数据对均包括一张待配准医学训练图 像和一张参考医学训练图像， 利用所述训练数据对集对所述医学图像配准模型进 行若干次 训练， 每次训练过程使用一个没有用过的数据对， 每一次训练过程具体包括以下步骤： S210、 从所述训练数据对集选择一数据对， 根据所述第一堆叠模块C1、 粗配准分支网 络， 以及当前选择的数据 对的待配准医学训练图像Imoving1和参考医学训练图像Ifixed1， 得到 大位移变形场Vcoarse和粗配准图像Icoarse； S220、 根据所述参考医学训练图像Ifixed1、 粗配准图像Icoarse、 第二堆叠模块C2、 大位移 变形场Vcoarse、 待配准医学训练图像Imoving1和精细配准分支网络， 得到完整变形场Vfull和最 终配准后图像Imoved1； S230、 使用MSE计算所述粗配准图像Icoarse和参考医学训练图像Ifixed1之间的相似度损 失Lmse1， 使用多分辨率残差图像相似度金字塔模块， 根据所述粗配准图像Icoarse和参考医学 训练图像Ifixed1计算残差图像的相似度损失Lres1， 使用L‑2范数的平方作为大位移变形场 Vcoarse的平滑度正则化损失Lreg1， 根据超参数、 相似度损失Lmse1、 相似度损失Lres1和交叉熵损 失Lreg1， 计算粗配准阶段总损失Ltotal1； S240、 使用MSE计算所述最终配准后图像Imoved1和参考医学训练图像Ifixed1之间的相似 度损失Lmse2， 使用多分辨率残差图像相似度金字塔模块， 根据所述最终配准后图像Imoved1和 参考医学训练图像Ifixed1计算残差图像的相似度损失Lres2， 使用L‑2范数的平方作为完整变 形场Vfull的平滑度正则化损失Lreg2， 根据超参数、 相 似度损失Lmse2、 相似度损失Lres2和交叉 熵损失Lreg2， 计算细配准阶段总损失Ltotal2； S250、 利用粗配准阶段总损失Ltotal1， 计算所述粗配准分支网络中各神经元的梯度， 并 进行梯度回传， 更新网络参数； S260、 利用细配准阶段总损失Ltotal2， 计算所述 医学图像配准模型中的各神经元计算梯 度， 并进行梯度回传， 更新网络参数， 完成所述医学图像 配准模型的当前次训练； S300、 将待配准医学图像Imoving2和参考医学训练图像Ifixed2输入训练好的所述医学图像 配准模型， 输出 得到配准后的图像Imoved2。 2.根据权利要求1所述的方法， 其特 征在于， 步骤S210具体包括以下步骤： S211、 将待配准医学训练图像Imoving1和参考医学训练图像Ifixed1通过第一堆叠模 块C1进 行堆叠； S212、 将步骤S211中堆叠后的图像输入所述粗配准分支网络， 输出得到大位移变形场 大位移变形场Vcoarse和粗配准图像Icoarse。 3.根据权利要求2所述的方法， 其特征在于， 步骤S212中， 通过所述粗配准分支网络获 取大位移变形场Vcoarse和粗配准图像Icoarse的方法包括： 对步骤S21 1中堆叠后的图像进行 下采样， 得到图像I1； 将图像I1输入配准网络， 输出 得到大位移变形场V； 对大位移变形场V进行上采样以及和上采样同倍率的数值放大后得到大位移变形场权　利　要　求　书 1/3 页 2 CN 115457020 A 2Vcoarse； 使用大位移变 形场Vcoarse通过STN模块将 待配准医学训练图像Imoving1变形为粗配准图像 Icoarse。 4.根据权利要求3所述的方法， 其特 征在于， 步骤S2 20具体包括以下步骤： S221、 将粗配准图像Icoarse和参考医学训练图像Ifixed1通过第二 堆叠模块C2进行堆叠； S222、 将大位移变形场Vcoarse、 待配准医学训练图像Imoving1和步骤S221中堆叠后的图像 输入所述精细配准分支网络， 输出 得到完整变形场Vfull和最终配准后图像Imoved1。 5.根据权利要求4所述的方法， 其特征在于， 步骤S222中， 通过所述精细配准分支网络 获取完整变形场Vfull和最终配准后图像Imoved1的方法包括： 将步骤S2 21中堆叠后的图像输入配准网络， 输出 得到精细变形场Vfine； 将大位移变形场Vcoarse和精细变形场Vfine进行组合后得到 完整变形场Vfull； 使用完整变形场Vfull通过STN模块将待配准医学训练图像Imoving1变形为最终配准后图 像Imoved1。 6.根据权利要求5所述的方法， 其特征在于， 所述配准网络通过堆叠后的图像获取变形 场的方法包括： 通过卷积补丁嵌入层提取堆叠后的图像Iinput的局部特 征信息； 对局部特 征信息使用可 学习的位置编码进行位置嵌入； 将位置嵌入后的局部特征信息输入多头注意力网络， 进行全局特征的匹配， 输出得到 特征矩阵； 将多头注意力网络 输出的特 征矩阵进行 卷积上采样； 对堆叠后的图像Iinput依次进行 下采样和上采样， 得到图像 将图像 与原图像Iinput计算残差得到残差图像 通过卷积块利用残差图像 得到概率值掩码； 将卷积上采样后的特 征矩阵与概 率值掩码相乘， 得到新矩阵； 利用流预测网络， 根据新矩阵得到变形场。 7.根据权利要求6所述的方法， 其特征在于， 当获取到待配准医学图像Imoving2中感兴趣 区域的待配准真值后， 可通过使用配准网络输出得到的变形场， 利用STN模块作用于待配准 真值， 得到待配准医学图像Imoving2中感兴趣区域的配准真值， 待配准真值为待配准医学图 像Imoving2中感兴趣区域的真值标签。 8.根据权利要求6所述的方法， 其特征在于， 步骤S230中， 粗配准阶段总损失Ltotal1和细 配准阶段总损失Ltotal2的计算公式分别如下： Ltotal1＝α Lmse1+β Lreg1+γLres1 Ltotal2＝α Lmse2+β Lreg2+γLres2 其中， α, β,γ是超参数， 用于调节各项损失的比重 。 9.根据权利要求8所述的方法， 其特征在于， 在训练过程中， 采用多分辨率残差 图像相 似度金字塔模块计算残差图像的相似度损失的公式如下： 权　利　要　求　书 2/3 页 3 CN 115457020 A 3