(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211187079.4 (22)申请日 2022.09.28 (71)申请人 宁波市第一医院 地址 315499 浙江省宁波市柳汀街59号 (72)发明人 林静辉　高翔　 (74)专利代理 机构 宁波市道同知识产权代理有 限公司 3 3478 专利代理师 郑盈 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/33(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 5/026(2006.01) (54)发明名称 基于机器视觉的术中搭桥脑血管内血液流 动性评估系统 (57)摘要 本申请涉及颅内外血管搭桥的领域， 其具体 地公开了一种基于机器视觉的术中搭桥脑血管 内血液流动性评估系统， 其通过基于术中红外热 成像数据与术前脑灌注影像进行实时配准显示， 也就是， 以深度神经网络模型来作为图像帧的特 征提取器， 分别 挖掘出所述术中红外热成像数据 与所述术前脑灌注影像中关于脑血管的空间位 置分布特征信息以及各个所述图像帧中聚焦于 血液流动的动态性变化特征信息， 进而以通过仿 射配准和弹性配准， 将术前与术中图像叠加融合 进行显示， 以对于搭桥术中整个脑组织血管内的 血流变化进行 实时动态地监测， 进而对于搭桥血 管内血液流动的通畅性进行准确地判断。 这样， 能够提高手术精确安全性， 切实保障人民群众身 体健康。 权利要求书4页 说明书11页 附图4页 CN 115511832 A 2022.12.23 CN 115511832 A 1.一种基于 机器视觉的术中搭桥脑血 管内血液流动性评估系统， 其特 征在于， 包括： 数据采集模块， 用于获取术前脑灌注影 像以及术中红外热监控视频； 采样模块， 用于从所述 术中红外热监控视频提取多个图像关键帧； 降噪模块， 用于将所述多个图像关键帧分别通过基于自动编码器的图像降噪器以得到 多个降噪后图像关键帧； 脑血管图像特征提取模块， 用于将所述多个降噪后图像关键帧中各个降噪后图像关键 帧分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个脑血 管特征图； 语义分割 模块， 用于分别对所述多个脑血管特征图进行图像语义分割以得到多个脑血 管分割图； 脑灌注影像特征提取模块， 用于将所述术前脑灌注影像通过作为特征提取器的第 二卷 积神经网络模型以得到术前脑灌注特 征图； 配准融合模块， 用于基于坐标空间变换分别将所述多个脑血管分割图中各个脑血管分 割图与所述 术前脑灌注特 征图进行融合以得到多个 配准融合特 征图； 动态特征提取模块， 用于将所述多个配准融合特征图通过使用时间注意力 机制的第 三 卷积神经网络模型以得到跟踪特 征图； 以及 评估结果生成模块， 用于将所述跟踪特征图通过分类器以得到分类结果， 所述分类结 果用于表示 术中搭桥脑血 管内血液流动性是否满足预定要求。 2.根据权利要求1所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统， 其 特征在于， 所述采样模块， 包括： 第一关键帧设定单元， 用于设定所述术中红外热监控视频中的初始图像帧为第 一图像 关键帧； 差分单元， 用于计算所述术中红外热监控视频中沿时间维度的其他图像帧与 所述第一 图像关键帧之间的按位置像素差值以得到 差分图像帧； 统计特征值计算单元， 用于计算所述差分图像帧中所有位置的像素差值的统计特征 值； 以及 结果确定单元， 用于基于所述统计特征值与预定阈值之间的比较， 确定所述差分图像 帧对应的其 他图像帧是否为图像关键帧。 3.根据权利要求2所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统， 其 特征在于， 所述统计特征值计算单元， 进一步用于： 计算所述差 分图像帧中所有位置的像素 差值的均值和标准差作为所述统计特 征值。 4.根据权利要求3所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统， 其 特征在于， 所述结果确定单元， 进一步用于： 计算所述标准差与所述均值的加权和以得到差 异特征值； 以及， 响应于所述差异特征值大于或等于所述预定阈值， 确定所述差 分图像帧对 应的其他图像帧为所述图像关键帧。 5.根据权利要求1所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统， 其 特征在于， 所述降噪模块， 进一步用于： 所述基于自动编 码器的图像降噪器使用深度可分离 卷积神经网络在其卷积操作中不同层的滤波器分别在两个空间维度和 通道维度上进行卷 积以基于三 维块匹配和过滤对所述多个图像关键帧进 行降噪， 以得到多个降噪后图像关键 帧。权　利　要　求　书 1/4 页 2 CN 115511832 A 26.根据权利要求1所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统， 其 特征在于， 所述脑血管图像特征提取模块， 进一步用于： 所述第一卷积神经网络模型的各层 在层的正向传递中对输入数据进行： 对所述输入数据进行基于二维卷积核的卷积处 理以生成卷积特 征图； 对所述卷积特 征图进行池化处 理以生成池化特 征图； 对所述池化特 征图进行激活 处理以生成激活特 征图； 对所述激活特 征图进行沿通道维度的全局平均池化以获得空间特 征矩阵； 对所述空间特 征矩阵进行 卷积处理和激活 处理以生成权 重向量； 以及 以所述权重向量中各个位置的权重值分别对所述激活特征图的各个特征矩阵进行加 权以获得生成特 征图； 其中， 所述第 一卷积神经网络模型的最后一层输出的所述生成特征图为所述多个脑血 管特征图。 7.根据权利要求1所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统， 其 特征在于， 所述脑灌注影像特征提取模块， 进一步用于： 所述作为特征提取器的第二卷积神 经网络模型的各层在层的正向传递中对输入数据进行卷积处理、 池化处理和激活处理以由 所述作为特征提取器的第二卷积神经网络模型的最后一层生成所述术前脑灌注特征图， 其 中， 所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述术前脑灌注影 像。 8.根据权利要求1所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统， 其 特征在于， 所述动态特 征提取模块， 包括： 相邻帧提取单元， 用于从所述多个配准融合特征图提取相邻的第 一帧配准融合特征图 和第二帧配准融合特 征图； 第一图像局部特征提取单元， 用于将所述第 一帧配准融合特征图和所述第 二帧配准融 合特征图分别通过所述第三卷积神经网络模型的第一卷积层和第二卷积层以得到对应于 所述第一帧的第一帧特 征图和对应于所述第二帧的第二帧特 征图； 时间注意力单元， 用于将所述第 一帧特征图与 所述第二帧特征图进行按位置点乘后通 过Softmax激活函数以得到时间注意力图； 第二图像局部特征提取单元， 用于将所述第 一帧通过所述第 三卷积神经网络模型的第 三卷积层以得到局部特 征图； 时间注意力施加单元， 用于将所述局部特征图与 所述时间注意力图进行按位置点乘以 得到所述跟踪特 征图。 9.根据权利要求8所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统， 其 特征在于， 所述时间注意力单元， 进一步用于： 以如下公式将所述第一帧特征图与所述第二 帧特征图按位置点乘后通过Softmax激活函数进行计算以得到所述时间注意力图； 其中， 所述公式为： FA＝Softmax[Cov(Ft)⊙Cov(Ft‑1)] 其中， FA表示所述时间注意力图， Ft‑1表示所述第二帧配准融合特征图， Ft表示所述第一 帧配准融合特征图， Cov( ·)表示对图像帧配准融合特征图进 行多个卷积层的卷积处理， ⊙ 表示按位置点乘。权　利　要　求　书 2/4 页 3 CN 115511832 A 3