(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211171640.X (22)申请日 2022.09.26 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 成金勇　任志远　邹庆旭　孔令芝　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 孙园园 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多注意力与LSTM的糖尿病视网膜病变 分类方法及系统 (57)摘要 本发明公开了基于多注意力与LSTM的糖尿 病视网膜病变 分类方法及系统， 属于图像分类技 术领域， 本发 明要解决的技术问题 为如何对眼底 图像进行分类， 提高对糖尿病视网膜病变分类的 准确率， 采用的技术方案为： 该方法具体如下： 获 取并预处理数据集： 对选用的数据集进行预处理 得到眼底图像； 通过BALNet模型进行特征提取； 通过BALNet模型进行特征融合及分类： 全局特 征、 专注于通道的眼底图像细粒度特征、 专注于 空间的眼底 图像细粒度特征和区分分类区域特 征分别通过LSTM网络处理后， 进行连接和融合得 到特征融合图， 将特征融合图通过LS TM网络处理 后， 再通过softmax 函数进行分类， 获取糖尿病视 网膜病变的五分类结果。 权利要求书3页 说明书14页 附图1页 CN 115471706 A 2022.12.13 CN 115471706 A 1.一种基于多注意力与LSTM的糖尿病视网膜病变分类方法， 其特征在于， 该方法具体 如下： 获取并预处 理数据集： 对选用的数据集进行 预处理得到眼底图像； 通过BALNet模型进行特征提取： 眼底图像通过Xception网络处理得到全局特征， 全局 特征分别通过ECA注意力网络、 ULSAM注意力网络和CAB注意力网络进行并行处理得到专注 于通道的眼底图像细粒度特 征、 专注于空间的眼底图像细粒度特 征和区分 分类区域特 征； 通过BALNet模型进行特征融合及分类： 全局特征、 专注于通道的眼底图像细 粒度特征、 专注于空间的眼底图像细粒度特征和区分分类区域特征分别通过LSTM网络处理后， 进 行连 接和融合得到特征融合图， 将特征融合图通过LSTM网络处理后， 再通过softmax函数进行分 类， 获取糖尿病视网膜病变的五分类结果。 2.根据权利要求1所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法， 其特征 在于， 所述数据集采用D DR数据集； 预处理数据集具体如下： 将数据集中的原始图像进行剪裁： 去 除多余的黑色背景区域， 减少噪音和无用信息对 视网膜本身的影响； 通过数据增强的方式扩充数据集； 其中， 数据增强的方式包括上下反转、 左右反转、 添 加波斯噪声以及尺寸缩小。 3.根据权利要求1所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法， 其特征 在于， 获取专 注于通道的眼底图像细粒度特 征具体如下： 通过ECA注意力网络的无需降维的局部跨通道交互机制， 提取来自backbone全局特征 中的通道信息； 将得到的全局信息BEin(X)输入进行 逐通道全局平均池化； GAP层生成1 ×1×C的特征向量后， 获取自适应卷积核尺寸 k， 公式如下： 其中， C表示 通道维度， 决定一维卷积卷积核的大小； 将自适应卷积核尺寸k进行一维卷积层来进行跨通道信息交互， 得到第二个1 ×1×C特 征向量； 将ECA注意力网络的映射过程用Me表示， ECA注意力网络的输出BEout(X)， 公式如下： 其中， 表示元素操作， 即将相应的元素逐个相乘； BEout(X)为ECA注意力网络的输出， 即 经过ECA注意力网络后 得到的结果； BEin(X)则为ECA注意力网络的输入， 同时也是Xception 网络的输出。 4.根据权利要求1所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法， 其特征 在于， 获取专 注于空间的眼底图像细粒度特 征具体如下： 通过输入ULSAM注意力网络的全局特征Muin， 将特征分成g组[M1,M2...Mn...Mg]， 每一组 均包括G个特 征图； 对于每一组的子 特征Mn， 通过一个1 ×1的深度卷积得到的特征进行最大池 化后， 再通过权　利　要　求　书 1/3 页 2 CN 115471706 A 2一个只有一个卷积核的点卷积进行 特征映射； 特征映射通过softmax函数激活后， 得到由Mn推断出的注意力特 征图An， 公式如下： An＝softmax(PW(maxpo ol3×3,1(DW1×1(Mn))))； 对空间重新校准后得到新的空间特 征Mn′， 公式如下： 其中， 是逐元素乘法； 是逐元素加法； 把g组特征连接到一起得到专 注于空间的眼底图像细粒度特 征Muout， 公式如下： Muout＝concat([M1′,M2′,...Mn′...Mg′])。 5.根据权利要求1所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法， 其特征 在于， 获取区分 分类区域特 征具体如下： CAB注意力网络通过对输入特征Qcin进行1×1的卷积层得到新的特征Q ′， 对Q′进行 dropout操作随机删除一半特 征得到Q″； 获取L类中不同类别的feature  map的重要性的权 重S＝{S1,S2,...,SL}， 公式如下： 其中， GMP表示全局最大池； q ″i,j表示Q″中第i类的第j个特 征图； 对Q′进行按类别的跨 通道平均池操作， 以获取每 个类的平均特 征映射， 公式如下： 其中， q′i,j表示q'Q′中第i类的第j个特 征图； Q′i_avg∈RH×W×1表示第i类的语义特 征图； 获取最终增强了Qcin中用于区分 分类区域特 征Qcout， 公式如下： 6.根据权利要求1 ‑5中任一项所述的基于多注意力与LSTM的糖尿病视网膜病变分类方 法， 其特征在于， 通过BAL Net模型进行 特征融合及分类具体如下： 将backbone得到的全局特征Oout与ECA注意力网络、 ULSAM注意力网络和CAB注意力网络 得到的专注于通道的眼底图像细粒度特征、 专注于空间的眼底图像细粒度特征和区分分类 区域特征分别进行reshape重塑并通过拥有200节点的LSTM网络对专注于通道的眼底图像 细粒度特 征、 专注于空间的眼底图像细粒度特 征和区分 分类区域特 征进行选择提取； 同时为了学习并防止过拟合， 添加一个dropout层， 随机丢弃50％的特征， 得到最终特 征， 用LS表示 LSTM网络特 征映射过程， 公式如下： O′out＝DP(LS(reshape(Oout)))； B′out＝DP(LS(reshape(Bout)))； M′out＝DP(LS(reshape(Mout)))； Q′out＝DP(LS(reshape(Qout)))； 将得到的O ′out、 B′out、 M′out以及Q′out四种不同特征进行concat融合,得到融合全局特征 与通专注于通道的眼底图像细粒度特征、 专注于空间的眼底图像细粒度特征和区分分类区 域特征的融合特 征；权　利　要　求　书 2/3 页 3 CN 115471706 A 3