(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211207248.6 (22)申请日 2022.09.30 (71)申请人 云南大学 地址 650091 云南省昆明市翠湖北路2号 (72)发明人 曾鹏　李海燕　李海江　王正宇　 郭磊　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 万慧华 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于联合注意卷积神经网络的皮肤病图像 分割方法及系统 (57)摘要 本发明涉及一种基于联合注意卷积神经网 络的皮肤病图像 分割方法及系统， 涉及图像处理 技术领域， 该方法包括： 获取待分割皮肤病图像； 将待分割皮肤病图像输入皮肤病图像 分割模型， 输出皮肤病图像 分割结果； 皮肤病图像 分割模型 为训练过的联合注意卷积神经网络； 联合注意卷 积神经网络为基于U ‑Net的神经网络， 联合注意 卷积神经网络中采用迁移学习方法将训练好的 ResNet‑34作为U‑Net中的编码器， 采用空间注意 力模块作为U ‑Net中对称编码器与解码器之间的 跳跃连接， 在解码器中每个特征解码块采用金字 塔通道注 意力模块， 在解码器的输出端采用多尺 度融合注 意力模块。 本发明提高了皮肤病图像皮 肤病变分割的准确性和可靠性。 权利要求书3页 说明书11页 附图4页 CN 115457021 A 2022.12.09 CN 115457021 A 1.一种基于联合注意卷积神经网络的皮肤病图像分割方法， 其特 征在于， 包括： 获取待分割皮肤病图像； 将所述待分割皮肤病图像输入皮肤病图像分割模型， 输出皮肤病图像分割结果； 所述 皮肤病图像分割模型为训练过的联合注意卷积神经网络； 所述联合注意卷积神经网络为基于U ‑Net的神经网络， 所述联合注意卷积神经网络中 采用迁移学习方法将训练好的ResNet ‑34作为U‑Net中的编码器， 采用空间注意力模块作为 U‑Net中对称编码器与解码器之间的跳跃连接， 所述联合注意卷积神经网络还包括金字塔 通道注意力模块和多尺度融合注意力模块， 在解码器中每个特征解码块采用所述金字塔通 道注意力模块， 所述多尺度融合注意力模块的输入为各特征解码块的输出进 行上采样后的 特征图， 所述多尺度融合注意力模块的输出为所述皮肤病图像分割结果。 2.根据权利要求1所述的基于联合注意卷积神经网络的皮肤病图像分割方法， 其特征 在于， 所述联合注意卷积神经网络中编码器包括依次连接的第1编码层至第N编码层， 还包 括依次连接的第1解码层至第N ‑1解码层， N 为正整数； 所述第N编码层和所述第1解码层连接； 所述空间注意力模块包括第1空间注意力模块至第N ‑2空间注意力模块共N ‑2个空间注 意力模块， 第n个空间注意力模块的第一输入端为第n编码层的输出特征， 第n个空间注 意力 模块的第二输入端为第N ‑n‑1解码层的输出特征， 第n个空间注 意力模块的输出端 连接第N‑ n解码层； n的取值范围为1至N ‑2。 3.根据权利要求2所述的基于联合注意卷积神经网络的皮肤病图像分割方法， 其特征 在于， 第N ‑1编码层和第1解码层之间采用非局部操作。 4.根据权利要求2所述的基于联合注意卷积神经网络的皮肤病图像分割方法， 其特征 在于， 各空间注意力模块利用公式 获得空间注意特 征图； 其中， xl表示第n编码层的输出特征， xh表示第N‑n‑1解码层的输出特征， 表示空间注 意特征图， α1∈[0,1]H×W表示第一注意系数， α2∈[0,1]H×W表示第二注意系数， ReLU表示ReLU 激活函数， 表示第一注意力特征图， 表示第二注意力特征图， 表示通道连接； ΦC表示 以C为输出通道数的1 ×1卷积和批处 理归一化， C取与xl的通道数相同的值。 5.根据权利要求2所述的基于联合注意卷积神经网络的皮肤病图像分割方法， 其特征 在于， 解码层用于进行第一特征图和第二特征图的相加， 还用于采用所述特征解码块对相 加结果进 行解码， 所述特征解码块包括依次连接的输入层、 第一卷积层、 第二卷积层和金字 塔通道注意力模块， 所述特征解码块还包括第三卷积层， 所述第三卷积层的输入端与所述 输入层连接， 所述第三卷积层的输出与所述金字塔通道注 意力模块的输出累加后经过ReLU 激活函数后输出； 所述第一卷积层和所述第 二卷积层均包括卷积核为3 ×3的卷积操作， 所述第 三卷积层 包括卷积核为1 ×1的卷积操作。 6.根据权利要求5所述的基于联合注意卷积神经网络的皮肤病图像分割方法， 其特征 在于， 所述金字塔通道注意力模块包括金字塔型 的多尺度特征提取块、 通道注意力权重提权　利　要　求　书 1/3 页 2 CN 115457021 A 2取单元和多尺度特 征提取单元； 所述金字塔型的多尺度 特征提取块用于将输入特征图的通道分为 四组， 每组通道采用 不同大小的卷积核进行卷积操作， 并将四组卷积结果在通道维度上拼接， 得到第一多尺度 特征图； 所述通道注意力权重提取单元用于采用全局平均池化将所述第一多尺度特征图的全 局空间信息嵌入到通道描述符中， 获得聚合特征， 再将所述聚合特征进 行内核大小为3的一 维卷积， 获得多尺度的通道注 意力权重， 采用激励函数Sigmoid校准所述多尺度的通道注 意 力权重； 所述多尺度特征提取单元用于将校准后的多尺度的通道注意力权重与所述第一多尺 度特征图进行 元素乘积运 算， 获得第二多尺度特 征图。 7.根据权利要求6所述的基于联合注意卷积神经网络的皮肤病图像分割方法， 其特征 在于， 所述多尺度融合注意力模块包括依次连接的卷积单元、 上采样单元、 通道注意力单元 和像素归一 化单元； 所述卷积单 元用于统一对各 所述第二多尺度特 征图进行 上采样后的特 征图的通道数； 所述上采样单元用于对所述卷积单元输出的特征图， 统一为设定尺寸并进行通道拼 接， 获得通道拼接特 征图； 所述通道注意力单 元用于对所述 通道拼接特 征图提取通道 注意力特 征； 所述像素归一化单元用于基于所述通道注意力特征提取所述通道拼接特征图的空间 注意力特征， 对所述空间注意力 特征进行Softmax激活操作， 获得注意特征图， 对所述注意 特征图进行 卷积操作， 获得皮肤病图像分割结果。 8.根据权利要求1所述的基于联合注意卷积神经网络的皮肤病图像分割方法， 其特征 在于， 所述联合注意卷积神经网络的训练过程包括： 获取皮肤病变图像的数据集； 将所述数据集中每 个皮肤病变图像调整为第一设定尺寸； 将所述第一设定尺寸的皮肤病变图像随机 裁剪为第二设定尺寸； 对所述第二设定尺寸的皮肤病变图像进行 数据增强， 获得 数据增强后的数据集； 采用数据增强后的数据集训练所述联合注意卷积神经网络， 将训练好的联合注意卷积 神经网络作为皮肤病图像分割模型。 9.根据权利要求1所述的基于联合注意卷积神经网络的皮肤病图像分割方法， 其特征 在于， 采用混合损失函数训练所述联合注意卷积神经， 所述混合损失函数为包括地图级损 失、 补丁级损失和像素级损失三个层面的损失函数。 10.一种基于联合注意卷积神经网络的皮肤病图像分割 系统， 其特 征在于， 包括： 待分割皮肤病图像获取模块， 用于获取待分割皮肤病图像； 皮肤病图像分割模块， 用于将所述待分割皮肤病图像输入皮肤病图像分割模型， 输出 皮肤病图像分割结果； 所述皮肤病图像分割模型为训练过的联合注意卷积神经网络； 所述联合注意卷积神经网络为基于U ‑Net的神经网络， 所述联合注意卷积神经网络中 采用迁移学习方法将训练好的ResNet ‑34作为U‑Net中的编码器， 采用空间注意力模块作为 U‑Net中对称编码器与解码器之间的跳跃连接， 所述联合注意卷积神经网络还包括金字塔 通道注意力模块和多尺度融合注意力模块， 在解码器中每个特征解码块采用所述金字塔通权　利　要　求　书 2/3 页 3 CN 115457021 A 3