(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211216530.0 (22)申请日 2022.09.30 (71)申请人 湖南科技大 学 地址 411201 湖南省湘潭市雨湖区石码头2 号 (72)发明人 陈祖国　黄贺俊　卢明　陈超洋　 陈永伟　 (74)专利代理 机构 湘潭市汇智专利事务所(普 通合伙) 43108 专利代理师 陈伟 (51)Int.Cl. G06T 7/00(2017.01) G06V 20/69(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 20/70(2022.01) G06V 10/40(2022.01) G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于低对比度高密度细胞实例分割方 法 (57)摘要 本发明公开了一种基于低对比度高密度细 胞实例分割方法， 包括以下步骤： 制作并转化数 据集为coco数据集， 将coco数据集划分为训练 集、 测试集； 构建实例分割模型； 采用训练集进行 实例分割模型训练， 得到训练好的实例分割模 型； 基于训练好的实例分割模型， 采用测试集进 行低对比度高密度细胞图像的实例分割， 得到实 例分割结果。 本发明的实例分割模型基于Mask   R‑CNN算法在特征提取主干中引入可形变卷积以 增强对多细胞形状的分割能力， 同时基于特征金 字塔网络将高层语义结构信息传递至底层形成 密集连接以适应密集特征图像的检测， 较大地提 升了低对比度高密度细胞的实例分割性能。 权利要求书1页 说明书4页 附图3页 CN 115496739 A 2022.12.20 CN 115496739 A 1.一种基于低对比度高密度细胞实例分割方法， 其特 征在于， 包括以下步骤： 第一步： 制作并转 化数据集 为coco数据集， 将coco数据集划分为训练集、 测试集； 第二步： 构建实例分割模型； 基于Mask  R‑CNN算法进行改进， 在 特征提取主干中引入可 形变卷积， 并替换原特 征金字塔为密集连接的特 征金字塔， 从而得到实例分割模型； 第三步： 采用训练集进行实例分割模型训练， 得到训练好的实例分割模型； 第四步： 基于训练好的实例分割模型， 采用测试集进行低对比度高密度细胞图像的实 例分割， 得到实例分割结果。 2.根据权利要求1所述的基于低对比度高密度细胞实例分割方法， 其特征在于， 所述步 骤一中， 使用labelme标注工具的多边形标注 为coco数据集中每一个细胞标注 不同的颜色， 标注完成后生成coco格式的json标注文件， 标注文件和图像对应构成数据集， 将数据集划 分为训练集和 测试集。 3.根据权利要求1所述的基于低对比度高密度细胞实例分割方法， 其特征在于， 所述步 骤二中， 在特征提取主干中引入可形变卷积的具体过程为： 在特征提取主干ResNet50中的 stage2、 stage3、 stage4、 stage5中的残差块的conv1和conv2之间加入offset卷积支路， 所 述offset卷积支路用于产生偏移 量， 使得卷积核的采样点 发生偏移， 集中于感兴趣的区域； 使用deform ‑conv代替conv2， 所述deform ‑conv层的输入为offset卷积的输出和conv1的输 出。 4.根据权利要求3所述的基于低对比度高密度细胞实例分割方法， 其特征在于， 所述步 骤二中， 替换原特征金字塔为密集连接的特征金字塔的具体过程为： 对于特征金字塔P2、 P3、 P4、 P5、 P6不同层次特征图， 所述P5由输入C5直接传入； 所述P6由P5下采样获得； 所述P4 为P6、 P5进行线性插值扩展到与C4相应的特征图同样大小， 与C4进行相加得到； 所述P3为 P6、 P5、 P4进行线性插值扩展到与C3相应的特征图同样大小， 与C3进行相加得到； 所述P2为 P6、 P5、 P4、 P3进行线性插值扩展到与C2相应的特征图同样大小， 与C2进行相加得到； C2～C5 表示ResNet ‑50中stage2～stage5的最后残差块的输出。 5.根据权利要求4所述的基于低对比度高密度细胞实例分割方法， 其特征在于， 所述步 骤二中， 实例分割模型首先由残差网络ResNet ‑50初步提取图像特征， ResNet ‑50的stage2、 stage3、 stage4、 stage5中的残差块被引入可形变卷积， C2～C5表示ResNet ‑50中stage2～ stage5的最后残差块的输出； 通过密集连接的特征金字塔将C2～C5的多尺度特征融合， 用 于区域候选网络产生和匹配候选框； 区域候选网络产生若干实例的锚框， 用非极大值抑制 法NMS选取概率最大的N个锚框作为 感兴趣区域候选框RoI， 使用RoI  Align的方法将候选框 与该候选框对应的特征图P2～P6的输出匹配， 分别用于实例的掩码生成和候选框的回归， 最后合并输出实例分割的结果。 6.根据权利要求5所述的基于低对比度高密度细胞实例分割方法， 其特征在于， 所述步 骤三中， 使用划分好的训练集进行训练， 设置训练迭代次数为15000次， 设置batch  size为 2， 在训练的前1000个迭代使用warm ‑up策略， 初始学习率设置为0.0005， 并采用余弦退火的 学习率衰减计划， 训练完成后， 利用测试集测试训练后模型的性能； 所述warm ‑up策略为训练开始时学习率由0线性增加设定学习率的策略； 余弦退火的学 习率调整策略为随着训练时迭代 次数的增加， 学习率以余弦变化规律减小， 使得模型逐步 收敛至最优解。权　利　要　求　书 1/1 页 2 CN 115496739 A 2一种基于低对比度高密 度细胞实例分割方 法 技术领域 [0001]本发明涉及一种基于低对比度高密度细胞实例分割方法。 背景技术 [0002]在研究细胞时常使用简便的透射光显微镜技术获得细胞图像， 但是获取的图像对 比度低， 特别是对于胶质母细胞瘤等细胞的研究来说， 使用透射光显微镜技术获得 的图像 通常具备低对比度和高密度的特点。 基于深度学习的方法被认为是最先进的图像分割方 法， 利用深度学习对细胞图像进行实例分割能得到目标细胞的数量、 尺寸、 形状等， 对研究 某类细胞能提供很大帮助。 Mask  R‑CNN是一种基于深度学习的实例分割 算法， 可以被视为 Faster R‑CNN和FCN的组合， 它可以同时进行目标定位和目标分割。 然而应对低对比度和高 密度的细胞图像实例分割， Mask  R‑CNN对密集交叠细胞的检测能力有所不足， 对低对比度 细胞的分割能力也有所欠 缺。 发明内容 [0003]为了解决上述技术问题， 本发明提供一种算法简单、 分割性能高的基于低对比度 高密度细胞实例分割方法。 [0004]本发明解决上述问题的技术方案是： 一种基于低对比度高密度细胞实例分割方 法， 包括以下步骤： 第一步： 制作并转 化数据集 为coco数据集， 将coco数据集划分为训练集、 测试集； 第二步： 构建实例分割模型； 基于Mask  R‑CNN算法进行改进， 在特征提取主干中引 入可形变卷积， 并替换原特 征金字塔为密集连接的特 征金字塔， 从而得到实例分割模型； 第三步： 采用训练集进行实例分割模型训练， 得到训练好的实例分割模型； 第四步： 基于训练好的实例分割模型， 采用测试集进行低对比度 高密度细胞图像 的实例分割， 得到实例分割结果。 [0005]上述基于低对比度高密度细胞实例分割方法， 所述步骤一中， 使用labelme标注工 具的多边形标注 为coco数据集中每一个细胞标注 不同的颜色， 标注完成后生 成coco格式的 json标注文件， 标注文件和图像对应构成数据集， 将数据集划分为训练集和 测试集。 [0006]上述基于低对比度 高密度细胞实例分割方法， 所述步骤二中， 在特征提取主干中 引入可形变卷积的具体过程为： 在特征提取主干ResNet50中的stage2、 stage3、 stage4、 stage5中的残差块的conv1和conv2之间加入offset卷积支路， 所述offset卷积支路用于产 生偏移量， 使得卷积核的采样点发生偏移， 集中于感兴趣的区域； 使用deform ‑conv代替 conv2， 所述deform ‑conv层的输入为 offset卷积的输出和co nv1的输出。 [0007]上述基于低对比度 高密度细胞实例分割方法， 所述步骤二中， 替换原特征金字塔 为密集连接的特征金字塔的具体过程为： 对于特征金字塔P2、 P3、 P4、 P5、 P6不同层次特征 图， 所述P5由输入C5直接传入； 所述P6由P5下采样获得； 所述P4为P6、 P5进行线性插值扩展 到与C4相应的特征图同样大小， 与C4进行相加得到； 所述P3为P6、 P5、 P4进行线性插值扩展说　明　书 1/4 页 3 CN 115496739 A 3