(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211226397.7 (22)申请日 2022.10.09 (71)申请人 麦克奥迪实业 集团有限公司 地址 361006 福建省厦门市 火炬高新区火 炬园麦克奥迪大厦 (72)发明人 李梓琦　陈德敏　贾守礼　栗远　 (74)专利代理 机构 厦门市首创君 合专利事务所 有限公司 3 5204 专利代理师 连耀忠 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06T 5/00(2006.01) G06T 5/10(2006.01) G06T 5/20(2006.01) (54)发明名称 基于显微镜的生物实验操作评估 方法、 装置 及可读介质 (57)摘要 本发明公开了一种基于显微镜的生物实验 操作评估方法、 装置及可读介质， 通过获取生物 实验操作中显微镜的对光图像并进行处理， 对处 理后的对光图像进行边缘检测， 得到边缘信息， 确定对光图像中定位圆的状态； 获取对光操作部 件检测传感器检测到的部件状态， 根据定位圆的 状态和部件状态确定对光步骤操作结果； 获取生 物实验操作中不同时间的显微镜的标本观察图 像并进行处理， 根据处理后的标本观 察图像得到 黑白像素点比例和高斯模糊差异值， 并计算得到 清晰因子； 获取聚焦操作部件触发传感器检测到 的触发状态， 根据不同时间下的样 本观察图像所 对应的清晰因子的变化过程 以及触发状态确定 观察步骤操作结果。 该方法能够减少计算机算力 需求， 降低部署成本 。 权利要求书3页 说明书13页 附图7页 CN 115526872 A 2022.12.27 CN 115526872 A 1.一种基于 显微镜的生物实验操作评估方法， 其特 征在于， 包括以下步骤： S1， 获取生物实验操作中显微镜的对光图像， 对所述对光图像进行处理， 得到处理后的 对光图像， 对所述处理后的对光图像进 行边缘检测， 得到边缘信息， 根据所述边缘信息确定 所述对光图像中定位圆的状态； S2， 获取对光操作部件检测传感器检测到的部件状态， 根据所述定位圆的状态和所述 部件状态确定对光 步骤操作结果； S3， 获取生物实验操作中不同时间的显微镜的标本观察图像， 对所述标本观察图像进 行处理， 得到处理后的标本观察图像， 根据所述处理后的标本观察图像得到黑白像素点比 例和高斯模糊差异值； S4， 根据所述 黑白像素点比例和高斯模糊差异值得到清晰因子； S5， 获取聚焦操作部件触发传感器检测到的触发状态， 根据不同时间下的样本观察图 像所对应的所述清晰因子的变化过程以及所述触发状态确定观察 步骤操作结果。 2.根据权利要求1所述的基于显微镜的生物实验操作评估方法， 其特征在于， 所述步骤 S1具体包括： 对所述对光图像进行 灰度处理， 得到对光图像的灰度图； 对所述对光图像的灰度图进行高斯滤波， 得到减噪后的对光图像； 采用索贝尔算子对所述减噪后的对光图像进行边 缘信息提取， 得到所述 边缘信息； 基于所述边缘信息采用霍夫圆变换确定所述定位圆， 若能够确定得到所述定位圆， 则 所述定位圆的状态为有， 若无法确定所述定位圆， 所述定位圆的状态为无。 3.根据权利要求1所述的基于显微镜的生物实验操作评估方法， 其特征在于， 所述对光 操作部件检测传感器包括物镜转换检测传感器和遮光器转换检测传感器， 所述部件状态包 括通过所述物镜转换检测传感器检测到的所述物镜的操作倍数以及通过所述遮光器转换 检测传感器 检测到的所述遮光器的位置信息 。 4.根据权利要求3所述的基于显微镜的生物实验操作评估方法， 其特征在于， 所述步骤 S2具体包括： 若所述定位圆的状态为有， 则统计所述定位圆内的所有像素点的亮度， 并计算所有像 素点的亮度的平均值； 若所述亮度的平均值大于第一阈值， 则该操作者 正确操作物镜、 遮光器和反光镜； 若所述亮度的平均值大于第二阈值小于第三阈值， 则该操作者正确操作反光镜， 错误 操作遮光器或反光镜， 并通过以下 方式确定遮光器或反光镜是否操作错 误； 获取所述操作倍数， 并将所述操作倍数与所述预设倍数进行比对， 若对比上， 则物镜操 作正确， 若未比对上， 则物镜操作错 误； 获取所述位置信 息， 若所述位置信 息是最大光圈对准通光孔处， 则遮光器操作正确， 若 所述位置信息不是最大光圈对准 通光孔处， 则遮光器操作错 误； 若所述定位圆的状态为无或所述亮度的平均值小于第四阈值， 则该操作者错误操作反 光镜。 5.根据权利要求1所述的基于显微镜的生物实验操作评估方法， 其特征在于， 高斯模糊 差异值包括图像均值的差异值和图像标准差的差异值， 所述 步骤S3具体包括： 对所述标本观察图像进行黑 白化处理， 得到黑 白化后的标本观察图像， 统计黑 白化后权　利　要　求　书 1/3 页 2 CN 115526872 A 2的标本观察图像中黑色像素点和白色像素点的个数， 并计算黑色像素点的个数与白色像素 点的个数的比值， 得到所述 黑白像素点比例； 对所述标本观察图像进行高斯滤波处理， 得到高斯滤波后的标本观察图像， 并计算得 到所述高斯滤波后的标本观察图像的均值和标准差； 对所述标本观察图像进行灰度化处理， 得到所述标本观察图像的灰度图， 并计算得到 所述标本观察图像的灰度图的均值和标准差； 将所述高斯滤波后的标本观察图像的均值与所述标本观察图像的灰度图的均值相减， 得到所述图像均值的差异值； 将所述高斯滤波后的标本观察图像的标准差与所述标本观察图像的灰度图的标准差 相减， 得到所述图像标准差的差异值。 6.根据权利要求5所述的基于显微镜的生物实验操作评估方法， 其特征在于， 所述步骤 S4具体包括： 将所述黑白像素点比例、 图像均值的差异值和图像标准差的差异值进行加权 计算， 得到所述清晰因子， 公式如下： δ ＝ω1α +ω2β +ω3γ； 其中， δ为所述清晰因子， α 为所述黑白像素点比例， β 为所述图像均值的差异值， γ为所 述图像标准差的差异值， ω1、 ω2、 ω3分别为所述黑白像素点比例、 图像均值的差异值和图 像标准差的差异值对应的权 重值， ω1+ω2+ω3＝1。 7.根据权利要求1所述的基于显微镜的生物实验操作评估方法， 其特征在于， 所述步骤 S5具体包括： 若第一时刻的所述清晰因子与第 一阈值之间的差值在第 一范围内， 或者检测到转动粗 准焦螺旋将镜筒移动至预设最低距离的触发状态， 则所述转动粗准焦螺旋使镜筒到达最低 处； 若所述第一时刻之后的第二时刻的所述清晰因子与第二阈值之间的差值在第二范围 内， 且检测到粗准焦螺旋发生逆时针转动的触发状态； 所述第二时刻之后的第三时刻的所 述清晰因子与第三阈值之 间的差值在第三范围内， 且检测到细准焦螺旋发生转动的触发状 态， 则观察 步骤操作正确； 若所述第二 时刻的所述清晰因子与第 二阈值之间的差值在第 二范围内， 且检测到粗准 焦螺旋发生逆时针转动的触发状态， 所述第二时刻之后的第三时刻的所述清晰因子与第三 阈值之间的差值超过第三范围， 或者未检测到细准焦螺旋发生转动的触发状态， 则只有粗 准焦螺旋操作正确， 细准焦螺 旋操作错 误； 若所述第二 时刻的所述清晰因子与第 二阈值之间的差值超过第 二范围内， 或者未检测 到粗准焦螺旋发生逆时针转动的触发状态， 所述第二时刻之后的第三时刻的所述清晰因子 与第三阈值之间的差值超过第三范围， 或者未检测到细准焦螺旋发生转动的触发状态， 则 粗准焦螺旋和细准焦螺 旋均操作错 误。 8.一种基于 显微镜的生物实验操作评估 装置， 其特 征在于， 包括： 对光图像处理模块， 被配置为获取生物实验操作中显微镜的对光图像， 对所述对光图 像进行处理， 得到处理后的对光图像， 对所述处理后的对光图像进 行边缘检测， 得到边缘信 息， 根据所述 边缘信息确定所述对光图像中定位圆的状态； 对光步骤检测模块， 被配置为获取对光操作部件检测传感器检测到的部件状态， 根据权　利　要　求　书 2/3 页 3 CN 115526872 A 3