(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211219848.4 (22)申请日 2022.10.08 (65)同一申请的已公布的文献号 申请公布号 CN 115294128 A (43)申请公布日 2022.11.04 (73)专利权人 四川大学 地址 610042 四川省成 都市一环路南 一段 24号 (72)发明人 宋万忠　胡兵　刘伟　谈春乾　 朱以侬　 (74)专利代理 机构 成都华亿智合知识产权代理 事务所(普通 合伙) 51354 专利代理师 张和平 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 17/00(2006.01) G06T 3/40(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112567381 A,2021.0 3.26 CN 111402999 A,2020.07.10 CN 113570592 A,2021.10.2 9 CN 115004316 A,202 2.09.02 CN 113705631 A,2021.1 1.26 CN 112828311 A,2021.0 5.25 CN 113160298 A,2021.07.23 US 2019086 546 A1,2019.0 3.21 US 2022007943 A1,202 2.01.13 CN 114901189 A,202 2.08.12 肖昆等.“基于深度神经网络的条纹结构光 相位展开方法 ”. 《现代计算机》 .2021, XIAOLONG LUO等. “Deep Learn ing-enabled Spatial Phase Un wrapping for 3D Measurement ”. 《arXiv》 .202 2, 审查员 甘宇 (54)发明名称 一种用于消化内镜的单目结构三维成像方 法及装置 (57)摘要 本发明公开了一种用于消化内镜的单目结 构三维成像方法及装置， 主要解决现有技术中存 在的现有消化内镜三维成像方法中消化内镜没 有足够的空间安装需要位置固定的相机模组和 投影模组， 且现有图像特征算法没有针对医学设 计的， 特征分析时存在很大困难的问题。 该发明 使用活动的结构光投影模组和相机， 通过投影编 码图案拍摄图像I1， 通过图像I1和投影图案得出 两个的差异信号作为监督信号训练神经网络， 使 用训练后的神经网络得出的深度图Dc、 标定得到 的相机几何内参数Kc和标定得到的比例系数s， 可计算出病变组织的实际大小。 通过上述方案， 本发明达到了结构光模组和相机之间的相对位置不固定， 采集的图像少， 测量的结果准确的目 的。 权利要求书3页 说明书7页 附图9页 CN 115294128 B 2022.12.02 CN 115294128 B 1.一种用于消化内镜的单目结构三维成像方法， 其特 征在于， 包括以下步骤： S1、 结构光模组置于消化内镜中投一副编码图案P0至消化道表面， 相机从与结构光模 组投影角度不同的角度拍摄得到图像I1； S2、 将图像I1输入到神经网络Network1， 输出定义在相机局部坐标系中的深度图Dc； 将 编码图案P0和图像I1输入到神经网络Network  2， 输出相机和投影模组之间的坐标变换参 数R和T； S3、 根据步骤S2的深度图Dc和相机几何内参数Kc， 计算出图像I1上每个点定义在相机 局部坐标系中的三维点(Xc， Yc， Zc)， 根据三维点(Xc， Yc， Zc)  和坐标变换参数R和T， 计算出 定义在投影模组局部坐标系中的三维点(Xp， Yp， Zp)， 根据(Xp， Yp， Zp)和投影模组几何内参 数Kp得到深度图Dp； S4、 根据步骤S3的深度图Dp得出虚拟编码图案的投影图案P1， 然后根据图像I1和深度 图Dc再次投影到投影模组虚拟成像面上的图像I3； S5、 根据步骤S3的深度图Dc、 步骤S2的参数R和T、 以及投影图案P0， 得到相机成像面上 的虚拟图像I2； S6、 将步骤S4 中虚拟编码图案的投影图案P1和图像I3之间 的差异作 为监督信号1， 将步 骤S5中相机虚拟图像I2和图像I1之间的差异作为监督信号2， 训练神经网络Network1和 Network2； S7、 将图像I1输入步骤S6训练后的Network1和Network2得出病变组织深度图Dc， 再根 据事先标定得到的相机内参数Kc和标定的比例系数s， 计算出病变组织的点云， 根据点云得 到病变组织实际大小。 2.根据权利要求1所述的一种用于消化内镜的单目结构三维成像方法， 其特征在于， 步 骤S1中编码图案通过光纤传像束传入体内。 3.根据权利要求1所述的一种用于消化内镜的单目结构三维成像方法， 其特征在于， 步 骤S1中结构光编码图案为随机点、 随机线、 随机网格、 随机条纹、 多种不同颜色的波长中任 一种。 4.根据权利要求1所述的一种用于消化内镜的单目结构三维成像方法， 其特征在于， 步 骤S3中相机局部坐标系中的三维点(Xc， Y c， Zc)的计算方法如下： S301、 相机内参数 Kc和投影模组内参数 Kp已知， 其表达式如下： ,     (1) ,    （2) 其中， 和 是标定后的相机焦距， 和 标定后的相机主点； 和 是标定后的 投影模组的焦距， 和 标定后投影模组主点； S302、 根据深度图Dc通过公式 （3)计算图像I1上像素坐标为 （ ） 点在相机局部坐标 系中的坐标点 （Xc,  Yc, Zc） ；权　利　要　求　书 1/3 页 2 CN 115294128 B 2    (3)， 其中Dc是定义在相机局部坐标系的深度值； S303、 用公式(4)将三维点 （Xc,  Yc, Zc） 变换到投影模组坐标系中， 得到三维点(Xp， Yp， Zp)，    (4)。 5.根据权利要求4所述的一种用于消化内镜的单目结构三维成像方法， 其特征在于， 步 骤S3中得 出深度图Dp的具体过程如下： S304、 根据公式 （5） ， 将三维点(Xp， Yp， Zp)投影到投影模组的虚拟图像面上， 得到虚拟 像素坐标 ） ： ,     (5) S305、 投影模组的像素坐标 ） 是浮点数， 采用二维离散点拟合后插值的方法， 计算 出对应投影模组上整数像素坐标表示的每 个点的深度值Dp； S306、 根据步骤S3 05的每个点的深度值Dp得 出深度图Dp。 6.根据权利要求5所述的一种用于消化内镜的单目结构三维成像方法， 其特征在于， 步 骤S4中得出虚拟编码图案的投影图案P1的具体过程为： 对定义在投影模组坐标系统的深度 图Dp， 其水平方向和垂直方向上的像素数与编码图案的投影图案P0相同； 对深度图Dp中深 度值>0的像素点， 根据其像素坐标从编码图案的投影图案P 0中取出相同位置点的投影图案 值， 得到一幅新的虚拟编码图案的投影图案P1。 7.根据权利要求6所述的一种用于消化内镜的单目结构三维成像方法， 其特征在于， 步 骤S4中得 出图像I3的具体过程如下： S401、 根据公式(3) ‑(5)， 计算出相机图像I中每个像素点 （ ） 的一个对应点 ） ； ( ） 都是整数； （ ） 的取值范围是相机图像的高和宽的像素数尺寸， ） 的取值范围是投影图案 的高和宽的像素 数尺寸； S402、 定义一幅尺寸和投影图案P0相同的虚拟图像P ’， P’中浮点像素坐标 ） 上的 像素值Ip1 ） 设为对应的相机图像上的像素值I1 （ ） ； 通过插值计算， 得出虚拟图像 P’中整数像素坐标点的像素值， 进 而得到虚拟图像I3； 图案P1和图像I3都定义在投影模组的虚拟成像面上， 且尺寸都和投影图像P0相同。 8.根据权利要求6所述的一种用于消化内镜的单目结构三维成像方法， 其特征在于， 步权　利　要　求　书 2/3 页 3 CN 115294128 B 3