(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211203731.7 (22)申请日 2022.09.29 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 颜成钢　傅晟　朱尊杰　胡冀　 王鸿奎　孙垚棋　陈楚翘　高宇涵　 殷海兵　张继勇　李宗鹏　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱月芬 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06T 7/246(2017.01) G06N 20/10(2019.01) (54)发明名称 一种基于支持向量机的相机跟踪失败检测 方法 (57)摘要 本发明公开了一种基于支持向量机的相机 跟踪失败检测方法， 包括如下步骤： 步骤1： 数据 集选取与三维重建； 步骤2： ICP匹配算法与特征 获取； 步骤3： 计算当前样本特征对应的距离误 差， 并进行分类， 构建用于支 撑向量机数据集； 步 骤4： 训练支持向量机模型； 步骤5： 通过训练好的 多分类模型完成相机跟踪失败检测； 本发明使用 了在机器学习有监督学习分类问题中使用较为 广泛的支持向量机来训练模型， 具有良好的理论 支持。 本发明使用多分类而非二分类来训练模 型， 提高了准确率和精度， 能够更好的设立阈值， 优化重建结果。 权利要求书1页 说明书4页 附图1页 CN 115457214 A 2022.12.09 CN 115457214 A 1.一种基于支持向量机的相机跟踪失败检测方法， 其特 征在于， 步骤如下： 步骤1： 数据集选取与三维重建； 采用的数据集为 ‘7scenes’数据集； 对于 ‘7scenes’数据集中的每个场景， 包含了多个 序列， 并且已经分成了训练集、 测试集两个不同的评估集； 一组用作稳定的跟踪帧流， 用于 模拟关键帧的采集， 另一组用于误差计算； 其中训练集正常使用现有系统进行场景重建并 保存每一帧的真实相机位姿， 同时将一定数量的深度图帧作为关键帧进 行随机厥编 码用于 重定位； 随后测试集默认进行重定位操作， 根据随机厥编码找到对应的位姿最相 近的关键 帧作为上一帧并进行ICP匹配； 步骤2： ICP匹配算法与特 征获取； 在测试集重定位过程的ICP匹配迭代完成之后， 进入下一个步骤之前， 对于每个ICP的 优化， 衡量计算出内部像素的百分比， 两种权重的海塞矩阵行列式以及最终残差， 将每次 ICP迭代完成后得到的这四个特征作为一个样本用于机器学习训练； 所述的两种权重分别 为内部像素 百分比和内部像素关于总像素的百分比； 步骤3： 计算当前样本特 征对应的距离误差， 并进行分类， 构建用于支撑向量机数据集； 步骤4： 训练支持向量机模型； 步骤5： 通过训练好的多分类模型完成相机跟踪失败检测。 2.根据权利要求1所述的一种基于支持向量机的相机跟踪失败检测方法， 其特征在于， 步骤3具体方法如下； 上一帧记录了真实位姿， 当前帧根据ICP估计出当前相机位姿， 计算出两帧间的距离 差， 根据距离 差设定阈值进行分类并打标签； 将0‑9cm区间以每cm一类分为9类， 9 ‑20cm作为一类， >20 cm作为一类； 由包括四个特征和类别标签的样本组成的数据集用于支撑向量机的训练和测试， 即用 于支撑向量机数据集。 3.根据权利要求2所述的一种基于支持向量机的相机跟踪失败检测方法， 其特征在于， 步骤4具体方法如下； 将用于支撑向量机数据集按照82分的比例分为训练集和测试集， 训练使用RBF核函数 进行训练， 根据实际情况设置惩罚系数、 松弛变量和惩罚因子， 训练出能使各个类收敛的支 撑向量机模型； 支持向量机对于多分类的处理方式是一对一， 将每两类当做一个二分类 问 题， 多分类被分解为多个二分类问题， 每个样 本会进行多次训练和测试， 将得到的类别进 行 计数， 当跑完所有支撑向量机模 型之后， 数量最大的类别为当前样本的预测类别； 通过训练 完成后得到的所有训练好的支撑向量机模型构成多分类模型。 4.根据权利要求3所述的一种基于支持向量机的相机跟踪失败检测方法， 其特征在于， 步骤5具体方法如下； 在实时重建中， 对于每次ICP优化， 测量内部像素的百分比、 两种权重的海塞矩阵的行 列式和最终残差， 并输入到训练好的多分类模型中， 根据预测出 的类别推出得到当前帧与 上一帧的估计距离 差， 并根据设定的阈值判断跟踪成功与否 。权　利　要　求　书 1/1 页 2 CN 115457214 A 2一种基于支持向量机的相机跟踪失败检测方 法 技术领域 [0001]本发明属于计算机图形学中的三维模型重建领域， 具体涉及一种使用支持向量机 来训练ICP 输出特征的样 本， 并进行分类从而判断相机跟踪成功与否的方法， 可以对场景进 行正常的重建， 不因为跟踪失败 还继续重建导 致重建效果 不好。 背景技术 [0002]同步定位与地图构建的实现大致流程为根据连接的相机在运动过程中拍摄场景 图像， 并进行逐帧处理， 帧间比较， 然后估计出相 机的位姿的帧间相对变化， 根据此估计出 相机的运动轨迹， 最后由新观测到的帧根据估计出 的位姿对地图模型进行更新。 相 机跟踪 是通过ICP 迭代最近点算法求解来估计相机位姿， 采用frame  to model， 将当前帧的点与上 一帧得到的预测面点进行匹配。 在建立测量面和预测 面之间点的对应关系时， 将测 量面上 的点投影到上一帧相机的位置， 得到的图像平面上的坐标对应的预测面上的点就是要找的 对应点。 在度量测量面和预测面之间的误差时， 使用的ICP中的点面误差度量， 误差最小化 求解非线性 最小二乘得到相机位姿。 [0003]相机跟踪可能会因为环境问题或者相机运动幅度过大失败。 许多当前的系统， 没 有明确管理这个问题。 相机跟踪失败会降低三维重 建精度或者严重破坏原有的三 维重建结 果。 检测跟踪失败对于构建鲁棒的地图系统以及我们在子地图之 间构建约束的方法都至关 重要。 本发明根据相机跟踪过程中获得相关特征值来训练模型从而通过该模型检测跟踪过 程是否失败。 如果失败了则系统停止重建， 并立即执行重定位模块， 持续移动相 机， 直到当 前帧与关键帧的随机厥编码相似度高， 从而进行ICP匹配估计出当前帧相机位姿， 继续重 建。 [0004]本发明使用了机器学习中的分类模型(也支持回归问题)支持向量机。 支持向量机 (SVM)是一种二分类模 型， 它的基本模 型是定义在特征空间上的间隔最大的线性分类器， 间 隔最大使它有别于感知机； SVM还包括核技巧， 这使它成为实质上的非线性分类器。 SVM  的 的学习策略就是间隔最大化， 可形式化为一个求解凸二次规划的问题， 也等价于正则化的 合页损失函数的最小化问题。 SVM的的学习 算法就是求解凸二次规划的最优化算法。 SVM学 习的基本 想法是求 解能够正确 划分训练数据集并且几何间隔最大的分离超平面。 发明内容 [0005]针对现有技术中存在的不足， 本发明提供一种基于支持向量机的相机跟踪失败检 测方法。 [0006]本发明的目的是通过支持向量机训练ICP配准过程中获取的特征值来得到能检测 相机跟踪成功与否的模型。 [0007]本发明创新性地使用机器学习方法来辅助检测跟踪结果。 判定跟踪失败的基本方 法是手动设置从跟踪过程中提取的度量的阈值。 例如， 要求残差、 代价函数、 误差项不应大 于阈值。 在这项工作中， 我们训练一个分类器来分离跟踪失败案例和成功案例。 对于ICP的说　明　书 1/4 页 3 CN 115457214 A 3