(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211264266.8 (22)申请日 2022.10.17 (71)申请人 中国民航大 学 地址 300399 天津市东 丽区津北公路2898 号 (72)发明人 张攀　刘雨晗　崔明　张威　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 孟金喆 (51)Int.Cl. B65G 15/30(2006.01) B65G 47/52(2006.01) B65G 57/03(2006.01) B65G 43/08(2006.01) G06V 20/00(2022.01)G06V 10/22(2022.01) G06V 10/24(2022.01) G06V 10/764(2022.01) B07C 5/34(2006.01) B07C 5/36(2006.01) (54)发明名称 机场行李自动接取方法、 装置、 设备、 系统及 介质 (57)摘要 本发明公开了一种机场行李自动接取方法、 装置、 设备、 系统及介质。 该方法包括： 获取前端 传送带当前传送的待接取行李的第一彩色点云 信息， 获取待接取行李的行李类别； 如果行李类 别为可码放行李， 则获取待接取行李相对于后端 传送带的行李位姿信息， 以及 待接取行李的行李 尺寸信息； 根据行李尺寸信息， 确定待接取行李 在码垛区域内的目标码放区域； 将目标码放区域 和行李位姿信息发送至行李 接放机器人， 以控制 行李接放机器人按照由行李位姿信息确定的接 取位置和接取姿态接取后端传送带上的待接取 行李后， 将待接取行李码放至目标码放区域。 通 过采用上述技术方案， 能够实现对机场行李的自 动分类、 接取 以及精准摆放， 有效提高机场的经 济性和运行效率。 权利要求书4页 说明书15页 附图4页 CN 115321090 A 2022.11.11 CN 115321090 A 1.一种机场行李自动接取 方法， 其特 征在于， 包括： 获取前端传送带当前传送的待接取行李的第 一彩色点云信 息， 并根据第 一彩色点云信 息， 获取所述待接取 行李的行李类别； 如果行李类别为可码放行李， 则在待接取行李从前端传送带传送至后端传送带后， 获 取待接取 行李相对于后端传送带的行李位姿信息， 以及待接取 行李的行李 尺寸信息； 根据行李 尺寸信息， 确定待接取 行李在码垛区域内的目标码放区域； 将目标码放区域和行李位姿信 息发送至靠近后端传送带设置的行李接放机器人， 以控 制行李接放机器人按照由行李位姿信息确定的接取位置和接取姿态接取后端传送带上的 待接取行李后， 将待接取 行李码放至目标码放区域。 2.根据权利要求1所述的方法， 其特征在于， 获取前端传送带当前传送的待接取行李的 第一彩色点云信息， 并根据第一彩色点云信息， 获取 所述待接取 行李的行李类别， 包括： 通过行李分类区域内设置的分类相机， 获取前端传送带当前传送的待接取行李的第 一 彩色点云信息， 第一彩色点云信息包括第一彩色图像和第一 点云数据； 生成与第一彩色图像匹配的图像特征矩阵， 并生成与第 一点云数据匹配的点云特征矩 阵； 对图像特 征矩阵和点云特 征矩阵进行 特征拼接， 得到特 征拼接矩阵； 将特征拼接矩阵输入至预先训练的卷积神经网络分类模型中， 获取所述待接取行李的 行李类别。 3.根据权利要求2所述的方法， 其特征在于， 生成与第一彩色图像匹配的图像特征矩 阵， 包括： 将所述第 一彩色图像进行至少一项图像预处理操作后， 将预处理后图像映射得到n ×n 阶的图像特 征矩阵； 其中， 所述图像预处理操作包括： 第 一彩色图像 中感兴趣区域的识别及裁剪、 第 一彩色 图像的图像尺寸调整以及第一彩色图像的灰度化处 理； 生成与第一 点云数据匹配的点云特 征矩阵， 包括： 重定义第 一点云数据的点云坐标轴方向， 其中， 点云坐标轴中的z轴正方向重定义为垂 直于待接取 行李所在平面且远离待接取 行李所在平面的方向； 对第一点云数据进行直 通滤波， 筛 选出主体点云数据； 创建所述主体点云数据的最小立方体包围盒， 其中， 所述最小立方体包围盒的各面均 与点云坐标轴中的各坐标平面垂直或平行； 将所述最小立方体包围盒在点云坐标轴中的xoy平面内进行投影， 得到目标投影正方 形， 并将目标投影正方 形划分为 n×n个局部正方 形； 将主体点云数据向xoy平面内进行投影， 并根据每个局部正方形中所落入的主体点云 数据点的z坐标均值， 形成n ×n阶的高度特 征矩阵； 使用x方向梯度算子对所述高度 特征矩阵进行卷积运算， 得到x方向卷积结果， 并使用y 方向梯度算子对所述高度特 征矩阵进行 卷积运算， 得到y方向卷积结果； 将x方向卷积结果和y方向卷积结果进行模相加， 得到与三维点云数据匹配的点云特征 矩阵。 4.根据权利要求1所述的方法， 其特征在于， 获取待接取行李相对于后端传送带的行李权　利　要　求　书 1/4 页 2 CN 115321090 A 2位姿信息， 包括： 通过形位采集区域内设置的形位测量相机， 获取后端传送带上待接取行李的第 二彩色 点云信息， 第二彩色点云信息包括第二彩色图像和第二 点云数据； 重定义第 二点云数据的点云坐标轴方向， 其中， 点云坐标轴中的z轴正方向重定义为垂 直于待接取 行李所在平面且远离待接取 行李所在平面的方向； 舍弃第二点云数据的高度坐标值后， 将第二点云数据向xoy平面投影为平面点云数据 L； 其中， ， ， i为点云数据点的序号， pi表示L中序号为i的点 云数据点； n 为平面点云数据中的点云数据点总数量； 计算L的几何中心， 并计算所述几何中心相对于后端传送端轴线的偏移位置； 按照公式： ， ， 对L进行去均 值化处理， 得 到第一点云处理数据Ld， Avg(.)为各 行元素的均值； 按照公式： ， ， 对Ld进行归一化处理， 得到第 二点云处理数据L’， Max(.)为各 行元素的最大值； 按照公式： 计算得到L’的协方差矩阵C， 并获取与C中的最大特征值对应的目标特征向量与后端传 送带运动方向之间夹角， 作为第一旋转角度 ； 提取所述第 二彩色图像中行李边缘的至少一个直线组， 并在所述至少一个直线组中获 取包围面积最大目标直线组作为行李边 缘所在直线组； 在所述目标直线组中， 获取第 一长边和第 二长边的对称轴与后端传送带轴 线所夹的锐 角， 作为第二旋转角度 ； 在 和 中， 选取待接取 行李相对于后端传送带轴线的偏转角度。 5.根据权利要求4所述的方法， 其特征在于， 在 和 中， 选取待接取行李相对于后端 传送带轴线的偏转角度， 包括： 以L的几何中心作为旋转中心O,将L中的每个点云数据点按照下述公式分别围绕O点旋 转‑ 和‑ ， 得到与 对应的第一旋转 点云数据和与 对应的第二旋转 点云数据； ； 其中， m=1,2； (xi,yi)表示L中的第i个点云数据点坐标； x0表示旋转中心O的x轴值、 y0表权　利　要　求　书 2/4 页 3 CN 115321090 A 3