(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211223857.0 (22)申请日 2022.10.09 (71)申请人 中国海洋大学 地址 266100 山东省青岛市崂山区松岭路 238号 (72)发明人 聂婕　郑程予　赵恩源　左子杰　 刘安安　宋丹　李文辉　孙正雅　 张文生　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 赵梅 (51)Int.Cl. G06F 16/532(2019.01) G06F 16/55(2019.01) G06F 16/58(2019.01)G06F 16/583(2019.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 多标签引导和多视图度量的海洋遥感图像 检索方法及系统 (57)摘要 本发明属于遥感图像处理技术领域， 公开了 多标签引导和多视图度量的海洋遥感图像检索 方法及系统， 首先提取海洋遥感图像的多尺度图 像特征、 标签特征和文本特征， 然后通过使用类 相关交叉引导算法进行多尺度图像特征和标签 特征之间的双重交叉引导以实现语义解耦， 同时 实现类别相关的特征挖掘和图像分类， 最后将图 像和文本两种模态的特征表示解耦为多个视角， 除了通过多视角测量模块设置传统的文本特征 与图像特征的相似度匹配外， 还将多分类语义特 征与文本 特征相匹配， 以消除图像和文本之间的 差异。 权利要求书2页 说明书7页 附图3页 CN 115309927 A 2022.11.08 CN 115309927 A 1.多标签引导和多视图度量的海洋遥感图像 检索方法， 其特 征在于， 包括以下步骤： 步骤1、 提取多尺度图像特征： 对于一个待查询海洋遥感图像， 首先由深度残差网络进 行图像的特征嵌入操作， 将得到的图像基础特征以不同采样率的空洞卷积进行采样， 得到 多尺度图像特 征X； 步骤2、 提取标签特征： 把预先标注得到的多分类标签进行词嵌入得到独热表示， 得到 多分类标签特 征P， 步骤3、 提取文本特征： 利用词向量嵌入模型和Skip ‑thought文本处理模型进行文本特 征提取， 得到文本特 征T； 步骤4、 使用类相关交叉引导算法进行步骤1提取的多尺度图像特征X和步骤2得到的多 分类标签特征P之间的双重交叉引导以实现语义解耦， 同时实现类别相关的特征挖掘和图 像分类； 具体是： 利用双Tr ansformer的解码器构建类相关交叉引导模块， 包括视觉类引导 单元和类视 觉引导单 元两个单 元， 首先进行视觉类引导， 对图像进行多分类并产生多分类语义特征， 用于后续类视觉引 导和多视角测量： 将步骤1得到的多尺度图像特征X作为多尺度视觉信息， 将步骤2得到多分 类标签特征P作为多分类标签信息， 把多尺度视觉信息与多分类标签信息进行结合， 在视觉 类引导单元中， 多尺度视觉信息作为Transformer中的K&V， 多分类标签信息作为 Transformer 中的Q， 以弱训练方式实现图像特征指导网络的训练过程， 并得到图像引导的 类信息 ， 其中QKV的计算过程遵循以下公式：  （1） 其中Q、 K和V分别表示 查询、 键和值的矩阵， 为比例因子； 然后进行类视觉引导， 实现分类特征指导图像特征， 获取与类别相关的图像特征和图 像分类： 在类视觉引导单元中， 多尺度视觉信息作为Transformer中的Q， 图像引导的类信息 作为Trans former中 的K&V， 实现分类特征指导图像特征的自适应训练过程， 得到类别引 导的视觉信息 ； 其中QKV的计算过程遵循公式同公式 （1） ； 最后将类别引导的视觉信息 和多尺度视觉信息X  通过Cont at方式拼接串联到一起 得到视觉终特征F， 公式如下： 其中， contat表示特征拼接操作； 步骤5、 将步骤3的文本特征和步骤4的图像特征两种模态特征表示解耦为多个视角， 将 图文特征相匹配的同时， 亦将多分类语义特征与文本特征T相匹配， 消除图像和文本 之间的 差异， 具体是使用余弦相似度算法计算视觉终特征 F和文本特征 T相似度、 计算图像引导的 类信息 和文本特 征T之间的相似度；权　利　要　求　书 1/2 页 2 CN 115309927 A 2步骤6、 迭代步骤1 ‑步骤5， 反向传播至模型收敛， 直至检索到所有与待查询的海洋遥感 图像有着相同对象实例的所有图像。 2.根据权利要求1所述的多标签引 导和多视图度量的海洋遥感图像检索方法， 其特征 在于， 步骤5在计算相似度时， 损失函数包括双向三元组损失和交叉熵损失两部分， 双向三 元组损失 公式如下： 其中 表示间隔参数， ， 代表图像特征和文本 特征的相似度， 公式中第一个求和是考虑给定图像 I的所有否定句子 ， 第二个求和考虑 给定句子 T的所有否定图像 ， 间隔参数 的作用是拉大图像与正文本对和图像与负文本 对之间的差距， n 为样本数量； 交叉熵损失 公式如下： 其中Y是海洋遥感图像的多分类预测结果， 是对应的多标签， N是指训练样本的数量； 最后， 将三元组损失函数和交叉熵损失函数加权融合得到联合损失函数， 公式如下： 其中 为超参数。 3.多标签引导和多视图度量的海洋遥感图像检索系统， 其特征在于， 用于实现如权利 要求1或2所述的多 标签引导和多视图度量的海洋遥感图像检索方法， 包括： 输入模块、 多尺 度图像特征提取模块、 标签特征提取模块、 文本特征提取模块、 类相关交叉引导模块、 多视 角测量模块和输出模块， 所述输入 模块， 用于 输入待查询的海洋遥感图像； 所述多尺度图像特 征提取模块， 用于提取多尺度图像特 征； 所述标签特 征提取模块， 用于获取 标签特征； 所述文本特 征提取模块， 用于提取文本特 征； 所述类相关交叉引导模块， 包括视觉类引导单元和类视觉引导单元， 视觉类引导单元 实现图像特征指导分类网络进 行图像分类， 类视觉引导单元实现分类特征指导图像特征自 适应地探索有效信息； 所述多视角测量模块， 用于将图像和文本两种模态特征表示解耦为多个视角， 将多分 类语义特征与文本特 征相匹配， 消除图像和文本之间的差异； 所述输出模块， 用于输出检索结果， 得到所有与待查询的海洋遥感图像有着相同对象 实例的所有图像。权　利　要　求　书 2/2 页 3 CN 115309927 A 3