(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211236327.X (22)申请日 2022.10.10 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 苏慧　卢修生　叶越　王瑾　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 戴莉 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于注意力重定位的弱监督定位方法 和装置 (57)摘要 本发明公开了一种基于注意力重定位的弱 监督定位方法和装置， 将图像切分成图像块并线 性投影映射成局部表征， 利用网络中第一层至倒 数第二层的tran sformer层的自注意力机制构建 类别关联向量； 对类别关联向量进行排序和积分 图操作 ， 构建重定位二值矩阵 ； 构建掩码 transformer层， 局部表征输入掩码transformer 层中获得分类权重向量； 基于分类权重向量对局 部表征实现加权和操作， 将类别表征和加权和结 果一并送入最后一层transformer层； 训练过程 中， 对最后一层transformer层的输出类别表征 和图像类别标签构建交叉熵损失函数， 进行训 练。 测试过程中融合类别关联向量和分类权重向 量， 获得目标检测框信息， 实现目标定位。 相较于 现有技术， 本发明充分发挥transformer长程依 赖能力， 目标定位能力更优。 权利要求书2页 说明书7页 附图2页 CN 115311504 A 2022.11.08 CN 115311504 A 1.一种基于注意力重 定位的弱监 督定位方法， 其特 征在于， 包括以下步骤： S1、 构建图像分类数据集； 所述图像分类数据集中包括训练集和测试集； 所述训练集由 图像和分类标签组成； S2、 调整图像分类数据集中的图像的宽和高， 将图像不交叠地切分成若干个图像块； 将 图像块进行线性投影映射成局部表征； 构建类别表征， 将局部表征和类别表征共同送入 Deit网络； 所述Deit网络中共有L层t ransformer层； S3、 通过Deit网络中第一层至第L ‑1层transformer层逐层利用自注意力机制构建类别 表征与局部表征之间的关联信息， 生成类别关联向量； S4、 对所有类别关联向量进行累加融合， 并对融合结果进行从大到小排序， 基于排序结 果构建积分图； S5、 基于积分图构建重定位二值矩阵， 对第L ‑1层transformer层输出的局部表征是否 需要重定位进行判断； S6、 基于重定位二值矩阵， 构建掩码t ransformer层； S7、 将L‑1层trans former层输出的局部表征送入掩码transfor mer层中， 再进行线性投 影映射和指数归一 化操作， 生成分类权 重向量； S8、 对于训练集的图像， 利用分类权重向量， 对第L ‑1层transformer层输出的局部表征 进行加权和操作， 将加权和结果与第L ‑1层transformer层输出的分类表征一同送入第L层 transformer层中； S9、 对第L层transformer层输出的分类表征进行线性投影映射， 生成图像分类结果， 基 于图像分类结果和图像分类标签构建交叉熵损失， 训练Deit网络； S10、 对于测试集的图像， 融合S3中的类别关联向量和S7中的分类权重向量， 生成激活 矩阵， 设置阈值， 根据激活矩阵中值与阈值之间的关系， 生成二值图， 基于二值图， 建立等级 树结构， 获取矩形框信息， 实现目标定位功能。 2.如权利要求1所述的一种基于注意力 重定位的弱监督定位方法， 其特征在于， 步骤S2 具体包括如下子步骤： S21、 调整图像分类数据集中的图像的宽和高均为2 24； S22、 将调整好的图像不交叠地切分成196个16 *16的图像块； S23、 对图像块进行线性投影映射成局部表征； S24、 构建 分类表征， 将分类表征和所有局部表征拼接在一 起， 生成全局表征； S25、 构建可学习位置编码， 对全局表征和可学习位置编码求和， 将求和结果送入Deit 网络。 3.如权利要求1所述的一种基于注意力 重定位的弱监督定位方法， 其特征在于， 步骤S2 中的Deit网络采用Deit ‑B_16， 共有12层t ransformer层。 4.如权利要求1所述的一种基于注意力 重定位的弱监督定位方法， 其特征在于， 步骤S1 中的图像分类数据集采用包 含若干个 类别的自然图像。 5.如权利要求1所述的一种基于注意力重定位的弱监督定位方法， 其特征在于， 步骤 S10中阈值为0.1， 令 激活矩阵中值大于阈值的置25 5， 小于阈值的置 0， 由此生成二 值图。 6.一种基于注意力重定位的弱监督定位装置， 其特征在于： 包括存储器和一个或多个 处理器， 所述存储器中存储有 可执行代码， 所述一个或多个处理器执行所述可执行代码时，权　利　要　求　书 1/2 页 2 CN 115311504 A 2用于实现权利要求1 ‑5任一项所述的一种基于注意力重 定位的弱监 督定位方法。 7.一种计算机可读存储介质， 其特征在于： 其上存储有程序， 该程序被处理器执行时, 实现权利要求1 ‑5任一项所述的一种基于注意力重 定位的弱监 督定位方法。权　利　要　求　书 2/2 页 3 CN 115311504 A 3