(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211212877.8 (22)申请日 2022.09.30 (71)申请人 西安交通大 学 地址 710049 陕西省西安市碑林区咸宁西 路28号 (72)发明人 田智强　潘希言　王硕　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 陈翠兰 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种医学影 像目标检测方法及系统 (57)摘要 本发明公开了一种医学影像目标检测方法 及系统， 根据医学影像中目标检测的任务目标， 搭建深度强化学习智能体的交互环 境， 通过检测 二维医学影像中的感兴趣区域， 来定位指定器官 的所在区域； 根据所述适用于目标检测任务的马 尔科夫决策过程， 构建单智能体竞争双深度Q网 络结构， 网络模型在深度Q网络的基础上进行了 竞争结构的改进以及动作值函数计算的优化， 使 其稳定性与学习效率得到了增强， 本发明通过深 度强化学习中的智能体与二维医学影像环境的 交互来获得深度神经网络的训练数据， 能够有效 提升网络模型 学习的稳定性和效率。 权利要求书2页 说明书7页 附图1页 CN 115496737 A 2022.12.20 CN 115496737 A 1.一种医学影 像目标检测方法， 其特 征在于， 包括以下步骤： S1、 根据医学影 像中目标检测的任务目标， 搭建深度强化学习智能体的交 互环境； S2、 根据所述深度强化学习智能体的交互环境， 建立用于目标检测任务的马尔科夫决 策因素； S3、 根据所述适用于目标检测任务的马尔科夫 决策过程， 构建单智能体竞争双深度Q网 络结构； S4、 根据所述单智能体竞争双深度Q网络结构， 构建医学影 像目标检测经验样本集 合； S5、 计算所述医学影 像目标检测经验样本集 合中每个经验样本的重要性； S6、 根据每个经验样本的重要性， 训练深度强化学习网络模型， 利用训练完成的深度强 化学习网络模型进行医学影 像目标检测。 2.根据权利要求1所述的一种医学影像目标检测方法， 其特征在于， 搭建二维医学影像 器官数据的强化学习环境， 所述 强化学习环境的参数包含环 境的维度、 边界、 检测目标的位 置与形状大小， 以及强化学习中智能体的状态s、 奖励值r、 衰减因子γ。 3.根据权利要求1所述的一种医学影像目标检测方法， 其特征在于， 所述适用于目标检 测任务的马尔科 夫决策因素包括状态集 合S、 动作集 合A及奖励函数R。 4.根据权利要求3所述的一种医学影像目标检测方法， 其特征在于， 所述状态集合S用 二维预测框p＝[px1,py1,px2,py2]中的像素值表示， 其中(px1,py1)和(px2,py2)分别表示二维 预测框左上角点的坐标与右下角点的坐标。 5.根据权利要求3所述的一种医学影像目标检测方法， 其特征在于， 所述动作集合 其中前四个动作是对预测框位置的平移， 后四个动作 是对预测框形状上宽或高的增 加或减少。 6.根据权利要求3所述的一种医学影像目标检测方法， 其特征在于， 所述奖励函数R用 公式表示为r(s,a,s')＝(EIoUs'‑EIoUs)*σ， 其中σ 是用于放大反馈信号以增加网络学习能 力的奖励倍数， EIoUs'与EIoUs分别表示采 取动作后的新状态s ’下的EIoU与采取动作前的当 前状态s下的EIoU， 用公式表示为 其中IoU 表示预测框与真实框标准的交并比值， b、 w、 h分别表示预测框的质心、 宽与高， bgt、 wgt、 hgt分 别表示真实框的质心、 宽与高， ρ2计算的是预测框与真实框对应属性之差的平方， c、 cw、 ch分 别表示包 含预测框和真实框的最小矩形区域的对角线长度、 宽与高。 7.根据权利要求1所述的一种医学影像目标检测方法， 其特征在于， 所述单智能体竞争 双深度Q网络结构通过卷积层从输入的图像中学习底层特征， 通过全连接层从卷积层提取 的抽象特 征中捕获高级特 征并拟合每 个状态下所有动作对应的Q 值作为期望回报值输出。 8.根据权利要求1所述的一种医学影像目标检测方法， 其特征在于， 所述医学影像目标 检测经验样本集合由四元组(s,a,r,s ’)组成， 其中s表示当前的状态， a表示智能体选择的 具体动作， r表示在状态s下选择动作a环境给予的反馈奖励值， s ’表示智能体进行动作a后 的状态； 所述状态s和s ’在医学影像目标检测任务中设定为智能体当前的视野； 所述医学影 像目标检测经验样本在智能体与环境的交互中生成， 每次交互由智能体选择状态s下 的动 作a， 环境给予即时奖励值r作为动作好坏的反馈， 同时到达新的状态s ’， 学习到的经验样本权　利　要　求　书 1/2 页 2 CN 115496737 A 2(s,a,r,s ’)按队列顺序放入经验回放区， 组成可重复获取的经验样本集 合。 9.根据权利要求1所述的一种医学影像目标检测方法， 其特征在于， 所述经验样本的重 要性代表每个经验样本的抽样优先级， 优先级抽样策略为每个经验样本i赋予重要性p， 在 抽样时按照其重要性占比作为抽到的概率， 用公式表示为 其中α 是一个0到1 之间用来平衡随机抽样与优先级抽样的超参数， 当α ＝0时每个经验样本具有同样的重要性 p＝1即随机抽样， 当α ＝1时每 个经验样本具有其原本 定义的重要性即优先级抽样。 10.一种医学影 像目标检测系统， 其特 征在于， 包括预训练模块及检测模块： 预训练模块， 根据医学影像中目标检测的任务目标， 搭建深度强化学习智能体的交互 环境； 根据所述深度强化学习智能体的交互环境， 建立用于目标检测任务的马尔科夫决策 因素； 根据所述适用于目标检测任务的马尔科夫决策过程， 构建单智能体竞争双深度Q网络 结构； 根据所述单智能体竞争双深度Q网络结构， 构建医学影像目标检测经验样本集合； 计 算所述医学影像目标检测经验样本集合中每个经验样本的重要性； 根据每个经验样本的重 要性， 训练深度强化学习网络模型； 检测模块根据输入待检测目标图像， 利用训练完成的深度强化学习网络模型进行医学 影像目标检测并输出检测结果。权　利　要　求　书 2/2 页 3 CN 115496737 A 3