(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211188905.7 (22)申请日 2022.09.27 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 周琳娜　杨震　王任颖　陈贤浩　 林清然　储贝林　毛羽哲　 (74)专利代理 机构 北京永创新实专利事务所 11121 专利代理师 周长琪 (51)Int.Cl. G06V 40/40(2022.01) G06V 20/70(2022.01) G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于语义分割的特定人物视觉伪造检 测与鉴别方法 (57)摘要 本发明公开一种基于语义分割的特定人物 视觉伪造检测与鉴别方法， 属于深度伪造与检测 技术领域， 提出了一种以特定人物的深度伪造视 频检测为研究目标， 基于半监督和语义分割的基 本方法构建目标任务的个人特征模 型， 对构建的 人脸区域属性掩码进行选择并分类， 综合各属性 分类权重输出结果的伪造视频检测方式。 首先本 发明构建基于语义分割的目标人物区域掩膜数 据集； 其次建立个人语义模型进行视觉伪造检测 与鉴别对深度伪造视频进行检测。 制作数据集过 程中， 利用半监督机器学习算法扩增数据集， 解 决特定人物数据集不足的问题并降低人工标注 成本。 权利要求书2页 说明书5页 附图1页 CN 115482595 A 2022.12.16 CN 115482595 A 1.一种基于语义分割的特定人物视觉伪造检测与鉴别方法， 其特征在于： 分为语义分 割部分与伪造检测与鉴别部分； 所述语义分割部分对深度伪 造人脸进行语义分割： 将目标人物图像根据 人脸的十一个 特征进行标注， 形成初始训练集； 利用初始训练集采用半监督的语义分割模型生成目标人 物的掩膜数据集； 所述伪造检测与鉴别部分根据语义分割后的目标人物掩膜数据与该掩膜数据对应的 人脸图片进 行点乘， 获取指 定的图片属性区域， 进一步对获得的区域属性进行模 型构造， 具 体为： 对每张目标人物的原始人脸图片z， 通过掩膜数据集中五官各自分割开的图片掩膜a与 手动选择的感兴趣五官区域向量V结合， 获取面部五官感兴趣区域， 然后再将其与对应的原 始人脸图片进行点乘， 生成所需要的面部感兴趣区域的条件张量T； 将输入图片z与该图片z对应的张量T进行点乘， 将点乘处理结果p(z)输入到生成对抗 网络中进 行姿态无关的识别处理； 上述选定感兴趣区域的张量T与 原图z进行点乘处理的公 式如下所示： p(z)＝z·T＝z·a·V 将p(z)以及给定的姿态输入生成器G； 由生成器G利用给定的姿态生成相应的假 图片， 利用判别器D对生成的假图片的姿态以及身份进 行判断， 不断进 行对抗训练， 直至达到判别 器D认为生成器G生成的假图片与 原始输入图片的身份相同的临界状态， 得到姿态无关的人 脸图片； 在姿态无关的识别处理之后， 将经过姿态改变的人脸图片x的各个面部分割属性区域 输入到单个的卷积神经网络中进行分类处理， 并且构建一个新的CNN二分类分类器； 其中， 通过卷积网络学习图片特征， 通过池化层减少 输出维度， 通过全连接层对深度特征进行融 合， 最终形成分类结果并输出， 达 到识别输入图片是正样本或负 样本的目的。 2.如权利要求1所述一种基于语义分割的特定人物视觉伪造检测与鉴别方法， 其特征 在于： 语义分割方法为： 对选取人脸图像视频中随机抽帧的N张图片进行手动标注， 手动标注过程中需要对11 处部位的所在区域进 行标记； 之后将标注产生的json格式文件与标注的图片原图一同进 行 处理， 得到不同面部类别标签的掩膜数据集； 选用语义分割网络Deeplab v3+训练， 输入手动标注生成的N张掩膜数据 集图片， 通过深 度学习模 型， 对人脸图像中剩下的M张未经过标注的图片进 行机器自动标注， 实现半监督机 器学习的标注， 具体为： 构建出同样结构、 权 重初始值 不同的两个 语义分割网络P1和P2： P1＝f(X； θ1) P2＝f(X； θ2) 其中， X表示对N张已标注图片实行数据增强后的输入图片； θ1与θ2分别表示P1与P2两个 网络的权重； Y表示两个语义分割网络得到的伪标签； 对两个分割网络， 通过argmax操作得 到对应的one ‑hot标签Y1和Y2； 然后将这两个伪标签作 为监督信号， 用Y2作为P1的监督， Y1作 为P2的监督， 并用交叉熵损失函数约束； 最终将使用语义分割网络机器生成标注的M张图片 与原始手动标注的N张图片结合构成目标 人物的掩膜数据集。权　利　要　求　书 1/2 页 2 CN 115482595 A 23.如权利要求1所述的基于语义分割的特定人物视觉伪造检测与鉴别方法， 其特征在 于： 在分类器损失函数的设计上， 用二元交叉熵(BCE)损失函数衡量其分类损失， LY的形式 化定义为如下公式： LY(x,y)＝BC E(p,y)＝ ‑(y*log(p))+(1‑y)*log(1‑p) 其中， x表示输入图像， p是分类器的预测 分类输出， y∈{0,1}为真假标签， 在二分类任 务中采用sigmo id激活函数对输出进行处 理。权　利　要　求　书 2/2 页 3 CN 115482595 A 3