(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211187661.0 (22)申请日 2022.09.28 (71)申请人 中国科学院计算 技术研究所 地址 100190 北京市海淀区中关村科 学院 南路6号 (72)发明人 陈益强　卢旺　秦欣　 (74)专利代理 机构 北京泛华伟业知识产权代理 有限公司 1 1280 专利代理师 王勇 (51)Int.Cl. G06N 20/00(2019.01) G06F 21/62(2013.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) (54)发明名称 一种联邦学习方法及领域泛化联邦系统 (57)摘要 一种联邦学习方法及领域泛化联邦系统。 本 发明提供一种联邦学习方法， 包括服务端将初始 化的服务端模型发给多个客户端作为客户端模 型， 服务端和客户端配合完成多轮训练， 得到最 终的服务端模型和客户端模型， 每轮包括： S1、 每 个客户端根据本地训练集训练最新得到的客户 端模型， 得到本轮训练后的客户端模型； S2、 服务 端确定每个位置的参数在本轮所有训练后的客 户端模型中更新方向 的一致性指标， 对一致性指 标满足预设条件的参数进行聚合， 以更新当前的 服务端模型的参数， 得到 更新的服务端模型； S3、 每个客户端基于本轮训练前的和训练后的客户 端模型以及当前轮获得的服务端模型确定训练 后的客户端模 型的通用参数， 根据当前轮次的服 务端模型更新通用的参数， 得到当前轮更新后的 客户端模型。 权利要求书3页 说明书13页 附图1页 CN 115456200 A 2022.12.09 CN 115456200 A 1.一种联邦学习方法， 所述方法包括由服务端将初始化的服务端模型分发给多个客户 端作为初始的客户端模型， 以及由服务端和客户端配合完成多轮联邦训练， 其中， 每轮联邦 训练包括： S1、 在每个客户端利用其本地训练集训练其客户端模型， 得到本轮训练后的多个客户 端模型并上传到服务端， 其中， 不同客户端的本地训练集中样本的输入数据的维度相同且 其标签类型 的集合相同， 第一轮训练的当前 的客户端模型为初始的客户端模型， 其他轮训 练的当前客户端模型为 其上一轮训练更新后的客户端模型； S2、 由服务端基于步骤S1上传的多个客户端模型， 确定在多个客户端模型中每个位置 处的参数更新方向的一致性指标， 以及基于所述一致性指标对多个客户端模型的相应位置 处的参数进行聚合， 以更新当前的服 务端模型的参数， 并下发给多个客户端； S3、 由每个客户端基于本轮训练前的客户端模型、 本轮训练后的客户端模型和在当前 轮获得的服务端模型确定当前轮训练后的客户端模型的通用参数， 以及根据当前轮次的服 务端模型 更新各个客户端模型中的通用参数， 得到当前轮更新后的客户端模型。 2.根据权利要求1所述的方法， 其特征在于， 当客户端的数量小于等于预定的数量阈值 时， 所述S2包括： 计算每个本轮训练后的客户端模型的每个位置的参数与当前的服务端模型的对应位 置处的参数变化 值； 针对本轮训练后的所有客户端模型中的每个位置的所有参数， 根据其对应位置处参数 变化值为正的数量与参数变化 值为负的数量， 计算该位置的参数 更新方向的一 致性指标； 将本轮训练后的所有客户端模型中一致性指标大于等于预定分数的位置处的参数进 行聚合， 得到聚合的结果。 3.根据权利要求2所述的方法， 其特征在于， 所述参数更新方向的一致性指标计算方式 如下： 其中， scorej表示第j个位置的参数的一致性指标， N表示本轮训练后的客户端模型总 数， 表示本轮训练后的第i个客户端模型的第j个位 置的参数相对当前的服 务端模型的第j个位置处的参数变化 值。 4.根据权利要求2所述的方法， 其特征在于， 步骤S2中按照以下方式更新当前的服务端 模型的参数： 其中， 表示第t轮更新得到的第j个位置的参数， 表示第t‑1轮更新得到的服务 端模型的第j个位置的参数， scorej表示第j个位置的参数的一致性指标， mask( ·)∈{0,1} 表示指示是否需要更新当前 的服务端模型 的第j个位置的参数的掩模， 一致性指标大于等 于预定分数的参数对应掩模的值设为 1， 其余的参数对应的掩模的值设为0， N表示本轮训练 后的客户端模型总数， 表示本轮训练后的第i个客户端模型的第j个位置的参数相对当权　利　要　求　书 1/3 页 2 CN 115456200 A 2前的服务端模型的第j个位置 处的参数变化值， wi表示本轮训练后的第i个客户端模型的更 新权重参数。 5.根据权利要求1所述的方法， 其特征在于， 当客户端的数量超过预定的数量阈值时， 所述S2包括： 对多个本轮训练后的客户端模型进行分组以及对分组后的得到的每个分组进行组内 聚合， 得到每 个分组的代 表模型； 基于每个分组的代表模型进行组间聚合， 得到聚合的结果， 其中， 组间聚合包括以下步 骤： 计算每个代表模型的每个位置的参数与当前的服务端模型的对应位置处的参数变化 值； 针对所有代表模型中的每个位置得到所有参数， 根据其对应位置处参数变化值为正的 数量与参数变化 值为负的数量， 计算该位置的参数 更新方向的一 致性指标； 将全部代表模型中一致性指标大于等于预定分数的位置处 的参数进行聚合， 得到聚合 的结果。 6.根据权利要求5所述的方法， 其特征在于， 所述进行分组以及对分组后的得到的每个 分组进行组内聚合的方式包括： 获取每个客户端利用上一轮收到的服务端模型提取的其本地训练集中所有样本的特 征计算得到的所有样本的特 征均值和特 征方差； 基于各个客户端确定的所有样本的特征均值和特征方差对多个本轮训练后的客户端 模型进行分组， 得到多个分组； 对每个分组内的多个本轮训练后的客户端模型的参数进行参数聚合， 得到该分组的代 表模型。 7.根据权利要求6所述的方法， 其特 征在于， 所述分组的方式包括： 将各客户端确定的所有样本的特征均值和特征方差输入聚类算法进行聚类以得到多 个分组， 其中， 聚类算法为K ‑means聚类算法或高斯混合聚类算法。 8.根据权利要求6所述的方法， 其特征在于， 所述对每个分组内的多个本轮训练后的客 户端模型的参数进行参数聚合的方式如下： 其中， 表示第t轮次的第k个分组的代表模型 的模型参数， mk表示第k个分组的本轮 训练后的客户端模型总数量， 表示对应分组的第i个本轮训练后的客户端模型的更新权 重参数， 表示对应分组的第i个本轮训练后的客户端模型的参数。 9.根据权利要求1所述的方法， 其特 征在于， 步骤S3包括： S31、 计算本轮训练后的客户端模型的每个位置的参数与本轮训练前的客户端模型的 对应位置的参数的训练变化 值； S32、 计算更新的服务端模型的每个位置的参数与本轮训练前的客户端模型的对应位 置的参数的聚合变化 值；权　利　要　求　书 2/3 页 3 CN 115456200 A 3