|
近日我们的文章在IEEE TDSC在线发表。
Yuanjun Xia、Pengfei Zhang、Zuoli Zhang、Weizhi Meng、Shi Dong、Yining Liu. Verifiable and Byzantine-Robust Differentially Private Federated Learning. IEEE Transactions on Dependable and Secure Computing,DOI:10.1109/TDSC.2026.3744708
这篇论文的核心可以提炼为一句话:让多个机构在不直接共享原始数据的情况下共同训练 AI,同时减少隐私泄露、抵御恶意更新,并核验服务器的汇总结果。
论文提出的方案叫 VBDPFL,把差分隐私、恶意更新筛选和可验证聚合放进同一套联邦学习流程。它的主要价值在于兼顾这三个目标,并处理它们之间的矛盾:保护隐私需要加入噪声,但噪声又会干扰模型训练和恶意行为识别。
下面是一篇面向普通读者、适合公众号或知识社区发布的科普帖。
数据不出门,AI 就安全了吗?给联邦学习加上三道防线
假设几家医院想共同训练一个识别疾病的 AI。
每家医院都有自己的病例,但出于患者隐私和数据管理要求,这些资料不能随意集中到一起。只用一家医院的数据,模型见过的情况又可能不够丰富。
有没有办法,让大家共同训练模型,同时把病例留在各自医院?
联邦学习提供了一条思路:各家医院在本地训练,只把模型的“学习更新”交给服务器,由服务器汇总后,再把更新后的模型发给大家。如此往复,模型就能逐步吸收不同机构的数据经验。
听起来,数据没有离开医院,隐私问题似乎就解决了。
事情却没这么简单。
不交出原始数据,仍然可能泄露信息
可以把模型的训练更新理解成一份“学习笔记”:它记录了模型应该朝什么方向调整,才能在当前数据上表现得更好。
这份笔记虽然不是病例本身,却可能带有病例的痕迹。攻击者分析这些更新,有时能够推测某条记录是否参与过训练,甚至尝试还原原始样本。
与此同时,参与训练的机构或设备也未必都可靠。有的可能出现故障,有的可能被攻击者控制,故意上传错误更新,把模型带偏。这类可能提交任意错误信息的参与者,在分布式计算中被称为“拜占庭”参与者。
还有一个容易被忽略的问题:负责汇总更新的服务器,也可能算错。
所以,联邦学习要可靠运行,需要回答三个问题:
上传的学习更新,会不会泄露隐私?
有人故意捣乱,模型还能不能正常学习?
服务器返回的汇总结果,参与者能不能核验?
论文提出的 VBDPFL,就是围绕这三个问题设计的。
第一道防线:给学习更新加一点随机性
保护隐私的一种方法,是在上传更新前加入经过设计的随机噪声,这就是差分隐私的基本思路。
好比发布一份统计结果时,让某个人是否出现在数据中,对最终输出的影响受到限制。攻击者即使拿到输出,也更难据此判断这个人的具体信息。
在这篇论文中,客户端先限制更新的幅度,再加入高斯噪声,随后上传。
但噪声也有代价:模型接收到的学习信号变得不那么清晰,训练可能更慢,准确率也可能下降。
为缓解这一影响,作者设计了利用噪声符号信息的梯度校正机制,尝试在更新评估中部分补偿噪声的干扰。
这里需要把握一个分寸:这种校正的目标,是减轻噪声对训练和评估的影响,不能理解成“把噪声完全消除,同时免费获得隐私保护”。隐私强度和模型效果之间,依然存在取舍。
第二道防线:判断谁的更新更值得信任
识别恶意更新,不能只看谁和大多数人不一样。
仍以医院为例:儿童医院和老年病医院接触的人群不同,训练出来的更新自然可能有差异。这种差异有价值,简单地把“与别人不同”当成“有问题”,反而可能丢掉重要信息。
而攻击者也可以伪装,让恶意更新看起来没有那么突兀。
论文因此设计了一套综合信任评分,结合多个信号判断更新是否可疑,包括:
这次更新能否改善模型在参考数据上的表现;
更新幅度是否异常;
与该参与者过去的更新相比,是否突然发生明显变化;
更新方向是否出现可疑的不一致。
可以把它理解为一次综合体检:同时查看多个指标,形成判断。
在评分之后,系统再通过自适应筛选机制,确定需要排除的可疑更新,让其余更新参与汇总。
这样设计的目的,是在识别攻击的同时,尽量容纳不同参与者之间正常的数据差异。
第三道防线:让汇总结果可以被核验
即使客户端上传的更新经过了筛选,服务器的汇总结果仍然需要检查。
VBDPFL 为此引入了基于双线性配对的密码学验证机制。参与者上传更新时,还会生成配套的辅助参数和验证参数;服务器汇总后,参与者可以利用这些参数检查返回结果是否满足相应的数学关系。
通俗地说,这相当于给汇总结果配上一份可核对的“计算凭证”。
这里核验的是聚合计算结果是否符合协议中的关系。模型在现实中是否足够准确、是否适合某个医疗任务,还需要另外评估。
论文对服务器也有明确假设:它按照既定的恶意更新筛选流程执行,但可能试图从更新中推测隐私,或因资源限制产生不准确的汇总结果。因此,这套机制的安全结论需要放在论文设定的威胁模型下理解。
实验结果说明了什么?
作者在四类数据上进行了测试:智能手表活动数据、日常物体图片、服饰图片和外周血细胞显微图像。
实验同时考虑了各客户端数据分布比较接近,以及存在明显差异的情况,并测试了五类攻击,包括协同操纵更新、隐蔽扰动、后门攻击、自利行为和优化式模型投毒。恶意客户端比例覆盖了 10%—50%。
论文报告,在所测试的多种高恶意比例和攻击场景中,VBDPFL 的整体表现较稳定。消融实验也显示,移除信任评分中的某些惩罚项,会削弱防御效果,说明多个判断信号的组合发挥了作用。
但这种保护并非没有成本。没有攻击时,加入隐私噪声可能让准确率略低于普通联邦平均;隐私要求很强、噪声很大时,性能下降可能更加明显。
作者还测试了利用梯度重建原始数据的攻击。在论文给定的设置下,重建出来的图像和信号明显失真,表明方案能够削弱这类攻击的效果。这个结果有实验条件,不能据此推导出所有隐私攻击都已被解决。
距离实际应用,还有哪些条件?
一个关键条件是:服务器需要有一份可靠的参考数据,用来评估客户端更新。
这份数据是否具有代表性,会影响信任评分的质量。现实中,如果某家机构服务的人群特别少见,它的正常更新也可能显得异常。因此,论文中的结果还不能直接覆盖所有极端的数据差异场景。
作者也明确指出,对完全了解防御规则、并据此专门优化攻击方式的白盒自适应攻击,方案尚未提供全面保证,系统性测试仍属于后续工作。
这项研究给出的启发很具体:当多个机构共同训练 AI 时,除了考虑数据留在哪里,还要考虑交换的信息泄露了什么、参与者上传的更新是否可靠,以及汇总结果能否接受检查。
让数据留在本地,是合作的起点;让每一步交换与汇总都更可信,才能支撑长期合作。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2026-10-28 16:03
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社