张泽辉, 富瑶, 高铁杠. 支持数据隐私保护的联邦深度神经网络模型研究. 自动化学报, 2022, 48(5): 1273−1284 doi: 10.16383/j.aas.c200236

Zhang Ze-Hui, Fu Yao, Gao Tie-Gang. Research on federated deep neural network model for data privacy protection. Acta Automatica Sinica, 2022, 48(5): 1273−1284 doi: 10.16383/j.aas.c200236

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200236?viewType=HTML

联邦学习, 深度学习, 数据隐私, 同态加密, 神经网络

近些年, 人工智能技术已经在图像分类、目标检测、语义分割、智能控制以及故障诊断等领域得到广泛应用, 然而某些行业(例如医疗行业)由于数据隐私的原因, 多个研究机构或组织难以共享数据训练联邦学习模型. 因此, 将同态加密(Homomorphic encryption, HE)算法技术引入到联邦学习中, 提出一种支持数据隐私保护的联邦深度神经网络模型(Privacy-preserving federated deep neural network, PFDNN). 该模型通过对其权重参数的同态加密保证了数据的隐私性, 并极大地减少了训练过程中的加解密计算量. 通过理论分析与实验验证, 所提出的联邦深度神经网络模型具有较好的安全性, 并且能够保证较高的精度.

近年来, 人工智能技术已经在图像分类、目标检测、语义分割、智能控制以及故障诊断等领域取得了优秀的成果. 在解决某些特殊问题方面, 深度学习算法已经逼近甚至超过人类水平. 深度学习技术的快速发展主要依赖于丰富的数据集、算法的创新和运算设备性能的大幅提升. 其中, 数据集的丰富程度对深度学习模型的性能水平产生直接影响. 但是, 某些行业考虑到数据隐私泄露的问题, 难以共享数据进行集中式学习. 例如医疗行业在数据共享的过程中, 某些病人的信息可能会泄露到不法分子手中, 不法分子则利用患者信息推销非法药品、谋财害命. 因此, 为进一步提升模型性能水平, 能够组织多个研究机构通过共享本地模型参数的方式, 实现协同训练全局模型的联邦学习算法被提出.

针对机器学习中数据隐私泄露的问题, 一些隐私保护的方法被提出, 主要可以分为以安全多方计算(Secure multiparty computation, SMPC)、同态加密(Homomorphic encryption, HE)为代表的基于加密的隐私保护方法和以差分隐私(Differential privacy, DP)为代表的基于扰动的隐私保护方法.

安全多方计算是指两个或者多个持有私有数据的参与者通过联合计算得到输出, 并且满足正确性、隐私性、公平性等特性. Bonawitz等提出一种基于秘密共享的安全多方计算协议, 旨在保证设备与服务端之间通信, 并可以用于联邦学习的参数聚合过程. 与传统密码学方法相比, 该协议的优点在于其计算代价并不高, 但由于通信过程涉及大量安全密钥及其他参数, 可能导致通信代价会高于计算代价.

同态加密方案能够保证对密文执行的特定数学运算会对其明文有着相同的影响. 贾春福等提出一种在同态加密数据集上训练机器学习算法的方案. 这类方法能够很好地解决隐私安全问题, 既可以将加密的数据聚合在一起进行模型训练, 也可以采用联邦学习进行模型训练. 然而, 该类方法需要根据所构建的机器学习模型, 选用或设计恰当的同态加密方案对训练数据进行加密, 对密码学知识有着较高的要求. 同时, 由于对数据加密需要大量的算力资源, 该类方法不适用于大数据环境下的深度学习模型训练. Phong等提出通过对联邦学习过程中各训练者产生的梯度数据进行加密, 从而保证多个参与训练者的本地数据隐私安全. 这类方法通过对梯度参数进行加密保护, 能够很好地保护数据隐私安全. 然而, 该方法的加密运算量与训练数据量的大小直接相关, 会大大增加模型训练时间和计算成本, 并且没有对偏置项进行考虑.

差分隐私技术指在模型训练过程中引入随机性, 即添加一定程度的随机噪声, 使输出结果与真实结果存在着一定程度的偏差, 从而防止攻击者推理. Agrawal等提出通过对训练数据集进行扰动, 实现联邦深度神经网络的隐私保护. Shokri等通过在神经网络模型的梯度参数上添加噪声, 从而实现数据隐私的保护. Truex等针对联邦学习模型, 提出一种结合差分隐私和安全多方计算的隐私保护方案, 能够在保护数据隐私的同时, 还有着较高的准确率. 然而在梯度参数上添加噪声, 可能会造成机器学习模型训练时收敛难度增大、预测精度下降, 降低模型的使用性能.

针对上述问题, 本文提出一种支持数据隐私保护的联邦深度神经网络模型. 本文主要贡献有两个: 1) 对多层神经网络的训练过程进行分析, 详细地论述模型权重参数与梯度参数是如何泄露数据集信息的. 2) 基于此, 将固定的偏置项参数改为随机数生成, 从而避免由于梯度参数信息泄露而导致数据信息的直接泄露; 并且将模型梯度参数加密替换为神经网络模型的权重参数加密, 从而减少了加解密运算量; 同时训练者可选择多种优化算法, 不再局限于随机梯度下降法, 使得提出的方法更加适用于真实场景.

图 1  联邦学习结构

图 3  不同比例的数据信息泄露

图 6  支持数据隐私保护的联邦学习训练过程