基于同态加密的神经网络模型训练方法

针对云环境下数据隐私泄露与基于同态加密的隐私保护神经网络中精度不足的问题,文中提出了一种双服务器协作的隐私保护神经网络训练(PPNT)方案,在云服务器协同训练过程中实现了对数据传输、计算过程及模型参数的隐私保护。首先,为避免使用多项式近似方法实现指数和比较等非线性函数,并提高非线性函数的计算精度,基于Paillier半同态加密方案和加法秘密共享技术设计了一系列基础安全计算协议;其次,在已设计的安全计算协议基础上,构造了神经网络中的全连接层、激活层、Softmax层及反向传播相应的安全计算协议,以实现PPNT方案;最后,通过理论与安全性分析,证明了PPNT方案的正确性及安全性。性能实验结果显示,与PPMLaaS方案相比,PPNT方案的模型精度提高了1.7%,且在安全计算过程中支持客户端离线。     

一种高效的非交互式隐私保护逻辑回归模型

逻辑回归作为一种典型的机器学习算法，被广泛应用于医疗诊断、金融预测等领域。由于单个用户没有足够的样本构建高精度模型，传统的集中式训练则会导致隐私泄露，因此构建具有隐私保护的逻辑回归模型受到广泛关注。现有的要求用户和服务器之间进行交互的方案具有较高的计算成本和通信负担。提出一种高效的非交互式逻辑回归训练协议，利用具有良可分离结构的梯度更新公式，解耦样本数据和模型参数之间的计算耦合性，保证用户与服务器之间的单向单次传输性，即用户将本地数据整合并以秘密共享的方式上传给云服务器后即可离线。在训练阶段设计基于矩阵和向量运算的协议，保证服务器在每次迭代中使用固定的信息更新参数，降低计算成本和通信开销。同时，基于协议的安全性分析和数值实验，在UCI库的4个真实数据集上训练逻辑回归模型，实验结果表明，在保证模型精度的前提下，与最新的隐私保护逻辑回归方案VANE相比，该回归模型效率提升了80～120倍，且训练时间与明文域相近。     

隐私保护线性回归方案与应用

线性回归是一种基础且应用广泛的机器学习算法,线性回归模型的训练通常依赖于大量的数据,而现实中数据集一般由不同的用户持有且包含用户的隐私信息,当多个用户想要集中大量的数据训练效果更好的模型时,会不可避免地涉及用户的隐私问题。同态加密作为一种隐私保护技术,可以有效解决计算中的隐私泄露问题。针对数据集水平分布在两个用户上的场景,结合CKKS同态加密技术,设计了一种新的基于混合迭代方法的隐私保护线性回归方案。该方案分为两个阶段：第一阶段实现了密文域上的随机梯度下降算法;第二阶段设计了一种安全两方快速下降协议,该协议的核心思想基于雅可比迭代算法,可以有效弥补实际应用中梯度下降法收敛效果不佳的缺陷,加速了模型的收敛,从而降低了方案的计算代价和通信损耗,在高效训练线性回归模型的同时保护了两个用户的数据隐私。分析了方案的效率、通信损耗以及安全性,利用C++实现了该方案并将其应用于真实数据集。大量实验结果表明,该方案可以高效地解决特征规模较大的线性回归问题,可决系数的相对误差小于0.001,这表明得到的隐私保护线性回归模型在真实数据集上的应用效果接近于直接在明文数据上求得的模型,可以满足特定场景下的实际...     

决策树隐私计算研究

为了应对信息时代隐私保护和数据挖掘两方面的要求，提出了一种基于函数秘密共享的决策树隐私计算协议。在机器学习即服务的模型下，服务提供商拥有训练好的决策树模型，用户拥有希望分类的数据，双方都想保护自己的数据不被泄漏。在这个场景下，该协议可以保护决策树的参数、分类数据以及最终分类结果的隐私。使用了基于函数秘密共享的分段函数协议、隐私比较协议、加性秘密共享等安全多方协议，在不影响正确率的情况下实现了隐私保护。     

基于内积加密的双向隐私保护医疗诊断云服务方案

部署于云平台的医疗诊断服务不仅推进了医疗资源的整合,还提高了病情诊断的精准性和高效性,但是该场景用户失去了对个人信息的掌控,对高度敏感的病理数据来说安全与隐私保护是实现基于云平台决断的前提.云端医疗数据的隐私保护可以通过差分隐私、安全多方计算和同态加密等密码学技术实现,避免泄露用户医疗大数据中的隐私信息.差分隐私中引入随机噪声会降低计算精度,安全多方计算技术面临昂贵的通信成本,同态加密需要花费较大的时间加密深度学习模型.本文基于内积加密技术提出一种实现双向隐私保护的医疗诊断云服务方案,不仅保护用户医疗大数据中的个人隐私,而且帮助模型开发方避免云端部署造成的模型信息泄漏风险,甚至能降低隐私保护技术对医疗诊断效率和准确率造成的影响.为了保障用户个人隐私,方案中用户上传密文形态的个人医疗数据到云端服务器,云服务器通过密文数据预测疾病的结果.该方案的疾病诊断服务由云服务器提供并维护,而疾病诊断服务的实现依赖于模型开发方部署到云端的模型.模型开发方使用自行的深度学习算法训练明文形式的数据集,并获得预训练模型,使之可以处理密文形式的数据.实验分析表明,所述模型能完成CRC-VAL-HE-7K数据集...     

联邦学习下高效的隐私保护安全聚合方案

联邦学习能使用户不共享原始数据的情况下, 允许多个用户协同训练模型. 为了确保用户本地数据集不被泄露, 现有的工作提出安全聚合协议. 但现有的多数方案存在未考虑全局模型隐私、系统计算资源与通信资源耗费较大等问题. 针对上述问题, 提出了联邦学习下高效的强安全的隐私保护安全聚合方案. 该方案利用对称同态加密技术实现了用户模型与全局模型的隐私保护, 利用秘密共享技术解决了用户掉线问题. 同时, 该方案利用Pedersen承诺来验证云服务器返回聚合结果的正确性, 利用BLS签名保护了用户与云服务器交互过程中的数据完整性. 此外, 安全性分析表明该方案是可证明安全的; 性能分析表明该方案是高效且实用的, 适用于大规模用户的联邦学习系统.     

边缘学习:隐私计算架构、技术现状与展望

边缘学习旨在实现云-边-端协同的机器学习模型训练和预测,天然具有一定隐私保护能力。但是,边缘学习过程面临新的安全与隐私泄露风险。为此,本文从边缘学习的概念出发,重点围绕边缘学习安全与隐私泄露风险及其隐私计算架构、关键技术、未来方向展开论述。     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

抗拜占庭攻击的隐私保护联邦学习

联邦学习是一种隐私保护的分布式机器学习框架,可以让各方参与者在不披露本地数据的前提下共建模型.然而,联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁.现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁,但是这些方案难以兼顾模型鲁棒性与计算高效性.针对此问题,本文提出一种抗拜占庭攻击的隐私保护联邦学习框架Sec FedDMC,在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御.基础方案Fed DMC采用“先降维后聚类”的策略,设计了高效精准的恶意客户端检测方法.此外,该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成,从而优化了算法在安全计算环境中的适用性.针对基础方案存在的用户数据隐私泄露问题,提出了基于安全多方计算技术的隐私增强方案Sec FedDMC.基于轻量级加法秘密分享技术,设计安全的正交三角分解协议和安全的特征分解协议,从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案,以保护模型训练和拜占庭节点识别过程中的用户隐私.经实验验证,Sec FedDMC在保护用户隐私的前提下,可以高效准确地识别拜占庭攻击节点,具有较好的鲁棒性.其中,本方案与...     

安全多方计算及其在机器学习中的应用

随着人工智能、大数据等技术的发展,数据采集、数据分析等应用日渐普及,隐私泄露问题越来越严重.数据保护技术的缺乏限制了企业之间数据的互通,导致形成"数据孤岛".安全多方计算(securemultiparty computation,MPC)技术能够在不泄露明文的情况下实现多方参与的数据协同计算,实现安全的数据流通,达到数据"可用不可见".隐私保护机器学习是当前MPC技术最典型也是最受关注的应用与研究领域,MPC技术的应用可以保证在不泄露用户数据隐私和服务商模型参数隐私的情况下进行训练和推理.针对MPC及其在隐私保护机器学习领域的应用进行全面的分析与总结,首先介绍了MPC的安全模型和安全目标;梳理MPC基础技术的发展脉络,包括混淆电路、不经意传输、秘密分享和同态加密;并对MPC基础技术的优缺点进行分析,提出不同技术方案的适用场景;进一步对基于MPC技术实现的隐私保护机器学习方案进行了介绍与分析;最后进行总结和展望.     

Improved secure PCA and LDA algorithms for intelligent computing in IoT-to-cloud setting

The rapid development of new technologies such as artificial intelligence and big data analysis requires the simultaneous development of cloud computing technology. The application of IoT-to-cloud setting has been fully applied in various industry sectors, such as sensor-cloud system which is composed of wireless sensor network and cloud computing technology. With the increasing amount and types of collected data, companies need to reduce the dimension of massive data in cloud servers for obtaining data analysis reports rapidly. Due to frequent cloud server data leaks, companies must adequately protect the privacy of some confidential data. To this end, we designed a dimension reduction method for ciphertext data in the sensor-cloud system based on the CKKS encryption scheme, principal component analysis (PCA) and linear discriminant analysis (LDA) dimension reduction algorithm. As data cannot be directly calculated using traditional PCA and LDA algorithm after encryption, we add some interactive operations and iterative calculations to replace some steps in traditional algorithms. Finally, we select the classification dataset IRIS which is commonly used in machine learning, and screen out the best encryption and calculation parameters, and efficiently realize the dimension reduction method of ciphertext data through a large number of experiments.     

云计算中数据隐私的安全保护机制

在云计算中,用户所拥有的数据信息通常被存放在遥远的云端,而其它用户常常能够访问这些数据且这些数据通常不由数据拥有者自己控制和管理.在此状况下,如何在云计算中保护用户的数据隐私安全则是一个十分具有挑战性的问题.为了解决这个问题,本文提出了一种数据隐私的安全保护机制.在此安全保护机制中,针对用户数据上载和访问的过程,首先提出了一种数据隐私保护的安全流程.在此基础上,提出了用户数据安全存储算法和云端数据安全访问算法.为了证明这种保护机制的有效性,本文对其安全性能进行了一系列的分析.分析结果表明：在云计算中使用这种机制能够确保数据隐私的安全性.     

Privacy-preserving anomaly counting for time-series data in edge-assisted crowdsensing

Crowdsensing is an emerging data collection paradigm that enables data collected from a large number of Internet of Things devices to support effective decision-making. Anomaly counting as a data analysis method allows the identification of unintended behaviors to enhance decision-making capabilities. However, ensuring the sensing data privacy and increasing the willingness of data providers are significant challenges to guarantee quality decision-making. This paper proposes a flexible mechanism to provide the service of privacy-preserving anomaly counting for time-series data in edge-assisted crowdsensing. Specifically, to protect the sensing data of the data providers, a secure secret sharing protocol is designed based on additive secret sharing. Next, a privacy-preserving anomaly counting algorithm based on the windowed Gaussian anomaly detector is proposed, and multiple secure sub-protocols are employed as building blocks to guarantee the privacy of the counting result and the sensing data. Additionally, the algorithm supports flexible setting of the metric of anomaly detection by the data requester when the anomaly score of sensing data is protected. Security analysis proves that the proposed scheme protects the sensing data and the results of anomaly counting for data providers and the data requester respectively. A series of experiments based on two real datasets and smart devices demonstrate that the proposed scheme is effective and saves more than half of the computation, communication, and storage cost for data providers.     

基于模分量的同态加密方法研究与应用

随着云计算的发展,海量数据的处理正逐渐从用户本地转向云服务器,然而数据本身可能携带大量用户隐私,且一旦用户将数据上传至云服务器,就失去了对数据的完全掌控能力,该类数据一旦被非法获取,用户身份、行为、偏好等各类隐私就可能被暴露。因此,如何保证在不暴露原始数据的情况下让受委托的云服务器在密文下执行运算成为一个重要的研究课题。本文基于密码学和计算机视觉相关理论,针对隐私数据安全处理的问题,以模分量的同态性质为基础设计了两种加密方法,分别为基于混淆模分解的同态加密方法和基于密模聚合的同态加密方法,并给出了安全性分析。并将这两种方法应用于视觉盲计算领域中,实现计算方在无需获取任何原始数据有效信息的密文条件下,完成对数据的盲处理,实现了数据的可用不可见。实验结果表明,基于密模聚合模同态加密的运动目标盲提取方法,在多数测试场景中能在不降低原始算法准确率的前提下,在时间效率上明显优于基于混合高斯模型的运动目标盲提取和基于多服务器秘密共享的前景提取等方法;基于混淆模分解同态加密的人脸盲检测方法,能在不降低原始人脸检测算法识别的准确率前提下,实现视频监控人脸的盲检测,且检测速度大幅度快于基于随机子图的隐秘...     

Engineering of secure multi-cloud storage

This article addresses security and privacy issues associated with storing data in public cloud services. It presents an architecture based on a novel secure cloud gateway that allows client systems to store sensitive data in a semi-trusted multi-cloud environment while providing confidentiality, integrity, and availability of data. This proxy system implements a space-efficient, computationally-secure threshold secret sharing scheme to store shares of a secret in several distinct cloud datastores. Moreover, the system integrates a comprehensive set of security measures and cryptographic protocols to mitigate threats induced by cloud computing. Performance in practice and code quality of the implementation are analyzed in extensive experiments and measurements.     

基于属性基加密的区块链数据共享模型

为确保当前区块链数据共享机制中的隐私保护及数据安全,受属性基加密技术能够有效实现云上数据安全共享与访问控制的启发,提出了基于属性基加密的区块链数据共享模型.该模型基于Waters所提出的密文策略属性基加密(CP-ABE)方案,首先,在私钥生成阶段,数据使用方委托多个节点参与联合计算并存储部分私钥,其他数据使用者则不可获取完整密钥,从而提升了私钥的生成效率;其次,为防止密钥滥用及算法中参数的管理,定义了一种密钥传递事务数据结构,实现了CP-ABE算法的可追责性;最后,通过构建具有链上链下协同计算与存储功能的共享链,实现了属性基加密与区块链系统的有效融合.安全性分析和实验仿真结果表明,所提模型在密钥生成计算效率和实际业务场景方面有一定的优化,满足工程应用的需要.     

基于同态加密的云环境障碍最短路径导航的隐私保护算法

针对基于位置服务(LBS)中外包计算最短路径可能泄露用户隐私的问题,基于同态加密和安全多方计算,提出了一个基于同态加密的云环境障碍最短路径导航的隐私保护算法,为用户和数据所有者提供隐私保护.在该算法中,使用安全多方计算解决两种不同条件下计算道路中有无障碍物的最短路径隐私问题,并基于同态加密提出了有障碍物查询和无障碍物查询两个协议.最后,依照上述协议在理论和实践两个方面证明了所提出框架的有效性.     

Privacy preserving Back-propagation neural network learning over arbitrarily partitioned data

Neural networks have been an active research area for decades. However, privacy bothers many when the training dataset for the neural networks is distributed between two parties, which is quite common nowadays. Existing cryptographic approaches such as secure scalar product protocol provide a secure way for neural network learning when the training dataset is vertically partitioned. In this paper, we present a privacy preserving algorithm for the neural network learning when the dataset is arbitrarily partitioned between the two parties. We show that our algorithm is very secure and leaks no knowledge (except the final weights learned by both parties) about other party’s data. We demonstrate the efficiency of our algorithm by experiments on real world data.     

Privacy-preserving convolutional neural network prediction with low latency and lightweight users

Convolutional neural networks (CNNs) have excellent and extensive applications in image recognition. With the continuous exploitation of data value and the proliferation of machine learning-as-a-service, convolutional neural network prediction schemes on privacy preservation have been introduced one after another, which makes much more attention focused on the privacy leakage and services offered to be efficient and light. Therefore, how to improve the convolutional neural prediction scheme on the premise of privacy preservation turns out to be an imperative research issue. In this paper, we propose a privacy-preserving convolutional neural network prediction scheme (PCP-LL) that supports low latency and lightweight users. The scheme starts from the perspective of lossless accuracy from underlying networks. First, we construct a secure activation function computing protocol (SActF) utilizing a commodity-based secure comparison protocol, which reduces the complexity and latency during the activation function computing under ciphertexts compared with common schemes. Second, to further support lightweight users, we introduce a secure output layer protocol (SOut) that enables users to obtain the prediction results without extra decryption after simple operations. Then, the scheme adopts the distributed two trapdoors public-key cryptosystem (DT-PKC) to achieve both data and model security, which well avoids security issues especially such as wiretapping by semi-honest participants commonly in secret sharing schemes. Finally, through relevant evaluations, the scheme not only achieves privacy preservation and low latency, but also supports lightweight users.     

基于模分量的同态加密方法研究与应用CSCD

随着云计算的发展,海量数据的处理正逐渐从用户本地转向云服务器,然而数据本身可能携带大量用户隐私,且一旦用户将数据上传至云服务器,就失去了对数据的完全掌控能力,该类数据一旦被非法获取,用户身份、行为、偏好等各类隐私就可能被暴露。因此,如何保证在不暴露原始数据的情况下让受委托的云服务器在密文下执行运算成为一个重要的研究课题。本文基于密码学和计算机视觉相关理论,针对隐私数据安全处理的问题,以模分量的同态性质为基础设计了两种加密方法,分别为基于混淆模分解的同态加密方法和基于密模聚合的同态加密方法,并给出了安全性分析。并将这两种方法应用于视觉盲计算领域中,实现计算方在无需获取任何原始数据有效信息的密文条件下,完成对数据的盲处理,实现了数据的可用不可见。实验结果表明,基于密模聚合模同态加密的运动目标盲提取方法,在多数测试场景中能在不降低原始算法准确率的前提下,在时间效率上明显优于基于混合高斯模型的运动目标盲提取和基于多服务器秘密共享的前景提取等方法;基于混淆模分解同态加密的人脸盲检测方法,能在不降低原始人脸检测算法识别的准确率前提下,实现视频监控人脸的盲检测,且检测速度大幅度快于基于随机子图的隐秘人脸检测方法和基于随机向量的隐秘人脸检测等算法。