面向机器学习的隐私保护关键技术研究综述

随着信息通信技术的发展,机器学习已经成为多个研究领域与垂直行业必不可少的技术工具。然而,机器学习所需数据中往往包含了大量的个人信息,使其隐私保护面临风险与挑战,受到了越来越多的关注。对现有机器学习下隐私保护法规政策与标准化现状进行梳理,对适用于机器学习的隐私保护技术进行详细介绍与分析。隐私保护算法通常会对数据质量、通信开支与模型表现等造成影响,因此对于隐私保护算法的评估应当进行多维度的综合评估。总结了适用于机器学习应用的隐私保护性能评估指标,并指出隐私保护需要考虑对数据质量、通信开支以及模型准确率等之间的影响。     

基于安全多方计算的两方推理

数字基础设施的发展加速了个人隐私数据在机器学习中的应用。随着机器学习即服务的市场规模逐步扩大，服务提供商和用户在双向获利的同时也面临着严重的隐私泄露风险。因此，安全推理作为隐私保护机器学习的一个分支，成为科学界和工业界的研究热点。安全多方计算是安全推理最重要的密码学工具。从机器学习推理中潜在的隐私问题出发，引入安全多方计算技术，进一步对基于安全多方计算实现的安全推理框架进行分析研究，重点分析和评估了业界先进且实用的技术框架。最后进行了总结与展望，给出了隐私保护机器学习及安全推理的未来发展的思考与建议。     

基于联邦学习的本地化差分隐私机制研究

联邦学习与群体学习作为当前热门的分布式机器学习范式，前者能够保护用户数据不被第三方获得的前提下在服务器中实现模型参数共享计算，后者在无中心服务器的前提下利用区块链技术实现所有用户同等地聚合模型参数。但是，通过分析模型训练后的参数，如深度神经网络训练的权值，仍然可能泄露用户的隐私信息。目前，在联邦学习下运用本地化差分隐私(LDP)保护模型参数的方法层出不穷，但皆难以在较小的隐私预算和用户数量下缩小模型测试精度差。针对此问题，该文提出正负分段机制(PNPM)，在聚合前对本地模型参数进行扰动。首先，证明了该机制满足严格的差分隐私定义，保证了算法的隐私性；其次分析了该机制能够在较少的用户数量下保证模型的精度，保证了机制的有效性；最后，在3种主流图像分类数据集上与其他最先进的方法在模型准确性、隐私保护方面进行了比较，表现出了较好的性能。     

面向物联网隐私数据分析的分布式弹性网络回归学习算法

为了解决基于集中式算法的传统物联网数据分析处理方式易引发网络带宽压力过大、延迟过高以及数据隐私安全等问题,该文针对弹性网络回归这一典型的线性回归模型,提出一种面向物联网(IoT)的分布式学习算法。该算法基于交替方向乘子法(ADMM),将弹性网络回归目标优化问题分解为多个能够由物联网节点利用本地数据进行独立求解的子问题。不同于传统的集中式算法,该算法并不要求物联网节点将隐私数据上传至服务器进行训练,而仅仅传递本地训练的中间参数,再由服务器进行简单整合,以这样的协作方式经过多轮迭代获得最终结果。基于两个典型数据集的实验结果表明:该算法能够在几十轮迭代内快速收敛到最优解。相比于由单个节点独立训练模型的本地化算法,该算法提高了模型结果的有效性和准确性;相比于集中式算法,该算法在确保计算准确性和可扩展性的同时,可有效地保护个体隐私数据的安全性。     

基于视觉联合学习的教育数据挖掘隐私保护技术

在过去十年中，教育越来越依赖人工智能，然而，在智能时代，隐私泄露已经成为一个必须立即解决的重要问题。为了实现这一目标，介绍了人工智能领域新兴的联合学习概念，分析了联合学习的定义、系统模型和训练过程以及隐私保护技术，并将联合学习与各种教育数据挖掘算法相结合。该框架可以在不集成数据的情况下对某些活动和情况执行加密训练，然后生成反映所有数据特征的可视化模型? 联合可视化是联合学习体系结构在可视化领域的扩展，它主要侧重于在维护数据隐私的前提下，在对来自多个数据源的数据进行可视化分析时，部署一种互利双赢的联合合作技术，必须消除行业数据壁垒，共享数据和专业知识，以解决教育数据挖掘中可能出现的隐私保护问题，研究发现，联合学习方法原则上可以保护数据隐私，并且易于集成到现有的教育应用中。在保护隐私的基础上，使用联合可视化框架可以最大限度地提高模型的准确性，联合学习将为教育的信息化和智能化发展提供一条新的途径，Simulink 软件对电路进行了仿真，并在仿真的基础上搭建了实验样机。实验结果与理论分析基本一致，验证了改进型电路拓扑的可行性和实用性。     

一种改进的隐私保护关联规则挖掘算法

隐私保护数据挖掘旨在不访问真实数据的情况下,获得隐藏在数据中的模式或规则。文中介绍隐私保护数据挖掘的几种算法。针对基于部分隐藏随机化回答数据隐私保护挖掘算法(RRPH)中使用多参数扰动数据后,K项集真实支持度计算时间成本高的弊端,提出基于粒度技术的部分隐藏随机化回答数据隐私保护挖掘算法(BRRPH)。该算法在RRPH算法的基础上,使用Bitmap表示技术粒度化数据,把支持度计算的数据处理方式转换成粒度计算的方式,项集真实支持度计算转变成了粒度的交集计算。实验表明在不改变准确性和隐私性的情况下,算法时间效率有大幅度的提高。     

基于联邦学习的隐私保护区域交通流量预测模型

区域交通流量预测是智慧交通系统的一项重要功能。联邦学习可以支持多位置服务提供商(Location Service Provider, LSP)的联合训练,使得训练数据集可以更加全面地覆盖整个区域的交通流量,提高预测准确率。但是,当前基于联邦学习的区域交通流量预测方案存在车辆数据去重、训练节点背叛以及隐私泄露等问题。为此,构建了基于联邦学习的隐私保护区域交通流量预测(Privacy-Preserving Regional Traffic Flow Prediction based on Federated Learning, PPRTFP-FL)模型。模型采用中心部署架构,由联邦中央服务器协调各个LSP联合完成模型的训练,并对全局模型进行梯度聚合与模型更新;采用交叉评价加权聚合的策略来防御部分不可信节点对全局模型的恶意攻击,提升了全局模型的鲁棒性;预测阶段使用同态加密聚合算法,各LSP在不泄露自身运营数据的情况下实现了更准确的流量预测。利用相关数据集进行测试,测试结果表明当训练数据集覆盖区域流量充分的情况下,本模型相比本地模型的预测准确率有明显的提升。对模型进行不同比例的恶意节点攻击实验...     

基于生成对抗网络的差分隐私数据发布方法

机器学习的飞速发展使其成为数据挖掘领域最有效的工具之一,但算法的训练过程往往需要大量的用户数据,给用户带来了极大的隐私泄漏风险.由于数据统计特征的复杂性及语义丰富性,传统隐私数据发布方法往往需要对原始数据进行过度清洗,导致数据可用性低而难以再适用于数据挖掘任务.为此,提出了一种基于生成对抗网络（Generative Adversarial Network,GAN）的差分隐私数据发布方法,通过在GAN模型训练的梯度上添加精心设计的噪声来实现差分隐私,确保GAN可无限量生成符合源数据统计特性且不泄露隐私的合成数据.针对现有同类方法合成数据质量低、模型收敛缓慢等问题,设计多种优化策略来灵活调整隐私预算分配并减小总体噪声规模,同时从理论上证明了合成数据严格满足差分隐私特性.在公开数据集上与现有方法进行实验对比,结果表明本方法能够更高效地生成质量更高的隐私保护数据,适用于多种数据分析任务.     

基于同态加密的高效安全联邦学习聚合框架

为了解决联邦学习数据安全以及加密后通信开销大等问题，提出了一种基于同态加密的高效安全联邦聚合框架。在联邦学习过程中，用户数据的隐私安全问题亟须解决，然而在训练过程中采用加密方案带来的计算和通信开销又会影响训练效率。在既要保护数据安全又要保证训练效率的情况下，首先，采用Top-K梯度选择方法对模型梯度进行筛选，减少了需要上传的梯度数量，提出适合多边缘节点的候选量化协议和安全候选索引合并算法，进一步降低通信开销、加速同态加密计算。其次，由于神经网络每层模型参数具有高斯分布的特性，对选择的模型梯度进行裁剪量化，并采用梯度无符号量化协议以加速同态加密计算。最后，实验结果表明，在联邦学习的场景下，所提框架既保证了数据隐私安全，又具有较高的准确率和高效的性能。     

联邦学习中的模型逆向攻防研究综述

联邦学习作为一种分布式机器学习技术可以解决数据孤岛问题,但机器学习模型会无意识地记忆训练数据,导致参与方上传的模型参数与全局模型会遭受各种隐私攻击。针对隐私攻击中的模型逆向攻击,对现有的攻击方法进行了系统总结。首先,概括并详细分析了模型逆向攻击的理论框架;其次,从威胁模型的角度对现有的攻击方法进行总结分析与比较;再次,总结与比较了不同技术类型的防御策略;最后,对现有模型逆向攻击常用的评估标准及数据集进行汇总,并对模型逆向攻击现有的主要挑战以及未来研究方向进行总结。     

Air interface design for edge intelligence

Recent breakthroughs in artificial intelligence(AI) give rise to a plethora of intelligent applications and services based on machine learning algorithms such as deep neural networks(DNNs). With the proliferation of Internet of things(IoT) and mobile edge computing, these applications are being pushed to the network edge, thus enabling a new paradigm termed as edge intelligence. This provokes the demand for decentralized implementation of learning algorithms over edge networks to distill the int...     

An intelligent and privacy-enhanced data sharing strategy for blockchain-empowered Internet of Things

With the development of the Internet of Things (IoT), the massive data sharing between IoT devices improves the Quality of Service (QoS) and user experience in various IoT applications. However, data sharing may cause serious privacy leakages to data providers. To address this problem, in this study, data sharing is realized through model sharing, based on which a secure data sharing mechanism, called BP2P-FL, is proposed using peer-to-peer federated learning with the privacy protection of data providers. In addition, by introducing the blockchain to the data sharing, every training process is recorded to ensure that data providers offer high-quality data. For further privacy protection, the differential privacy technology is used to disturb the global data sharing model. The experimental results show that BP2P-FL has high accuracy and feasibility in the data sharing of various IoT applications.     

Internet of things intrusion detection model and algorithm based on cloud computing and multi-feature extraction extreme learning machine

With the rapid development of the Internet of Things (IoT), there are several challenges pertaining to security in IoT applications. Compared with the characteristics of the traditional Internet, the IoT has many problems, such as large assets, complex and diverse structures, and lack of computing resources. Traditional network intrusion detection systems cannot meet the security needs of IoT applications. In view of this situation, this study applies cloud computing and machine learning to the intrusion detection system of IoT to improve detection performance. Usually, traditional intrusion detection algorithms require considerable time for training, and these intrusion detection algorithms are not suitable for cloud computing due to the limited computing power and storage capacity of cloud nodes; therefore, it is necessary to study intrusion detection algorithms with low weights, short training time, and high detection accuracy for deployment and application on cloud nodes. An appropriate classification algorithm is a primary factor for deploying cloud computing intrusion prevention systems and a prerequisite for the system to respond to intrusion and reduce intrusion threats. This paper discusses the problems related to IoT intrusion prevention in cloud computing environments. Based on the analysis of cloud computing security threats, this study extensively explores IoT intrusion detection, cloud node monitoring, and intrusion response in cloud computing environments by using cloud computing, an improved extreme learning machine, and other methods. We use the Multi-Feature Extraction Extreme Learning Machine (MFE-ELM) algorithm for cloud computing, which adds a multi-feature extraction process to cloud servers, and use the deployed MFE-ELM algorithm on cloud nodes to detect and discover network intrusions to cloud nodes. In our simulation experiments, a classical dataset for intrusion detection is selected as a test, and test steps such as data preprocessing, feature engineering, model training, and result analysis are performed. The experimental results show that the proposed algorithm can effectively detect and identify most network data packets with good model performance and achieve efficient intrusion detection for heterogeneous data of the IoT from cloud nodes. Furthermore, it can enable the cloud server to discover nodes with serious security threats in the cloud cluster in real time, so that further security protection measures can be taken to obtain the optimal intrusion response strategy for the cloud cluster.     

Splitting and placement of data-intensive applications with machine learning for power system in cloud computing

Aiming to meet the growing demand for observation and analysis in power systems that based on Internet of Things (IoT), machine learning technology has been adopted to deal with the data-intensive power electronics applications in IoT. By feeding previous power electronic data into the learning model, accurate information is drawn, and the quality of IoT-based power services is improved. Generally, the data-intensive electronic applications with machine learning are split into numerous data/control constrained tasks by workflow technology. The efficient execution of this data-intensive Power Workflow (PW) needs massive computing resources, which are available in the cloud infrastructure. Nevertheless, the execution efficiency of PW decreases due to inappropriate sub-task and data placement. In addition, the power consumption explodes due to massive data acquisition. To address these challenges, a PW placement method named PWP is devised. Specifically, the Non-dominated Sorting Differential Evolution (NSDE) is used to generate placement strategies. The simulation experiments show that PWP achieves the best trade-off among data acquisition time, power consumption, load distribution and privacy preservation, confirming that PWP is effective for the placement problem.     

基于量子遗传的超参数自动调优算法的设计与实现

机器学习伴随着海量数据的支持以及强大的计算能力为其提供了强有力的保证下不断地向前发展,训练过程变得更加高效便捷。在此基础上,机器学习算法的超参数对其性能的影响是非常巨大的,因此对众多的超参数进行优化选择就自然有了强烈的需求。由此本文提出了一种基于量子遗传的超参数自动调优算法,实验表明,在针对多种机器学习模型的超参数调优问题上,既解决了一般随机算法的不稳定性的问题,也解决了一般进化算法迭代缓慢、收敛速度较低的问题,并且通过实验结果表明取得了不错的效果。     

Review on application progress of federated learning model and security hazard protection

Federated learning is a new type of distributed learning framework that allows multiple participants to share training results without revealing their data privacy. As data privacy becomes more important, it becomes difficult to collect data from multiple data owners to make machine learning predictions due to the lack of data security. Data is forced to be stored independently between companies, creating “data silos”. With the goal of safeguarding data privacy and security, the federated learning framework greatly expands the amount of training data, effectively improving the shortcomings of traditional machine learning and deep learning, and bringing AI algorithms closer to our reality. In the context of the current international data security issues, federated learning is developing rapidly and has gradually moved from the theoretical to the applied level. The paper first introduces the federated learning framework, analyzes its advantages, reviews the results of federated learning applications in industries such as communication and healthcare, then analyzes the pitfalls of federated learning and discusses the security issues that should be considered in applications, and finally looks into the future of federated learning and the application layer.     

数据新鲜度驱动的协作式无人机联邦学习智能决策优化研究

联邦学习是6G关键技术之一,其可以在保护数据隐私的前提下,利用跨设备的数据训练一个可用且安全的共享模型。然而,大部分终端设备由于处理能力有限,无法支持复杂的机器学习模型训练过程。在异构网络融合环境下移动边缘计算(MEC)框架中,多个无人机(UAVs)作为空中边缘服务器以协作的方式灵活地在目标区域内移动,并且及时收集新鲜数据进行联邦学习本地训练以确保数据学习的实时性。该文综合考虑数据新鲜程度、通信代价和模型质量等多个因素,对无人机飞行轨迹、与终端设备的通信决策以及无人机之间的协同工作方式进行综合优化。进一步,该文使用基于优先级的可分解多智能体深度强化学习算法解决多无人机联邦学习的连续在线决策问题,以实现高效的协作和控制。通过采用多个真实数据集进行仿真实验,仿真结果验证了所提出的算法在不同的数据分布以及快速变化的动态环境下都能取得优越的性能。     

面向电磁大数据分析的图形化编程平台

在大数据时代,依靠以机器学习为代表的人工智能技术从海量、复杂多样的电磁大数据中快速挖掘出有效的信息是当前的研究热点。面向电磁数据的机器学习算法具有多样性、多变性的特点,要求相关人员具有专业能力与编程知识。为解决电磁大数据挖掘实现过程中的复杂编程问题,提出面向电磁大数据的图形化编程平台,将机器学习的各类算法组件化,用户无需编写代码即可建立机器学习模型和工作流分析数据,并以可视化的方式分析电磁数据,帮助用户进一步理解数据,具有快速开发与易上手的优点。