面向边-端协同的并行解码器图像修复方法

针对现有神经网络图像修复方法在移动终端设备上部署存在效果差、响应时间长、高能耗的问题,提出了一种面向边-端协同的并行解码器图像修复方法及计算卸载策略。结合移动边缘计算（mobile edge computing,MEC）技术边-端协同的特性,提出一种面向边-端协同的并行解码器门控卷积图像修复网络ETG-Net（edge-terminal gated convolution network）。通过边-端共享权值的方式,提升图像修复及训练效率,并保留移动终端的独立工作能力。基于计算卸载决策,将图像修复部分计算任务有选择地卸载至边缘云,进一步降低终端节点的计算时延和能耗。实验结果表明,与近年来先进的模型相比,所提模型在保证图像修复质量的同时,解决了移动终端设备上部署图像修复模型存在的问题,降低了任务的响应时延。     

基于云‒端融合的个性化推荐服务系统

主流个性化推荐服务系统通常利用部署在云端的模型进行推荐,因此需要将用户交互行为等隐私数据上传到云端,这会造成隐私泄露的隐患。为了保护用户隐私,可以在客户端处理用户敏感数据,然而,客户端存在通信瓶颈和计算资源瓶颈。针对上述挑战,设计了一个基于云?端融合的个性化推荐服务系统。该系统将传统的云端推荐模型拆分成用户表征模型和排序模型,在云端预训练用户表征模型后,将其部署到客户端,排序模型则部署到云端;同时,采用小规模的循环神经网络（RNN）抽取用户交互日志中的时序信息来训练用户表征,并通过Lasso算法对用户表征进行压缩,从而在降低云端和客户端之间的通信量以及客户端的计算开销的同时防止推荐准确率的下跌。基于RecSys Challenge 2015数据集进行了实验,结果表明,所设计系统的推荐准确率和GRU4REC模型相当,而压缩后的用户表征体积仅为压缩前的34.8%,计算开销较低。     

边缘计算下的联邦学习应用研究

随着移动设备自身存储和计算能力的提升,越来越多移动设备在本地进行数据处理,如传感器,智能穿戴设备和车载应用等。当前机器学习技术在计算机视觉,自然语言处理,模式识别等领域取得了巨大成功,然而当前机器学习方法是中心化的,数据中心或者云服务器能够对数据进行访问。联邦学习作为新型的分布式机器学习范式,借助设备本身的存储和计算能力,能够在数据不出本地的情况下进行机器学习中的模型共建,从而保护数据隐私,从而有效解决数据孤岛问题。边缘计算能够在靠近设备端提供计算,存储和网络资源,为高带宽低时延的应用提供基础。在联邦学习训练中,设备数量增加,设备网络情况复杂多变等均为联邦学习中的联合训练上带来了巨大挑战,如设备选择,网络通信开销大等状况。本文首先介绍了边缘计算的基础,以及联邦学习的联合训练流程,通过对联邦学习和边缘计算的融合应用进行分析研究,进一步我们对基于边缘计算的联邦学习做了分析,最后我们对当前的主要挑战以及未来的研究方向做了总结。     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

一种隐私保护的卷积神经网络预测方案

机器学习在图像目标识别、语音识别和图像处理等领域有广泛的应用.卷积神经网络是机器学习领域中广为流行的架构,训练模型所需计算代价对资源受限的用户来说难以负担,因此越来越多的模型所有者将预测服务托管在云平台上以供用户按需使用.在现有方案中,云端处理数据时可能会泄露用户数据和模型参数,预测准确度不高,且用户与云服务器交互需要大量通信开销.本文提出隐私保护的卷积神经网络预测方案,服务器基于密文模型对用户提供的密文数据进行预测,同时保护用户的隐私数据以及模型参数.而且,用户在上传加密数据之后即可离线等待预测结果,在预测任务执行期间与服务器间无需交互.理论和实验表明,所提方案提高了CNN预测方案的安全性,降低了用户的通信代价,最高可达到93%的预测准确率,与明文数据预测准确率近似相等.     

机器学习隐私保护研究综述

机器学习已成为大数据、物联网和云计算等领域核心技术.机器学习模型训练需要大量数据,这些数据通常通过众包方式收集,里面含有大量隐私数据包括个人身份信息（如电话号码、身份证号等）、敏感信息（如金融财务、医疗健康等信息）.如何低成本且高效地保护这些数据是一个重要的问题.介绍了机器学习及其隐私定义和隐私威胁,重点对机器学习隐私保护主流技术的工作原理和突出特点进行了阐述,并分别按照差分隐私、同态加密和安全多方计算等机制对机器学习隐私保护领域的研究成果进行了综述.在此基础上,对比分析了机器学习不同隐私保护机制的主要优缺点.最后,对机器学习隐私保护的发展趋势进行展望,并提出了该领域未来可能的研究方向.     

基于边缘的联邦学习模型清洗和设备聚类方法

参与联邦学习的终端设备只需在各自的本地数据集上训练本地模型,并在服务器的协同下共同训练一个全局预测模型.因此,联邦学习可以在不共享终端设备的隐私和敏感数据的情况下实现机器学习的目的 .然而,大量终端设备对服务器的高并发访问会增加模型更新的传输延迟,并且本地模型可能是与全局模型收敛方向相反的恶意模型,因此联邦学习过程中会产生大量额外的通信成本.现有工作主要集中在减少通信轮数或清除本地脏数据,本文研究了一种基于边缘的模型清洗和设备聚类方法,以减少本地更新总数.具体来说,通过计算本地更新参数和全局模型参数在多维上的余弦相似度来判断本地更新是否是必要的,从而避免不必要的通信.同时,终端设备根据其所在的网络位置聚类,并通过移动边缘节点以簇的形式与云端通信,从而避免与服务器高并发访问相关的延迟.本文以Softmax回归和卷积神经网络实现MNIST手写数字识别为例验证了所提方法在提高通信效率上的有效性.实验结果表明,相比传统的联邦学习,本文提出的基于边缘的模型清洗和设备聚类方法减少了60％的本地更新数,模型的收敛速度提高了10.3％.     

基于梯度选择的轻量化差分隐私保护联邦学习

为了应对机器学习过程中可能出现的用户隐私问题，联邦学习作为首个无需用户上传真实数据、仅上传模型更新的协作式在线学习解决方案，已经受到人们的广泛关注与研究。然而，它要求用户在本地训练且上传的模型更新中仍可能包含敏感信息，从而带来了新的隐私保护问题。与此同时，必须在用户本地进行完整训练的特点也使得联邦学习过程中的运算与通信开销问题成为一项挑战，亟需人们建立一种轻量化的联邦学习架构体系。出于进一步的隐私需求考虑，文中使用了带有差分隐私机制的联邦学习框架。另外，首次提出了基于Fisher信息矩阵的Dropout机制——FisherDropout,用于对联邦学习过程中在客户端训练产生梯度更新的每个维度进行优化选择，从而极大地节约运算成本、通信成本以及隐私预算，建立了一种兼具隐私性与轻量化优势的联邦学习框架。在真实世界数据集上的大量实验验证了该方案的有效性。实验结果表明，相比其他联邦学习框架，FisherDropout机制在最好的情况下可以节约76.8%～83.6%的通信开销以及23.0%～26.2%的运算开销，在差分隐私保护中隐私性与可用性的均衡方面同样具有突出优势。     

抗拜占庭攻击的隐私保护联邦学习

联邦学习是一种隐私保护的分布式机器学习框架,可以让各方参与者在不披露本地数据的前提下共建模型.然而,联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁.现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁,但是这些方案难以兼顾模型鲁棒性与计算高效性.针对此问题,本文提出一种抗拜占庭攻击的隐私保护联邦学习框架Sec FedDMC,在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御.基础方案Fed DMC采用“先降维后聚类”的策略,设计了高效精准的恶意客户端检测方法.此外,该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成,从而优化了算法在安全计算环境中的适用性.针对基础方案存在的用户数据隐私泄露问题,提出了基于安全多方计算技术的隐私增强方案Sec FedDMC.基于轻量级加法秘密分享技术,设计安全的正交三角分解协议和安全的特征分解协议,从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案,以保护模型训练和拜占庭节点识别过程中的用户隐私.经实验验证,Sec FedDMC在保护用户隐私的前提下,可以高效准确地识别拜占庭攻击节点,具有较好的鲁棒性.其中,本方案与...     

多任务的边缘联邦学习:一种融合契约论和匹配博弈的激励机制

联邦学习（Federated Learning,FL）是一种新兴的分布式机器学习范式,它允许移动设备以分散的方式协作训练全局模型,同时保持训练数据在终端上面。然而,由于数千个异构分布式终端设备参与FL任务,所以FL面临的挑战是通信效率问题。为了解决上述问题,基于边缘计算的FL被提出来了,即边缘联邦学习。边缘计算利用终端设备附近的边缘节点执行模型参数的下发和聚合,进而降低通信时间。尽管有上述巨大的好处,多任务的边缘联邦学习的激励机制尚未得到很好的解决。因此,提出了一种融合契约论和匹配博弈的激励机制;然后,基于三个数据集的实验结果验证了该激励机制和匹配算法的有效性。     

云计算研究

云计算模式是在基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、分布式计算、并行计算和网格计算等概念演进并产生的结果。云计算模式是一种全新的计算应用模式,将会成为人们获取服务的主导方式。本文首先介绍云计算在业界中的概念,接着分析云计算和相关计算,最后关于云计算发展的前景进行展望。     

On the universality of peptide computing

We present a simulation of Turing machines by peptide–antibody interactions. In contrast to an earlier simulation, this new technique simulates the computation steps automatically by the interaction between peptides and antibodies and does not rely on a “look-and-do” approach, in which the Turing machine program would be interpreted by an extraneous computing agent. We determine the resource requirements of the simulation. Towards a precise definition for peptide computing we construct a new theoretical model. We examine how the simulations presented in this paper fits this model. We also give conditions on the peptide computing model so that it can be simulated by a Turing machine.

普及计算及其应用模型

1.普及计算的基本概念 1.什么是普及计算? 我们当前所处的时代是计算机技术仍然复杂到让大部分人们难以学习的地步的时代。虽然目前计算机已经进入了许多人的家庭,但是真正能够发挥计算机全部能力的用户是很少的。计算机业界有许多的技术和专有名词,而且它们还随着时间的流逝不断发展变化。再者,过去所有的传统思路都是以计算机为中心,当计算机系统发生变化时,人们的思想也必须     

普适计算体系结构的研究

普适计算使人在信息空间与物理空间相融合的环境下，利用任意设备，通过任意网络，在任意时间透明地获得一定质量的网络服务，根据目前国际上普适计算研究的现状和发展趋势，提出了一个普适计算体系结构的参考模型，并简要讨论了该参考模型的四个关键研究内容一移动计算、互操作计算、情感计算和上下文感知计算．     

绿色计算的重定义与若干探讨

计算机系统的环境可分为人文环境和自然环境两个部分.随着全球计算机系统大量而广泛的使用,对环境日益产生了一些负面影响.绿色计算(green computing)是一种以环境为中心的计算模式,通过努力消除计算机系统的环境不友好方面,使得计算机系统、人、社会与自然环境更加和谐,实现节能、环保和节约的目标.通过与绿色化学的比较研究,作者采取了一种更加统一和抽象的方式定义绿色计算的概念,并探讨了其主要研究内容,从而明确了绿色计算的界限和范围,理顺了相关领域的研究任务和关系.然后,提出了绿色汁算的一些基本思路和一般性方法,为下一步研究各种条件下绿色计算的具体模型、方法与工具打下了必要的基础.     

一种分布式环境下的新型高性能计算平台

分析了采用志愿机模式的网络计算平台的特点，针对其不足．提出了一种分布式环境下的新型高性能计算平台NH-PCP（A Novel High Performance Computing Platform in Distributed Environment）．该平台具有可扩展性和容错能力，采用对象串行化技术能够使应用程序跨平台运行．NHPCP具有友好的用户界面，提供一套简单易用的API（Application Programming Interface）函数调用，任何大计算量的、可以分解成独立计算子任务的应用都可以方便地利用该平台运算．基于该平台具体实现了两个典型的并行应用实例，通过对实验结果的分析，总结了适合于本计算平台的并行应用的特点．     

一种对象化并行计算框架

分布式计算、并行计算、内存计算是目前提高计算性能的关键技术和热点研究领域。在大数据环境下,针对数据型统计分析系统性能劣化明显、不能满足用户使用需求的问题,提出了一种轻量级高性能对象化并行计算架构,研制了该架构的对象服务组件、对象管理服务组件和客户端代理组件,并将该架构和组件在国家电网资产质量监督管理系统中进行了验证应用,其效果表明该框架能大幅提升大数据处理效率。     

分布式空间信息的对等协同计算机制研究*

海量空间信息的处理需要分布式协同工作的GIS平台支持。为解决空间数据源的异构和分布式网络中的计算能力共享问题,设计了分布式空间信息的协同计算模型,分析了分布式空间信息协同计算具备的基本特征;从空间数据分布存储模型、空间数据分布式计算协同和分布式空间数据并行索引等方面讨论分布式空间信息的协同计算技术体系,并提出现阶段可行的实现机制。分布式对等协同计算机制避免了集中式执行引擎带来的网络拥塞和单点失效问题,提高了海量空间信息资源和计算资源协作的可靠性和可用性。     

计算网格软件体系结构研究

从研究集成网格计算资源成为具有应用逻辑的复合计算出发,设计了一个新型的分布式软件体系结构—CGSA(Computing-GridSoftwareArchitecture)。CGSA以XML方式显性表达复合计算的组合逻辑,屏蔽了各计算源间的异构性,具有联邦管理自治、计算透明和完备、可扩展、负载平衡等特点。基于CGSA结构,可以充分利用网格计算能力,快速构造新的应用,同时也为集成企业旧的业务系统提供了新的方法。     

分散计算:技术、应用与挑战

在军事作战等对时延敏感的应用场景中,云计算无法满足用户的实时需求,因此分散计算应运而生。它利用智能手机、平板电脑、联网汽车和物联网终端等全球计算资源提供服务,并将云数据中心视为通用计算节点,彻底消除中心化,实现计算资源的分散化。分散计算将所有具有计算能力的设备连接起来,形成一个网络化的有机体,每个计算节点以协作和共享的方式为用户提供服务。与雾计算和边缘计算的本地化处理不同,该范式利用了网络中的空闲计算资源,绕过了局部计算能力的限制,得到了广泛的关注。首先,介绍了分散计算的研究背景,并给出了分散计算的定义;其次,详细介绍了分散计算的三种核心技术;随后,通过一些具体的应用场景实例化分散计算的概念,更好地分析了分散计算在万物互联时代的优势;最后,阐述了未来分散计算的研究方向以及面临的挑战。