面向联邦学习的高效分布式训练框架

联邦学习有效解决了数据孤岛问题,但仍然存在一些挑战。首先,联邦学习的训练节点具有较大的硬件异构性,对训练速度和模型性能存在影响,现有工作主要集中于联邦优化,但多数方法没有解决同步通信模式下各节点计算时间难以协调导致资源浪费的问题;此外,联邦学习中多数训练节点为移动设备,网络环境差,通信开销高,导致了更严重的网络瓶颈。已有方法通过对训练节点上传的梯度进行压缩来降低通信开销,但不可避免地带来了模型性能损失,难以达到较好的质量和效率的平衡。针对上述难题,在计算阶段,提出了自适应梯度聚合(Adaptive Federated Averaging, AFA),根据各个节点的硬件性能自适应协调本地训练的迭代周期,使得等待全局梯度下载的空闲时间整体最小化,提高了联邦学习的计算效率。在通信阶段,提出双重稀疏化(Double Sparsification, DS),通过在训练节点端和参数服务器端进行梯度稀疏化来最大化降低通信开销。此外,各个训练节点根据本地梯度信息和全局梯度信息的丢失值进行误差补偿,以较小的模型性能损失换取较大的通信开销降低。在图像分类数据集和时序预测数据集上进行实验,结果证明,所提方案...     

基于多普勒测速的水下传感器时间同步算法

时间同步是水下传感器网络的关键技术,由于海洋中采用水声通信时传播时延高且存在多普勒频移,导致使用射频通信的陆上时间同步算法无法直接应用于水下环境。基于多普勒测速原理和节点在水下的移动性,提出一种新型的时间同步CD-Sync算法。利用具有聚类特性的分簇模型选择合理的簇首节点,并与水面信标节点进行簇内同步,且在同步过程中,同步节点利用多普勒原理估算节点间的相对移动速度,从而计算节点间的传播延迟。实验结果表明,与基于分簇时间同步MU-Sync算法和分布式时间同步NU-Sync算法相比,该算法可在缩短节点间距离并加快节点间同步收敛速度的同时,有效提高时间同步的精度。     

一种基于分布式编码的同步梯度下降算法

基于数据并行化的异步随机梯度下降（ASGD）算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率。提出基于分布式编码的同步随机梯度下降（SSGD）算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间,并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量。实验结果表明,当配置合适的超参数时,与SSGD和ASGD算法相比,该算法在深度神经网络和卷积神经网络分布式训练中平均减少了53.97%、26.89%和39.11%、26.37%的训练时间,从而证明其能有效降低分布式集群的通信负载并保证神经网络的训练精确度。     

C‑V2X车联网中基于模拟退火算法的任务卸载与资源分配

网联车辆节点产生的不同属性的大数据流量计算任务进行传输并卸载时,通常引起通信系统中时延抖动、计算能耗与系统开销大等问题,因此,根据实际通信环境,提出一种C-V2X车联网（IoV）中基于模拟退火算法（SAA）的任务卸载与资源分配方案。首先,根据任务处理优先程度,对处理优先程度较高的任务进行协同卸载计算处理;其次,通过全局搜索最优卸载比例因子的方式,制定了一种基于SAA的任务卸载策略,且分析并优化了任务卸载比例因子;最后,在任务卸载比例因子更新过程中,将系统开销最小化问题转化为功率和计算资源分配凸优化问题,并利用拉格朗日乘子法获取最优解。通过对所提算法与本地卸载、自适应遗传算法等作比较可知,随着计算任务的数据量不断增加,自适应遗传算法比本地卸载的时延、能耗、系统开销分别降低了5.97%、49.40%、49.36%,在此基础上基于SAA的方案较自适应遗传算法的时延、能耗、系统开销再降低了6.35%、92.27%、91.7%;随着计算任务CPU周期数不断增加,自适应遗传算法比本地卸载的时延、能耗、系统开销分别降低了16.4%、49.58%、49.23%,在此基础上基于SAA的方案较自适应遗传算法的时延、能耗、系统开销再降低了19.61%、94.39%、89.88%。实验结果表明,SAA不仅能降低通信系统时延、能耗及系统开销,还可以使结果加速收敛。     

一种最小化时延多边缘节点卸载均衡策略研究

边缘服务器和通信网络的接入点(例如基站)集成部署构成边缘节点,可以在网络的边缘同时实现通信和计算的功能.边缘计算作为一种介于本地计算与云计算中间的一种新型计算范式,一方面缓解了中心云的负载压力,另一方面因为更靠近用户,有效减少了设备卸载计算产生的传输时延.在边缘计算中,边缘节点的计算资源相比于计算资源丰富的中心云是有限的;另一方面,在不同区域的边缘节点服务于不同的群体,其负载量的差距是是悬殊的,有的过载,有的过于空闲.为解决边缘节点中服务器的负载均衡问题,本文考虑通过软件定义网络(Software Defined Network, SDN)监控网络中的数据流量,调控热点区域的数据以多跳的方式卸载到周边的节点执行计算任务,实现热点区域降热减少执行任务时延的目的.同时,本文提出了基于量子粒子群算法的边缘节点卸载算法和一种基于启发式算法的边缘节点负载均衡算法来求解此问题.最后通过仿真实验验证了我们所提出方案的有效性.     

Spark环境下基于子图的异步迭代更新方法

全局同步计算模型简单易用,但是路障同步导致收敛速度变慢。以顶点为中心的异步迭代虽然提高了收敛速度,但在计算节点之间需要频繁发送信息。在Spark环境下提出一种基于子图的异步迭代更新方法。在子图之间建立异步消息通信连接后,子图能以异步方式发送数据块;通过多线程同步避免数据读写冲突,保证异步更新时顶点状态的一致性。在大规模样本数据集上分别从收敛结果、收敛速度和通信代价验证方法有效性。实验结果表明,与全局同步迭代相比,该方法有效提高了计算收敛速度。与顶点为中心的异步更新方式相比,该方法在收敛时间上略有增长,但是显著降低了通信开销。     

无线传感器网络的分布扩散时钟自同步协议研究

针对大规模无线传感器网络同步协议的精度较低、可扩展性差的问题,提出一种分布式扩散时钟自同步协议(DDCSS);DDCSS是一个局部、并行执行的协议,基于分布式扩散的思想,以节点能量、分布和平均传输时延为依据,每轮动态地选取执行局部扩散的一组主节点和扩散节点,把主节点域内的节点平均时钟扩散有限的跳数,周围节点以接收的所有主节点域平均时钟取平均更新本地时钟,采用互扩散的方法使节点时钟近似同步到网络节点的平均时钟上,从而实现全网的时间同步;与RBS、TPSN协议相比较,该协议收敛速度较快,另外消除了误差累积,同步误差较低,扩展性较好。     

基于簇的能量均衡无线传感器网络时间同步算法

针对现有时间同步算法应用于多跳无线传感器网络时存在的误差累计和能耗不均衡问题,提出一种基于簇的能量均衡时间同步算法。该算法基于簇状分层的网络拓扑,簇首之间采用双向监听机制代替双向交换机制,以减小通信开销和发送时延带来的同步误差;簇成员节点利用双向交换和单向广播相结合的机制与簇首同步,并通过最优剩余能量选取回应节点,均衡簇内节点能耗。对提出的新方法和传统的同步算法在精度和能耗方面进行理论分析和仿真验证,结果表明,该算法在保证较高同步精度的前提下可以减小通信开销,均衡网内节点能量消耗,延长网络生命周期。     

天地一体化智能网络智能节点部署策略

针对传统卫星网络中,由于低轨卫星节点计算能力不足,导致大量计算任务需要传输到高轨卫星计算或转发,进而产生巨大传输时延的问题,本文利用移动边缘计算技术,结合天地一体化智能网络架构,提出了一种基于人工蜂群的智能卫星节点优化部署算法.该算法通过迭代,结合网络分簇算法,选出边缘服务有效覆盖率最高的智能卫星节点部署策略.从而使得...     

基于数据分布的聚类联邦学习

联邦学习(federated learning)可以解决分布式机器学习中基于隐私保护的数据碎片化和数据隔离问题。在联邦学习系统中,各参与者节点合作训练模型,利用本地数据训练局部模型,并将训练好的局部模型上传到服务器节点进行聚合。在真实的应用环境中,各节点之间的数据分布往往具有很大差异,导致联邦学习模型精确度较低。为了解决非独立同分布数据对模型精确度的影响,利用不同节点之间数据分布的相似性,提出了一个聚类联邦学习框架。在Synthetic、CIFAR-10和FEMNIST标准数据集上进行了广泛实验。与其他联邦学习方法相比,基于数据分布的聚类联邦学习对模型的准确率有较大提升,且所需的计算量也更少。     

基于流形学习的泛化改进的LTSA算法

在数据稀疏、数据非均匀分布和数据流形具有较大曲率的情况下,传统的局部切空间方法不能够有效地揭示流形结构。提出了一种泛化的ILTSA（GILTSA）流形学习方法,该方法以改进的局部切空间排列算法（ILTSA）为基础,在解决流形结构问题的同时,不仅能够获得用于人脸识别更好的低维特征,而且能有效地处理日益增加的数据集的问题。该方法首先基于样品间距离选择近邻集,实现训练集的低维流形,为每个新样本寻找最近的样本训练集。然后结合ILTSA算法,根据其最近样本投影距离计算低维流形。在ORL的人脸图像数据库的实验、Swiss roll和手书的“2”等实验结果表明,与局部线性嵌入和局部切空间排列算法等相比,GILTSA方法增加了整体精度。     

基于改进的超混沌系统修正射影同步算法研究

研究超混沌修正射影同步算法问题。由于修正射影同步不可预测的伸缩矩阵因子能够有效地提高保密通信的安全性,所以它在保密通信中有着非常诱人的应用前景,但是传统的同步射影算法由于较高的计算复杂度,难以得到广泛应用。针对上述问题,提出了一种新的基于超混沌系统修正射影同步算法。该方法首先给出了一个比已知的射影同步更一般形式的新同步,之后采用激活控制方法使两个一致的超混沌系统整体同步。最后算法在基于软件Maple和稳定性理论基础上,通过数值仿真同步的结果表明,提出的算法能够自主选择调节缩放矩阵中的比例因子,可以较好地满足状态控制器设计的射影同步,降低了算法的复杂性。     

非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径, 尤其在数据高度异构的情况下. 本文选取FedAvg算法与FedALA算法作为主要研究对象, 并提出其改进算法pFedALA. pFedALA通过令客户端在等待期间继续本地训练, 有效降低了由于同步需求导致的资源浪费. 在此基础上, 本文重点分析这3种算法中优化器的作用, 通过在MNIST和CIFAR-10数据集上测试, 比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能. 其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置. 实验结果表明: 1) pFedALA算法呈现出比FedALA算法更优的性能, 表现为其平均测试准确率较FedALA提升约1%; 2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异, 与其他主流优化器相比, SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.     

基于SSU-SGD的动态手持物体识别

连续目标中包含更加丰富的信息,为了更好地获取动态手持物体中的视觉信息,以不同背景下的动态手持物体为目标,基于步长自学习更新的SGD算法（简称SSU-SGD）提出了适用于动态手持物体识别的三个基准,通过自学习出不同的步长,分别在已知类、未知类和已知对象的基础上进行巩固训练,用于后续的动态手持物体识别中。用AlexNet和VGG网络对三个不同基准下的naive策略和累积策略进行了编程实验与仿真,经实验验证,该方法可以有效提高运行速度和训练精确度,并且有效提高了动态手持物体识别过程的实时性,可以进一步应用于实际。     

基于Gibbs抽样的轴承故障诊断方法

针对现有轴承故障诊断方法的不足,即诊断片面性问题,提出了一种基于Gibbs抽样的轴承故障诊断方法。首先对轴承振动信号进行局部特征尺度分解（LCD）得到内禀尺度分量（ISC）;然后对轴承振动信号和ISC分别提取时域特征,按照特征敏感度高低对时域特征排名,选择排名靠前的特征组成特征集;其次使用特征集训练产生基于Gibbs抽样的多维高斯分布模型;最后通过后验分析得到概率,实现轴承故障诊断。实验结果表明诊断正确率达到100%,与基于SVM的轴承诊断方法相比,在特征数为43个时诊断正确率提升了11.1个百分点。所提方法能够有效地对滚动轴承故障状态进行诊断,对高维复杂的轴承故障数据也有很好的诊断效果。     

Accelerating local SGD for non-IID data using variance reduction

Distributed stochastic gradient descent and its variants have been widely adopted in the training of machine learning models, which apply multiple workers in parallel. Among them, local-based algorithms, including LocalSGD and FedAvg, have gained much attention due to their superior properties, such as low communication cost and privacy-preserving. Nevertheless, when the data distribution on workers is non-identical, local-based algorithms would encounter a significant degradation in the convergence rate. In this paper, we propose Variance Reduced Local SGD (VRL-SGD) to deal with the heterogeneous data. Without extra communication cost, VRL-SGD can reduce the gradient variance among workers caused by the heterogeneous data, and thus it prevents local-based algorithms from slow convergence rate. Moreover, we present VRL-SGD-W with an effective warm-up mechanism for the scenarios, where the data among workers are quite diverse. Benefiting from eliminating the impact of such heterogeneous data, we theoretically prove that VRL-SGD achieves a linear iteration speedup with lower communication complexity even if workers access non-identical datasets. We conduct experiments on three machine learning tasks. The experimental results demonstrate that VRL-SGD performs impressively better than Local SGD for the heterogeneous data and VRL-SGD-W is much robust under high data variance among workers.     

无线传感器网络层次参考时间同步算法的研究

无线传感器在网络应用中要求节点间保持时间同步,但现存的经典时间同步算法,因节点的接收时间受时钟偏差和传输延迟的影响,其同步精度不高。为提高网络时间同步精度,均衡节点能耗,提出了一种改进的层次参考时间同步算法（Improved Hierarchy Referencing Time Synchronization,IHRTS）。该算法基于节点在层次结构中唯一物理位置的时间特性,采用贝叶斯估计对节点接收时间进行估算,缩小时间偏差的误差范围,获得比较精确的同步偏移量,从而改善时间同步精度;同时采用无线信道的广播特性与双向同步机制的同步思想,最小化了通信负载,均衡了节点能耗。通过仿真结果表明将贝叶斯估计方法应用到时间同步算法中,在均衡节点能量消耗同时有效地提高了网络同步精度。     

基于闭环调整策略的无线HART时间同步方法

时间同步是无线传感器网络的关键技术之一。无线HART是用于复杂工业环境的WSN通信协议.为了解决其时间同步问题,文章提出了一种基于闭环调整策略的时间同步方法 CATS。该方法通过测量同步节点之间的时间偏差,获得同步节点之间时间偏差对象模型参数,建立内部受控对象模型,实现节点间的时间偏差的短周期闭环调整。在CC2430通信模块上的实测表明:该方法具有同步精度高、环境适应性好、计算复杂度低等特点,为复杂工业领域中无线HART的时间同步提出了较优的方案。     

一种解决数据异构问题的联邦学习方法

联邦学习是一种不通过中心化的数据训练就能获得机器学习模型的系统,源数据不出本地,降低了隐私泄露的风险,同时本地也获得优化训练模型。但是由于各节点之间的身份、行为、环境等不同,导致不平衡的数据分布可能引起模型在不同设备上的表现出现较大偏差,从而形成数据异构问题。针对上述问题,提出了基于节点优化的数据共享模型参数聚类算法,将聚类和数据共享同时应用到联邦学习系统中,该方法既能够有效地减少数据异构对联邦学习的影响,也加快了本地模型收敛的速度。同时,设计了一种评估全局共享模型收敛程度的方法,用于判断节点聚类的时机。最后,采用数据集EMNIST、CIFAR-10进行了实验和性能分析,验证了共享比例大小对各个节点收敛速度、准确率的影响,并进一步分析了当聚类与数据共享同时应用到联邦学习前后各个节点的准确率。实验结果表明,当引入数据共享后各节点的收敛速度以及准确率都有所提升,而当聚类与数据共享同时引入到联邦学习训练后,与FedAvg算法对比,其准确度提高10%～15%,表明了该方法针对联邦学习数据异构问题上有着良好的效果。