面向大数据复杂应用的GPU协同计算模型

大数据计算中存在流计算、内存计算、批计算和图计算等不同模式,各种计算模式有不同的访存、通信和资源利用等特征。GPU异构集群在大数据分析处理中得到广泛应用,然而缺少研究GPU异构集群在大数据分析中的计算模型。多核CPU与GPU协同计算时不仅增加了计算资源的密度,而且提高节点间和节点内的通信复杂度。为了从理论上研究GPU与多核CPU协同计算问题,面向多种计算模式建立一个多阶段的协同计算模型（p-DCOT）。p-DCOT以BSP大同步并行模型为核心,将协同计算过程分成数据层、计算层和通信层三个层次,并且延用DOT模型的矩阵来形式化描述计算和通信行为。通过扩展p-DOT模型描述节点内和节点间的协同计算行为,细化了负载均衡的参数并证明时间成本函数,最后用典型计算作业验证模型及参数分析的有效性。该协同计算模型可成为揭示大数据分析处理中协同计算行为的工具。     

基于边缘计算的智能电网数据调度与快速分发方法

常规的智能电网数据调度与分发方法多数采用大数据技术原理，缺少电网数据区域划分，其调度目标节点选择偏差较大，导致电网数据调度错失率较高，数据调度与分发任务完成效果不佳。基于此，引入边缘计算提出了一种新的调度与快速分发方法。首先，建立边缘计算集群分层模型，划分数据区域，分析集群节点状态参量，选择最优调度目标节点。其次，根据调度任务处理时间对任务有效价值的影响，设计智能电网数据流调度优先级，分配并执行数据调度处理任务。最后，设计数据快速分发机制，避免在调度处理任务执行中，出现节点失效和调度数据丢失的问题。根据实验结果可知，新的方法应用后，即使数据处理任务个数的增加，数据调度错失率也未出现大幅度波动，均控制在0.2%以下。     

复杂网络大数据中重叠社区检测算法

大数据时代互联网用户数量呈爆炸性增长,社交网络、电商交易网络等复杂网络规模快速发展,准确有效地检测复杂网络大数据中重叠社区结构对用户兴趣点推荐和热点传播具有重要意义。提出一种新的面向复杂网络大数据的重叠社区检测算法DOC（Detecting Overlapping Communities over complex network big data）,时间复杂度为O（nlog²（n））,算法基于模块度聚类和图计算思想应用新的节点和边的更新方法,利用平衡二叉树对模块度增量建立索引,基于模块度最优的思想设计一种新的重叠社区检测算法。相对于传统重叠节点检测算法,对每个节点分析的频率大大降低,可以在较低的算法运行时间下获得较高的识别准确率。复杂网络大数据集上的算法测试结果表明：DOC算法能够有效地检测出网络重叠社区,社区识别准确率较高,在大规模LFR基准数据集上其重叠社区检测标准化互信息指标NMI最高能达到0.97,重叠节点检测指标F-score的平均值在0.91以上,且复杂网络大数据下的运行时间明显优于传统算法。     

面向大数据流式计算的任务管理技术综述

流式计算是大数据的一种重要计算模式,大数据流式计算已成为研究热点。任务管理是大数据流式计算的核心功能之一,负责对流式计算的任务进行资源调度及全生命周期管理。目前对于大数据流式计算的技术调研工作主要集中于流式计算应用需求、体系结构及整体技术,缺乏对大数据流式计算任务管理技术的精细化调研分析。首先给出流式计算任务管理的抽象功能模型,其次基于该模型对任务管理的关键技术进行了分类和综述,最后对既有主流的大数据流式计算系统对上述关键技术的应用、集成和优化进行了调研分析。     

面向边缘计算的Storm边缘节点调度优化方法

边缘计算有高实时性和大数据交互处理的需求,边缘异构节点间的调度时耗长、通信时延高以及负载不均衡是影响边缘计算性能的核心问题,传统的云计算平台难以满足新的要求。文中研究了在边缘计算环境下Storm边缘节点的调度优化方法,建立了面向边缘计算的Storm任务卸载调度模型。针对拓扑任务在边缘异构节点间的实时动态分配问题,提出了一种启发式动态规划算法(Inspire Dynamic Programming,IDP),通过改变Storm的Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系实现全局的优化调度;同时,针对拓扑任务的并发度受限于JVM栈深度的缺陷,提出了一种基于蝙蝠算法的调度策略。实验结果表明,与Storm调度算法相比,所提算法在边缘节点CPU利用率指标上平均提升了约60%,在集群的吞吐量指标上平均提升了约8.2%,因此能够满足边缘节点之间的高实时性处理要求。     

一种最小化安全多方计算任务的方法

安全多方计算（Secure multi-party computation：MPC）允许在不公开各参与方私有数据的情况下完成联合计算。然而,现有的计算任务往往涉及到多方海量数据集的分析与处理,使得MPC的实际可用性显著降低。提高MPC数据处理体量,是目前研究的主要方向之一。为提高MPC处理大规模数据的能力,将MPC算法与数据并行分析框架相结合,基于最小化多方计算任务的思想,提出安全多方计算效率优化技术。创建算法的有向无环图,标注MPC节点及非MPC节点,采用静态分析、查询重写转换和分区启发式等技术,最小化MPC计算量,提高计算的并发程度。以多方线性回归为例,讨论适应大数据分析的安全多方计算技术。实验结果表明提出的安全多方计算优化技术在确保计算精度的条件下能够显著降低计算耗时。算法提高了系统的效率,增强了MPC的实用能力。     

MapReduce框架下基于超平面投影划分的Skyline计算

近年来,Skyline计算在决策应用中起着越来越重要的作用.针对单机处理的研究已较为成熟.现今大数据爆炸,Skyline计算面临着大数据处理的问题.MapReduce是一个并行模型,广泛应用于数据密集型应用处理中.众所周知,MapReduce处理要求任务是可分解的.Skyline计算在MapReduce上执行时,分解任务的方法有网格划分、基于角度的划分等.网格划分仅在数据维度较低时表现良好;基于角度的划分适用于低维和高维数据,但在划分前需要一个复杂并且费时的坐标转换过程.现采用一种与基于角度的划分类似的基于超平面投影的划分来分解数据集,这种划分适用于低维和高维数据,而且其在划分前的坐标转换较为简单.根据超平面投影的划分提出了一种在MapReduce上处理Skyline计算的算法MR-HPP(MapReduce with hyperplane-projections-based partition),并在该算法的过滤阶段提出了一种有效的过滤算法PSF(presorting filter).大量基于Hadoop平台的对比实验表明该算法的准确性、高效性和稳定性.     

区块链赋能物联网中联合资源分配与控制的智能计算迁移研究

大数据场景下,远程云服务器通常被部署用于数据处理与价值挖掘,但在面对时延敏感型或需要动态频繁交互的业务时,该种处理模式显得力不从心.作为对云计算模式的补充,雾计算因其可有效降低任务处理时延、能耗与带宽消耗而备受关注;同时,面向雾计算的计算迁移机制因其能有效缓解节点的处理负担并改善用户体验而成为领域研究焦点.在雾计算模式...     

一个数据并行型计算的网格资源的管理模型

在由多计算机集群构成的数据网格环境下，挖掘网格计算节点的空余资源来支持数据并行型计算（Data Parallel Computing，DPC），提出了一个基于分类、统计机制的数据网格管理模型。根据不同时间的网格资源的空余、各类DPC以及逻辑计算机机群，研究了支持DPC的网格资源管理模型。实验表明，该模型有效地解决了网格环境下数据并行型计算所需的空余资源优化使用问题。     

基于MIP和改进模糊K-Means算法的大数据聚类设计

为了克服经典模糊K-Means算法在面对大数据聚类时所出现的聚类效率低和运行时间长的问题,提出了一种基于层次式MPI并行编程模型和改进模糊K-Means算法的大数据聚类方法;首先,引入多层MasterNode节点设计了一种改进的层次式MPI并行编程模型,然后,引入类间距离和类内距离得到一种最优聚类数的计算方式,并设计了一种改进的模糊K-均值聚类算法;采用SlaveNode节点并行运行改进的模糊K均值算法进行数据子集聚类,然后再通过各层MasterNode节点进行汇总和进一步处理;仿真实验表明文中方法能较为精确地实现大数据聚类,准确精确度较经典模糊K均值算法平均约高5.6%,弥补了经典模糊K-Means方法在处理大数据时的正确率低和低效的缺点,具有很强的优越性。     

云计算环境下关联节点的异常判断

当前,越来越多的用户选择将服务部署到云计算环境中。然而,云计算服务的多样性以及部署环境的动态性,会导致云计算节点出现异常。传统的节点异常检测方法只针对异常的单一节点,忽略了异常节点对关联节点的影响,从而造成异常传播和关联节点失效等问题。文中提出了一种云计算环境下关联节点的异常判断方法。首先,将Agent部署在各节点上,并通过Agent以特定时间间隔采集节点运行数据,根据节点之间的关联关系建立节点关系图;其次,使用运行数据训练异常检测模型,计算运行数据的权值和综合评分,通过基于滑动时间窗口的方法判断单一节点是否出现异常;最后,在单一节点出现异常的情况下,使用基于标准互信息的方法找出受异常节点影响的其他关联节点。在搭建的云计算平台上,通过模拟各类异常情况,并观察注入异常下节点的状态,验证了文中单一节点异常判断方法和关联节点判断方法的有效性。实验结果表明,该方法在判断单一节点异常的正确率和特异度时都优于其他方法,且在多节点结构下可以准确找到关联的异常节点,具有较高的准确率和稳定性。     

基于NUMECA FINE/Turbo的并行计算测试

为具体了解CFD软件NUMECA FINE/Turbo的并行计算性能,良好把握后续的科研工作进度,分别研究在激活超线程情况下单节点计算与多节点并行计算以及CPU在激活超线程前、后计算速度的差异.结果表明:在多节点并行计算时,计算速度与实际参加并行计算的CPU物理核心数量成正比;在激活超线程的情况下,并行计算节点数在超过实际物理核心数后明显降低计算速度的提升.     

基于节点集计算能力差异的Hadoop自适应任务调度算法

针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点集,提高节点集资源利用率与任务并行度。在两节点集中,利用动态调整任务进度比例判别落后任务,主动选择采用替代执行方式为落后任务执行备份任务的快节点,从而提升任务执行效率。与最长近似结束时间(LATE)算法的实验对比结果表明,该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.21%、20.51%、23.86%,启用的备份任务数比LATE算法明显减少。所提算法可使任务主动适应节点差异,在减少备份任务的同时有效提高作业整体执行效率。     

基于MapReduce并行化计算的大数据聚类算法

面对大数据规模庞大且计算复杂等问题,基于MapReduce框架采用两阶段渐进式的聚类思想,提出了改进的K-means并行化计算的大数据聚类方法。第一阶段,该算法通过Canopy算法初始化划分聚类中心,从而迅速获取粗精度的聚类中心点;第二阶段,基于MapReduce框架提出了并行化计算方案,使每个数据点围绕其邻近的Canopy中心进行细化的聚类或合并,从而对大数据实现快速、准确地聚类分析。在MapReduce并行框架上进行算法验证,实验结果表明,所提算法能够有效地提升并行计算效率,减少计算时间,并提升大数据的聚类精度。     

面向数据联邦的安全多方θ-连接算法

近年来,多个国家地区出台了一系列数据安全相关的法律,例如欧盟的《通用数据保护条例》等.这些相关法律法规的出台,加剧了各企业机构等多方之间数据共享难的数据孤岛问题.数据联邦(data federation)正是解决该问题的可能出路.数据联邦是指多个数据拥有方在不泄露各自原始数据的前提下,结合安全多方计算等隐私计算技术,联合完成查询任务的计算.这一概念已成为近年来的研究热点,并涌现出一系列相关的代表性系统工作,如SMCQL、Conclave.然而,针对关系数据库系统中核心的连接查询,现有数据联邦系统还存在如下问题:首先,连接种类单一,难以满足复杂连接条件下的查询需求;其次,算法性能低下,由于现有系统往往直接调用安全工具库,其运行时间与通信开销高昂.因此,针对以上问题进行研究,提出了数据联邦下连接算法.主要贡献如下:首先,设计实现了面向多方的联邦安全算子,能够支持多种运算;其次,提出了支持θ-连接的联邦连接算法与优化策略,显著减少了连接查询所需安全计算代价;最后,基于基准数据集TPC-H,验证了该算法的性能.实验结果表明,与现有数据联邦系统SMCQL、Conclave相比,该算法能够将运行时...     

基于双层优先级的中继卫星系统任务调度算法

中继卫星系统在天基信息网中起着桥梁的作用。为充分利用卫星资源以提供快速可靠的数据中继服务,需要对高价值、高紧迫性的任务开展调度方法研究。首先,在分析中继卫星系统任务与资源的基础上,建立了多任务、多资源的调度模型。而后,提出了任务调度优先级和时间窗口选择优先级模型,并在此基础上提出了一种基于双层优先级的中继卫星系统调度算法。最后,根据算法在仿真算例中的应用可见：相比对照算法,基于双层优先级的调度算法更有利于满足高价值、高紧迫性任务的执行条件,从而提高了任务成功率和调度综合收益。     

一种适应数据与计算密集型任务的私有云系统实现研究*

与公有云计算相比,针对数据与计算双重密集型任务的私有云计算系统对计算效率和系统管理效率提出了更高的要求,目前的公有云计算系统显得过于复杂和繁琐,因此需要一种简便易用的能够适应数据与计算密集型任务的私有云计算系统实现。借鉴公有云计算的相关理论和实现方法,提出了一种针对数据与计算双重密集型任务的私有云计算系统实现方案。该方案通过作业文件描述用户的计算任务,确定计算任务的计算模型和计算的输入输出文件;针对私有云的特点,简化Google云计算系统的MapReduce并行处理框架,得到更加直观的数据计算模型;自动连     

资源不均衡Spark环境任务调度优化算法研究

由于硬件资源的更新换代,集群中各个节点的计算能力会变得不一致。集群异构的出现导致集群计算资源不均衡。目前Spark大数据平台在任务调度时未考虑集群的异构性以及节点资源的利用情况,影响了系统性能的发挥。构建了集群节点的评价指标体系,提出利用节点的优先级来表示其计算能力。提出的节点优先级调整算法能够根据任务执行过程中节点的状态动态调整各个节点的优先级。基于节点优先级的Spark动态自适应调度算法(SDASA)则根据实时的节点优先级值完成任务的分配。实验表明,SDASA能够缩短任务在集群中的执行时间,从而提升集群整体计算性能。