多数据源联合协作的Ad Hoc网络分布式最优资源分配算法

近年来基于Ad Hoc网络的智能化视频监控等新型网络应用逐渐兴起和普及,该类应用需要考虑多个数据源的联合协作.但是现有Ad Hoc网络的资源分配机制主要针对每个独立的数据流,在实现资源分配过程中没有考虑不同数据之间的依赖关系,导致针对联合任务的资源利用效率不高,成为制约网络服务质量提高的重要因素之一.文中首次把基于任务的评价参数纳入到无线Ad Hoc网络最优分配模型中,使得资源分配模型能够描述构成任务的各数据流之问的依赖关系.提出了基于任务利用率的动态资源调节算法(Mission utility based Resource Dynamic algorithm,MRD).证明了该算法满足非线性问题最优约束,所求数据源发送速率满足系统全局最优.仿真结果表明,提出的MRD算法能够提高多数据源协作Ad Hoc网络利用效率.     

基于YARN的分布式资源动态调度与协同分配系统

Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟。     

基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.     

面向Dataflow的异构集群混合式资源调度框架研究

Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有效的CPU-GPU资源解耦方式,降低了资源使用效率.在分析现有的集群资源调度框架的基础上,设计并实现了一种可以感知批处理/流处理应用的混合式资源调度框架HRM.它以共享状态架构为基础,采用乐观封锁协议和悲观封锁协议相结合的方式,确保流处理作业和批处理作业的不同资源要求.在计算节点上,提供CPU-GPU资源的灵活绑定,采用队列堆叠技术,不但满足流处理作业的实时性需求,也减少了反馈延迟并实现了GPU资源的共享.通过模拟大规模作业的调度,结果显示, HRM的调度延迟只有集中式调度框架的75%左右;使用实际负载测试,批处理与流处理共享集群时,使用HRM调度框架, CPU资源利用率提高25%以上;而使用细粒度作业调度方法,不但GPU利用率提高2倍以上,作业的完成时间也能够减少50%左右.     

Lambda架构在轨道交通车辆智能运维系统中的应用

针对轨道交通车辆智能运维系统中海量车载数据处理需求,为解决单点数据处理模式下海量数据在接收、处理、存储、查询、分析等各环节的性能瓶颈问题,文章提出一种基于Lambda架构原理搭建的数据处理架构方案.其以分布式服务器集群作为底层硬件支撑,采用分布式处理框架,大幅提高了运维系统的数据并发处理能力.实验结果证明,该方案相对于...     

基于节的分布式多媒体资源管理

分布式多媒体系统面临的最大挑战是支持稳定的连续媒体流和媒体流间同步，分布式多媒体资源管理模型是保证它们的关键，本文提出了一种基于节的资源分配和管理模型，在资源分配时，它通过建立媒体流的线程，Ｉ／Ｏ处理，缓冲区和网络处理的平衡方程，计算保证稳定的连续媒体所必需的资源，在资源管理时，它通过调整媒体流的速率达到媒体流间同步，本文还提出了一种实时的节资源请求方案，它能系统资源开销最小，最后给出了在交换式１     

科技数据集成系统中的查询处理

主要研究基于XML的数据集成中介器系统,继承传统的包装器/中介器架构模式,在多个分布式异构数据源上构建全局统一视图,以XQuery为查询语言,提供对外统一访问接口;并应用于集成异构科技数据源,整合离散科学数据资源,实现时科技数据资源的规范化管理和高效利用.     

OFDMA多维无线资源联合快速分配算法

OFDMA中多维无线资源的分配是无线通信的重要研究课题之一.通过分部分配的方法,OFDMA系统中的多维无线资源分配算法能够有效降低无线资源分配的时间复杂度,实现资源的快速分配.在此基础上,基于流平衡的资源分配算法综合考虑了用户加权业务速率以及全体用户的归一化子载波容量,能够对多维无线资源联合进行分配.仿真表明,与传统的无线资源分配算法M-LWDF相比,流平衡分部分配算法能更好地适用于多维无线资源系统,在相同的时间复杂度下能够拥有更大的频谱利用率,达到良好的系统性能.     

基于协程模型的分布式爬虫框架

网络爬虫主要受到网络延迟和本地运行效率的限制,传统的基于多线程的网络爬虫架构主要为了消除网络延迟而没有考虑到本地运行效率。在高并发的条件下,多线程架构爬虫由于上下文切换开销增大而导致本地运行效率降低,同时使得网络利用率下降,如何能够在最大化利用网络资源的情况下减小系统本地开销是一个需要研究的问题。针对以上问题,本文提出基于协程的分布式网络爬虫框架来解决,从开销、资源利用率、网络利用率上对协程框架和多线程框架进行了分析,并基于协程实现了一个分布式网络爬虫。实验表明该框架无论从开销、资源利用率和网络利用率上相对于多线程框架有比较明显的优势。     

分布式流处理技术综述

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向.     

基于WEB的分布式试飞数据处理系统结构设计

介绍了一种基于WEB架构,面向飞行试验各类海量测试数据处理应用的分布式事后数据处理网络系统的设计结构;用户可以方便地通过WEB浏览器,建立自己的数据处理任务,定义需要处理的参数、时间段等,由系统网络调度服务器群集和分布式计算服务器群集共同完成数据处理任务;系统能够满足多用户对海量数据的快速处理要求,提供了多功能的分析处理工具,实现了海量试飞数据的集中管理,分布式应用,网络计算资源的分配和调度等,避免了对海量试飞原始数据的拷贝,分发或无序共享等应用,解决了困扰已久的海量非结构化数据的统一管理和处理的问题.     

大型商业银行基于Hadoop分布式数据仓库建设初探

商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作。该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理。应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率。     

基于MPI的分布式数据处理系统

为简化江门中微子实验的离线数据处理流程,减少资源消耗,提出一种在分布式计算环境中进行数据处理的通用软件系统。基于信息传递接口实现节点间的通信与数据交换,使用Master/Worker架构对计算作业生命周期进行管理,包括计算作业拆分、计算资源分配以及计算任务执行与监控。测试结果表明,该系统具有良好的可扩展性,其产生的数据与人工逐步执行作业脚本运行模拟软件产生的数据一致。     

基于SOA架构建立气象科学数据共享系统方法研究

提出基于面向服务架构(Service-Oriented Architecture,SOA),利用WebService技术对格式各异的数据建立统一的数据共享接口设计方案,实现对各种数据资源的集中管理与统一调度,透明数据源信息,保证数据源的安全,应用负载均衡策略,提高数据返回的速率,并给出该方案的详细设计与实例分析。     

Spark Streaming动态资源分配策略

针对Spark Streaming作为混合大数据计算平台流处理组件时资源调整周期长和不能满足多应用多用户个性化需求的问题,提出了一种多应用下动态资源分配策略（DRAM）。该策略增加了应用全局变量来控制动态资源分配过程。首先,获取历史执行数据反馈和应用全局变量;然后,进行资源增减计算;最后,进行资源增减执行。实验结果表明,所提策略能够有效调整应用资源配额,且在稳定数据流和不稳定数据流两种情况下,其处理延时相比原Spark平台的Streaming策略和Core策略都有所降低;同时该策略也能够提高集群资源利用率。     

基于云网络架构的虚拟网络映射算法研究

云网络架构采用控制与转发分离机制实现了资源的灵活分配,为了满足云网络架构的资源分配符合多业务的资源需求,提出了一种基于云网络架构的虚拟网络映射算法,提高了资源利用率。建立的虚拟网络映射算法模型,给出了虚拟网络映射算法的约束条件和优化目标。针对语音、视频和数据3种业务进行了仿真,结果表明,提出的算法提高了控制资源利用率、转发资源利用率和链路资源利用率。     

网络化分布式军事信息云架构解决方案的设计与实现

针对传统军事信息系统"烟囱"现象严重,大规模数据处理能力出现瓶颈,信息按需服务能力不足的问题,提出基于云计算和大数据技术的网络化分布式军事信息云架构解决方案。首先设计了军事信息云体系架构和软件架构,基于云计算理念将战场资源进行多域虚拟和高效整合,形成一体化资源协同军事信息云,用户通过端系统向军事信息云获取服务。其次设计军事信息云关键组成架构,包括分布式敏捷数据集成共享架构、基于大数据技术的数据仓库架构和基于实时流计算引擎的信息服务架构。基于提出的网络化分布式军事信息云架构,能够提升军事信息系统互联互通互操作、海量数据分析挖掘和信息按需精准服务能力,促进部队一体化联合作战能力形成。     

基于Kalman算法的大数据存储架构可扩展性优化算法

为了优化大数据存储架构可扩展性能,提高大数据架构资源利用率,通过引入Kalman算法设计了一种大数据存储架构可扩展性优化算法。首先,综合考虑大数据存储架构与多核环境内存布局之间的兼容性,设计架构内存布局。其次,设计分布式共享内存协议,确保各个进程在访问共享内存时能够正确地协同工作,提高存储架构的容错性。在此基础上,利用Kalman算法,动态调整存储节点的负载,进而优化大数据存储架构,以提高其可扩展性。实验结果表明,应用该算法后,大数据存储架构的资源利用率始终高于对照组,均达到了96%以上,最高达到了98%,架构可扩展性优化效果显著,服务器资源利用更充分,大规模数据处理更高效。     

基于稳定匹配的实时ETL弹性调度机制

在数据生产速度波动较大的场景,为了实时ETL资源利用更合理,提出基于稳定匹配的ETL弹性调度机制.预测数据源的数据生产速度,并计算满足预测值的消费数据速度;使用贪婪负载均衡算法,调整ETL服务个数使节点负载均衡;确定ETL操作匹配关系,使消费数据速度最大且代价最小.该调度机制将匹配问题转化为最小费用最大流问题,并提出基...     

分布共享环境下支持弹性伸缩的图处理框架

作为大数据处理的一种重要模式,图处理被广泛地应用在机器学习、数据统计和数据挖掘等场景中。在企业级应用中,多种类型的大数据处理框架通常会部署在同一个分布式集群中,其运行环境是开放、共享的,这时图处理需要考虑运算资源动态变化的问题。为了能适应这种动态性,更加充分地利用开放共享环境的资源,图处理框架应该具备弹性伸缩能力。通过调研,发现现有的图处理框架尚未完全实现弹性伸缩。为此,介绍了一种支持弹性伸缩的分布式并行图处理框架SPar Ta G。首先基于任务并行模型定义了图处理任务集及任务模型;其次基于任务迁移机制设计并实现了可动态伸缩的图处理框架;最后设计了一个基于负载均衡的调度算法,实现了动态伸缩的图处理过程。实验结果说明,SPar Ta G的性能与当前流行的开源图处理框架Giraph相近,且具有较好的弹性伸缩能力。