基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

集群计算环境下基于复杂网络的社会学仿真负载划分优化算法

负载划分是决定集群计算环境下基于复杂网络的并行社会学仿真性能的核心因素之一.由于背景负载等因素的影响,集群系统中往往需要根据实际可用计算资源非均匀分配仿真任务,而现有针对无标度特性拓扑结构的并行仿真负载划分算法无法适应集群环境下计算负载非均匀划分的需求.针对这一问题,提出了一个基于集散节点聚合的负载划分算法,将集群计算...     

云环境下虚拟机集群系统动态负载均衡机制

针对传统的物理集群系统无法灵活应对大型互联网应用的问题,提出一种云环境下虚拟机集群的综合负载均衡机制。该方法首先定期地采集集群中虚拟机节点的CPU、内存、连接数、响应时间,以及所在物理主机的负载状况等指标信息,然后加权计算节点的综合负载并得出其权值,最后通过调度器进行任务请求的合理分配,从而解决了传统集群系统负载不均且不能适应多变的网络环境等诸多问题。实验结果表明,与加权轮询法(WRR)和加权最少连接法(WLC)调度方案相比,该机制能够在并发量较大时维持较低的响应时间,并能够根据集群中综合负载的状态实时地增加或减少虚拟机数量,通常在5s之内达到整体集群的负载均衡。     

基于Linux的负载均衡技术

网络业务量的激增和应用的特殊化都使得负载均衡成为迫切需求,Linux虚拟服务器按传输层连接对集群节点进行业务分配的方式,能便捷而高效地实现负载均衡。文中对Linux虚拟服务器集群的结构与原理进行了讨论,重点阐述了满足不同应用需要的4种负载均衡算法,并在Linux操作系统环境下,构建了虚拟服务器集群,测试了负载响应、服务性能、调度器备份。结果表明,虚拟服务器集群技术可较大幅度地提高系统的综合性能。     

基于CoreOS面向负载整合的集群调度研究

CoreOS是基于Docker的新型容器化集群服务器操作系统,发展迅速,已经得到OpenStack、Kubernetes、Salesforce、Ebay等主流云服务商的支持,云环境中负载是动态的,相应的其资源需求是动态变化的,这给集群资源高效利用带来了挑战,静态预分配峰值资源的策略带来云端资源的巨大浪费,同时空转的计算浪费大量能耗.本文提出的面向负载整合的集群调度系统（简称LICSS）实时监控集群负载分布情况,调度时使用紧凑式调度策略分配计算节点,运行时利用任务迁移技术对负载进行动态整合,实现及时收集释放空转资源降低资源能耗浪费的目的.LICSS系统设计实现了节点负载度量、任务度量、负载整合算法,并测算出节点自适应负载阈值.实验表明,LICSS系统能够根据不同时段集群负载动态变化情况对负载进行有效整合,提高了12.2%的平均资源利用率,并且基于任务整合在低负载时段触发富余节点休眠降低集群能耗.     

Ceph分布式系统的ISCSI高可用集群

在分布式存储集群环境中,为了兼容现有存储协议,提高集群可扩展性,通常都会支持ISCSI存储协议.而现有ISCSI服务的高可用主要通过主从备份的方式实现,该方式会导致资源利用不充分,容易造成单节点负载过重等情况.本文基于Ceph分布式存储系统的优势,采用raft一致性算法等设计并实现ISCSI高可用集群.ISCSI集群使用自定义的节点选择策略实现服务负载均衡,并通过raft分布式协议实现服务故障迁移.实验表明,本文提出的方案是有效的,能够实现服务故障迁移,保证集群负载均衡.     

服务器集群负载均衡技术研究及算法比较

简要介绍了负载均衡技术的分类及其发展,重点介绍了服务器集群负载均衡技术及应用.并对评价负载均衡优劣的重要标准之一--负载均衡算法的种类做了详细介绍及优缺点比较.对近年来一些新的负载均衡算法做了介绍.最后,对服务器集群负载均衡技术的发展前景做出了展望和预测.     

云计算集群相空间负载均衡度优先调度算法研究

针对云计算集群具有海量节点和高耦合性的特点,将云计算集群中各节点的参数变化投影为相空间上投影点的运动,定义云计算集群的相空间负载均衡度,以其为评估指标建立云计算集群相空间负载均衡度优先调度算法,实现了云计算集群相空间投影在不同负载请求情况下平稳的点状聚集.通过仿真实验利用相空间负载均衡度、广义温度、广义熵等参数和集群的相空间投影对算法的效果进行分析,实验表明,相空间负载均衡度优先算法在大多数调度指标上都优于最小负载优先算法,并且集群规模越大系统的相空间负载均衡度越稳定.     

基于LVS和计算任务的实时集群负载均衡方法

对LVS(Linux virtual server)集群的体系结构和特点做了讨论,分析指出了LVS集群应用于军事测控系统时面临的传感器通信体制兼容和负载调度粒度过大等局限性.通过进行结构调整和功能改造,设计采用基于UDP协议、面向计算任务的应用层细粒度负载分配方法,提高了负载接入与分配调度、服务器并行计算的工作效率,实现了军事测控系统的强实时性要求.该负载均衡方案适用于实时领域的航空、航天测控集群系统,经实践应用证明是有效的.     

一种中间件数据库集群的负载均衡算法

为满足用户对数据库集群系统高输入高输出应用的需求,设计一种采用中间件技术的数据库集群系统,并针对该系统提出一种基于Markov模型的数据库集群负载均衡算法。该算法在执行节点负载信息采样周期内,利用Markov模型预测集群系统各执行节点的负载信息状态,根据预测的执行节点负载信息对集群系统进行负载均衡。实验结果表明,该算法能够有效提高数据库集群的性能。     

Text analytics for big data using rough–fuzzy soft computing techniques

Text mining or analytics is important for various applications such as market analysis and biomedical purposes because it enables the efficient retrieval of information from large datasets. During the analysis, increasing the dimensionality of the data reduces the performance of an entire system because doing so may retrieve irrelevant text, which creates errors. Therefore, this paper introduces big data and data mining techniques to analyse large volumes of information while mining texts, emails, blogs, online forums, news, and call centre documents. Initially, the data are collected from various sources that contain noise, which is removed by applying normalization techniques. Data mining techniques eliminate the irrelevant information and noise, and the relevant features are selected using the rough set‐based particle swarm optimization algorithm. The selected features are formed as a cluster using a fuzzy set with the particle swarm optimization algorithm, which improves the efficiency of the mining process. Then, the efficiency of the system is evaluated using the University of California Irvine Machine Learning Repository knowledge process mining database, along with the sum of the intra cluster distances, the mean squared error rate, and the accuracy.     

面向高性能计算机的海量数据处理平台实现与评测

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.     

一种面向海量遥感数据分类应用的并行解决方案

目前,遥感数据量呈海量增长趋势。如何在大数据环境下进行快速影像分类及信息挖掘,提升处理的业务化水平,是一个重要的研究方向。鉴于此,实现了一种高效的解决方案。首先,基于"五层十五级"数据结构,对以景为单位的影像进行离散化处理,建立以切片为单元的数据组织体系。其次,借助大数据云存储技术实现切片的集群分布式存储。其次采用了基于像元和对象的高效监督分类算法,并依据计算处理需求对集群环境下的并行架构和驱动机制进行适应性设计。最终,实现了该解决方案并以高分2号多光谱切片进行实验。结果表明:该方案在保证精度的前提下提高了分类处理的效率。     

基于Hadoop集群的日志分析系统的设计与实现

当前Internet上存在着海量的日志数据,他们中蕴藏着大量可用的信息。对海量数据的存储和分析都是一个艰巨而复杂的任务,单一主机已经无法满足要求,使用分布式存储和分布式计算来分析数据已经成为了必然的趋势。分布式计算框架Hadoop已经日趋成熟,被广泛的应用于很多领域。该文描述了一个针对大日志分析的分布式集群的构建与实现过程。介绍了日志分析的现状,使用vmware虚拟机搭建了Hadoop集群和日志分析系统的构建方法,并对实验结果进行了分析。     

Content-based image retrieval algorithm acceleration in a low-cost reconfigurable FPGA cluster

The SMILE project main aim is to build an efficient low-cost cluster based on FPGA boards in order to take advantage of its reconfigurable capabilities. This paper shows the cluster architecture, describing: the SMILE nodes, the high-speed communication network for the nodes and the software environment. Simulating complex applications can be very hard, therefore a SystemC model of the whole system has been designed to simplify this task and provide error-free downloading and execution of the applications in the cluster. The hardware–software co-design process involved in the architecture and SystemC design is presented as well. The SMILE cluster functionality is tested executing a real complex Content-Based Information Retrieval (CBIR) parallel application and the performance of the cluster is compared (time, power and cost) with a traditional cluster approach.     

Ceph分布式存储系统性能优化技术研究综述

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。     

基于云计算的大规模网页日志挖掘研究

互联网上的数据规模大、种类多、变化快,而且越来越复杂。通过数据挖掘和分析,可以获取有潜在价值的信息。但是,传统的数据挖掘系统在数据存储和计算性能上存在瓶颈。通过使用云计算技术,设计了一个基于Hadoop架构的网页日志数据挖掘和分析平台来解决这个问题。同时,为了提高挖掘效率,为大规模网页日志挖掘实现了Apriori算法的并行化,并使用该平台验证了该行算法的效率。     

现代化工流程报警系统优化算法及应用

过量的流程报警信息给操作者的决策和诊断带来困难,根据现代化工流程报警的特点,提出基于动态模糊聚类算法对化工流程报警系统进行合理分组,采用模糊差异驱动决策算法对报警等级排序,在线优化流程报警系统,提高报警系统的有效性。结合乙烯裂解炉系统的报警优化验证了提出的优化算法的有效性,对现代化工过程参数报警系统管理和操作优化具有较强的实用性。     

面向海量数据应用的物联网信息服务系统研究综述*

物联网信息服务系统整合了基础设施层获取的海量数据,是面向各类物联网应用提供跟踪、监测和控制等信息服务的关键平台。阐述了物联网海量数据处理技术,包括存储、预处理和数据挖掘;总结了物联网信息服务系统在系统安全、隐私保护和可信性方面的安全保障机制;从系统架构、实现技术和系统实践三个方面,探讨了物联网信息服务系统的设计。最后,展望了这一领域面临的挑战和有待进一步研究的方向。     

基于混合人工免疫算法的流程挖掘事件日志融合方法

流程挖掘是流程管理和数据挖掘交叉领域中的一个研究热点.在实际业务环境中,流程执行的数据往往分散记录到不同的事件日志中,需要将这些事件日志融合成为单一事件日志文件,才能应用当前基于单一事件日志的流程挖掘技术.然而,由于流程日志间存在着执行实例的多对多匹配关系、融合所需信息可能缺失等问题,导致事件日志融合问题具有较高挑战性.本文对事件日志融合问题进行了形式化定义,指出该问题是一个搜索优化问题,并提出了一种基于混合人工免疫算法的事件日志融合方法：以启发式方法生成初始种群,人工免疫系统的克隆选择理论基础,通过免疫进化获得“最佳”的融合解,从而支持包含多对多的实例匹配关系的日志融合;考虑两个实例级别的因素：流程执行路径出现的频次和流程实例间的时间匹配关系,分别从“量”匹配和“时间”匹配两个维度来评价进化中的个体;通过设置免疫记忆库、引入模拟退火机制,保证新一代种群的多样性,减少进化早熟几率.实验结果表明,本文的方法能够实现多对多的实例匹配关系的事件日志融合的目标,相比随机方法生成初始种群,启发式方法能加快免疫进化的速度.文中还针对利用分布式技术提高事件日志融合性能,探讨了大规模事件日志的分布式融合中的数据划问题.