云技术在飞行试验数据处理中的应用

针对飞行试验数据的海量非结构化的特点以及当前所面临的处理与应用问题,研究分析当前新兴的云技术,提出了飞行试验数据云计算应用架构的3个组成要素:设备系统、云存储和云计算。面向试飞数据工程应用,以试飞科目、试验动作段为频度矩阵建立试飞元数据存储阵列,实现海量非结构化试飞数据的云存储应用;以SOA架构为基础,结合面向应用的处理功能组件,实现分布式网络计算调度和计算群集,为用户提供高效的云计算服务。工程实践应用表明,该系统以灵活架构有效地解决了非结构化大数据信息的高效存储、统一管理和共享应用,实现了海量试飞数据的快速分析处理,展示了云计算技术的先进特点。     

基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.     

云计算在智能电网调度中的应用

为解决传统电力系统中集中式计算平台海量数据流的存储和分析功能不足的问题,针对云计算在智能电网调度技术中的应用进行了研究。首先,对云计算技术在IT行业的发展进行阐述,对云计算的关键技术从虚拟化与快速部署技术、大规模分布式存储技术、资源调度技术、大规模多租户技术、海量数据处理技术以及大规模信息通信技术等方面出发进行介绍。其次,借鉴IT行业云计算技术,设计了基于云计算的智能电网计算平台以及基于云计算的智能电网互动式节能优化调度架构,以期推动云计算在电力系统中的发展,解决智能电网互动式节能优化调度算法方面的问题。     

一种科学工作流的云数据布局与任务调度策略

云计算环境下,数据密集型科学工作流的数据文件在多数据中心间的合理布局,对科学工作流的执行效率具有很大的影响。根据科学工作流各数据集之间的依赖关系,并聚焦于运行科学工作流的各数据中心的处理能力差异和网络性能差异,提出一种可提高科学工作流执行性能的数据布局以及数据布局敏感的任务调度策略。分析和实验表明,上述策略可有效减少科学工作流运行时跨数据中心的数据传输,降低科学工作流的运行时间,从而提高科学工作流整体运行效率。     

基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。     

改进遗传算法在云辅助教学平台中的应用研究

云计算技术迅猛发展,云计算辅助教学平台应运而生,具有网络化的海量教学数据资源存储与计算功能和瘦客户端等显著优点,云辅助教学平台数据量和用户量巨大的特点决定了其作业类型的多样性和数据密集性,云辅助教学平台的设计重点在于高效率的资源管理和调度。论文设计云计算辅助教学平台的体系结构,并对云平台作业调度的原有自适应遗传算法做出改进,以传统遗传算法做基础,综合数据公平和本地性选择遗传基因,相比于传统算法,在响应用户需求上更高效。仿真实验结果显示改进后算法更能体现公平性、并提高了效率,更适于云计算机环境。     

基于物联网海量数据处理的数据库技术分析与研究

物联网的快速发展,对海量数据处理技术要求越来越高。针对物联网数据的实时性、海量性、多态与异构性特征,文章通过对基于分布式内存数据库的数据库技术和基于云计算技术的分布式实时数据库技术的分析研究,认为以上两种数据库技术可以适合并满足物联网海量数据的处理需求。     

基于Hadoop的Web日志挖掘

基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率。     

基于云计算的网络舆情挖掘

网络舆情对人们日常生活和社会稳定的影响越来越大。传统的单机服务器已不能满足海量、异构、分布式、复杂的数据的计算要求。云计算系统能对大数据集进行处理、分析,向用户提供高效的服务。但数据本身具有噪声、异构等问题,为解决此问题首先进行数据规约,再对规约后的数据使用云计算工具进行网络舆情的挖掘。     

云计算环境下的负荷特征曲线提取

文章针对电网运行产生的数据呈爆炸式增长,EMS系统有效信息往往淹没在海量数据中这一问题,提出一种云计算模式下的聚类分析处理方法,基于Hadoop平台的Map Reduce计算模型与分布式文件存储,将系统聚类法进行拆分,在云环境中对多个计算模块进行并行分析。作为试验性验证,提取某大用户近三年的负荷特征曲线,选取不同数据量、不同节点数,进行算法加速比的测试。结果表明,在云计算架构中该算法可以有效提高计算效率,适用于电力系统海量数据的挖掘分析。     

Cloud data analysis using a genetic algorithm‐based job scheduling process

Data analysis plays a major role in different research applications that require a large volume of data. Cloud computing can provide computer processing resources and device‐to‐device data sharing based on user requirements. The main goal of cloud computing is to allow users and enterprise of varying capabilities to store and process data in an efficient way and to access and distribute resources. However, a crucial problem in cloud computing is job scheduling for numerous users. Prior to the implementation of job scheduling, jobs must be categorized according to degree of criticalness, privacy and time required. Based on the experimental results, the combination of tasks was successfully determined by the processor. In heterogeneous multiprocessor systems, customized job scheduling is highly critical for obtaining optimal job performance. In this paper, an evolutionary genetic algorithm was used for obtaining better results in job scheduling, thereby improving performance in the cloud system in this regard. The genetic algorithm‐based job scheduling process introduced minimizes the investment in time through effective allocation of user requests in order to enhance the overall efficiency of the system.     

面向移动云计算的自适应虚拟机调度算法

随着移动云计算的快速发展和应用普及,如何对移动云中心资源进行有效管理同时又降低能耗、确保资源高可用是目前移动云计算数据中心的热点问题之一.本文从CPU、内存、网络带宽和磁盘四个维度,建立了基于多目标优化的虚拟机调度模型VMSM-EUN(Virtual Machine Scheduling Model based on Energy consumption,Utility and minimum Number of servers),将最小化数据中心能耗、最大化数据中心效用以及最小化服务器数量作为调度目标.设计了基于改进粒子群的自适应参数调整的虚拟机调度算法VMSA-IPSO(Virtual Machine Scheduling Algorithm based on Improved Particle Swarm Optimization)来求解该模型.最后通过仿真实验验证了本文提出的调度算法的可行性与有效性.对比实验结果表明,本文设计的基于改进粒子群的自适应虚拟机调度算法在进行虚拟机调度时,能在降低能耗的同时提高数据中心效用.     

Optimization of cloud computing task execution time and user QoS utility by improved particle swarm optimization

In order to optimize the quality of service (QoS) and execution time of task, a new resource scheduling based on improved particle swarm optimization (IPSO) is proposed to improve the efficiency and superiority. In cloud computing, the first principle of resource scheduling is to meet the needs of users, and the goal is to optimize the resource scheduling scheme and maximize the overall efficiency. This requires that the scheduling of cloud computing resources should be flexible, real-time and efficient. In this way, the mass resources of cloud computing can effectively meet the needs of the cloud users. Field Programmable Gate Arrays (FPGA), high performance and energy efficiency in one field. Most of them would have been the particle algorithm. The current technological development is still in-depth at super-resolution image research at an unprecedentedly fast pace. In particular, systemic origin applications get a lot of attention because they have a wide range of abnormal results. The scientific resource scheduling algorithm is the key to improve the efficiency of cloud computing resources distribution and the level of cloud services. In addition, the physical model of cloud computing resource scheduling is established. The performance of the IPSO algorithm applied to cloud computing resource scheduling is analysed in the design experiment. The comparison result shows that the new algorithm improves the PSO by taking full account of the user's Qu's requirements and the load balance of the cloud environment. In conclusion, the research on cloud computing resource scheduling based on IPSO can solve the problem of resource scheduling to a certain extent.     

虚拟化云计算数据中心资源节能调度算法研究

针对当前云计算数据中心资源调度过程耗时长、能耗高、数据传输准确性较低的问题,提出基于VR沉浸式的虚拟化云计算数据中心资源节能调度算法。构建云计算数据中心资源采样模型,结合虚拟现实(virtual reality,VR)互动装置输出、转换、调度中心资源,提取中心资源的关联规则特征量,采用嵌入式模糊聚类融合分析方法三维重构中心资源,建立虚拟化云计算数据中心资源的信息融合中心,采用决策相关性分析方法,结合差异化融合特征量实现对数据中心资源调度,实现虚拟化云计算数据中心资源实时节能调度。仿真结果表明,采用该方法进行虚拟化云计算数据中心资源节能调度的数据传输准确性较高,时间开销较短,能耗较低,在中心资源调度中具有很好的应用价值。     

质心粒子群优化算法在云计算路径规划中的应用

云计算是一种为了解决海量数据处理要求的新型技术,云端数据资源的路由规划一直是研究的重点。粒子群优化算法具有智能搜索、全局优化、收敛速度快等特点。为了提高在云数据库路径选择的效率,在标准粒子群算法的基础上,提出了一种改进型的基于质心的粒子群优化算法模型,该算法能够在云中快速、合理地找到所需访问的数据库。仿真实验结果表明,该算法在采用合适的参数情况下具有良好的吞吐量,能有效地提高云计算的效率。     

基于Wi-Fi与Web的云计算资源调度算法研究

为缩短云计算执行时间,改善云计算性能,在一定程度上加强云计算资源节点完成任务成功率,需要对云计算资源进行调度;当前的云计算资源调度算法在进行调度时,通过选择合适的调度参数并利用CloudSim仿真工具,完成对云计算资源的调度;该算法在运行时无法有效地进行平衡负载,导致云计算资源调度的均衡性能较差,存在云计算资源调度结果误差大的问题;为此,提出一种基于Wi-Fi与Web的云计算资源调度算法;该算法首先利用自适应级联滤波算法对云计算资源数据流进行滤波降噪,然后以降噪结果为基础,采用本体论对云计算资源进行预处理操作,最后通过人工蜂群算法完成对云计算资源的调度;实验结果证明,所提算法可以良好地应用于云计算资源调度中,有效提高了云计算资源利用率,具有实用性以及可实践性,为该领域的后续研究发展提供了可靠支撑。     

面向云平台的二代测序数据近似去重方法研究

新一代测序因其数据量大、数据处理过程复杂、对计算资源要求高等特点,需要通过云计算进行处理。然而,云计算的处理方式要求先将测序数据上传到云平台中。但由于测序过程的随机性,使得同一样本的两次测序、两个相似样本分别测序后所产生的文件在二进制层面会有较大差别。目前已有的去重方法无法有效识别出这样的“重复”测序文件和测序结果中的“重复”内容。重复上传和存储这些重复数据,不仅消耗网络带宽,而且浪费存储空间。针对现存的重复数据删除方法仅仅基于文件的二进制特征,并未有效利用测序结果数据相似性特点的问题,提出一种面向云平台的海量高通量测序数据近似去重方法NPD（Near Probability Deduplication）。该方法对FastQ中的序列和质量信息,使用SimHash计算分块指纹,采用客户端与云平台双布谷过滤器（Cukoo Filter）对指纹值进行快速存在性检测,最后由云平台使用近似算法对指纹值近似去重。实验结果表明,NPD方法在保证高效的同时,大幅提升了去重率,进而减少了网络流量,缩短了数据上传时间,能够支撑海量数据处理,具有良好的实用价值。     

面向云环境的Flink负载均衡策略

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。     

云计算数据中心虚拟机节能管理机制研究

云计算数据中心的耗电量巨大,但绝大多数的云计算数据中心并没有取得较高的资源利用率,通常只有15%-20%,有相当数量的服务器处于闲置工作状态,导致大量的能耗白白浪费。为了能够有效降低云计算数据中心的能耗,提出了一种适用于异构集群系统的云计算数据中心虚拟机节能调度算法(PVMAP算法),仿真实验结果表明：与经典算法PABFD相比,PVMAP算法的能耗明显更低,可扩展性与稳定性都更好。与此同时,随着〈Hosts,VMs〉数目的不断增加,PVMAP 算法虚拟机迁移总数和关闭主机总数的增长幅度都要低于PABFD算法。     

面向多目标的云计算资源调度算法

在传统的虚拟机资源调度中,仅仅考虑当前负载,对虚拟机历史数据没有充分考虑,在处理云计算资源调度的时候出现负载失衡的状况,为了解决上述问题,本文提出了基于启发式遗传算法的资源调度算法,满足多目标规划的情况下实现云计算资源的调度.算法在为用户提供服务的同时充分考虑虚拟机的各种开销和因素,使提供云计算资源的服务器达到负载均衡.对目前的负载情况和历史数据进行分析,经过搜索和计算,计算得到同时满足负载变化数据约束和最小动态迁移开销的最好的云计算资源调度方案.最后,通过仿真实验,对算法进行验证,通过引入负载变化率和平均负载距离二个性能参数来比较和衡量虚拟机负载.实验数据证明,所提出的算法具有很好的全局收敛性和资源利用率,有效解决在资源调度中出现负载失衡和较大动态迁移开销的问题,因此,算法是可行和有效的.