微软Azure云平台HBase的使用

HBase是Hadoop平台上的一个子项目,可以认为HBase是一个分布式的、面向列的开源数据库,其在Hadoop平台上提供了Bigtable的功能,用户可以像使用普通数据库一样使用它,在本项目中通过创建一个Azure平台的HBase实例,介绍HBase的基本原理和使用方法.     

Azure云平台Apache Spark集群的使用

阐述在微软云平台Azure HDinsight中使用Spark集群,并结合一个事例使用Jupyter notebook来运行Spark查询SQL.     

基于Windows Azure的教学资源平台建设

近年来各个院校都在搭建自己的教学资源平台,在搭建过程中出现了不少问题,其中最主要的莫过于硬件占用投资比例过大,造成平台搭建完成后继续运行的经费不足、资源收集不力、人员培训不到位等.本文提出了一种基于Windows Azure的教学资源平台的搭建方法,使用该方法可以节省大量硬件投入,将有限的经费使用到资源收集、制作及平台维护上,对于广大院校建设自己的教学资源平台有较好的参考意义.     

梭子鱼扩展Windows Azure云平台上的云产品

<正>梭子鱼为Windows Azure提供完整的安全应用程序和安全远程接入安全与存储解决方案厂商梭子鱼网络公司近日拓展了Windows Azure云平台的产品线。为Windows Azure的客户提供梭子鱼Web应用防火墙、梭子鱼下一代防火墙和梭子鱼应用交付控制器。梭子鱼网络安全业务总经理Stephen Pao表示:"梭子鱼Web应用防火墙、梭子鱼下一代防火墙     

浅析.NET平台

微软的体系结构只是建立在COM/DCOM基础上,其标准在实现与其它软件平台集成、数据库操作方面在实现数据传送、Recordset对象的二进制格式对非微软的平台在存储等方面均存在着缺陷。.NET平台弥补了这些缺陷,因为它完全基于标准。同时.NET把WebServices作为唯一的集成解决方案,实现起来更平滑。     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

海量农业数据云平台的研究

在传统的关系型数据库模式的使用中,存在大量的农业数据存储容量小和管理不够完善的问题。基于对Hadoop的分析,提出运用Hadoop框架构建海量农业数据处理云平台,并给出了平台架构和部分实验结果。通过实验数据表明,该方法可以为搭建农业海量数据云平台提供方法论基础,并实现了农业大数据有效的存储和管理。     

梭子鱼Web应用防火墙在Azure Gallery中上线

正新的梭子鱼Web应用防火墙7.9版本增强了公有云的自动化和配置梭子鱼网络近日推出梭子鱼Web应用防火墙7.9版本。新版本扩展了微软Azure对自动供应和配置的支持,使客户能够充分利用云的动态和弹性。作为微软Azure认证计划的一部分,梭子鱼Web应用防火墙Vx已经在Azure Gallery中上线。根据Gartner的数据得知,近50%的大型企业会在2017年年底前使用混合云部署。此外,据IDC预测,到     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

风电场数据中心Hadoop云平台作业调度算法研究

风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。     

云平台下的装备保障管理系统结构化数据查询

首先针对我军装备保障管理系统关系数据库在海量数据查询以及分析处理方面的不足,在对系统数据资源分析的基础上提出并实现了基于Hadoop云平台结构化数据查询策略,通过Sqoop工具将数据库中的数据导入到HDFS中,并利用Hive进行数据分析.然后通过实验证明此方法克服了海量数据在单机环境中查询效率低下的缺点,具有较高的实用价值.     

ASP.NET平台ADO.NET连接池机制的分析与设计

主要介绍.NET框架的ADO.NET连接池技术的基本原理,结合流程图阐述了其相应的管理策略,给出了.NET应用程序访问SQL senver数据库连接池的有效设计方法.     

基于大数据分析技术的智慧平台设计

大数据分析技术可切实汇总教育资源,为教育行业提供虚拟化服务,以助于教师与学生简洁化智慧平台研发流程,设计出与教育、科研需求相符的智慧平台,从而为平台用户提供文件存储、课程管理与发布等一系列优质服务。而且智慧云平台不仅可在很大程度上为学生打造健康且轻松的学习环境,还可为教师、学生、管理人员提供一体化线上服务。所以本文基于大数据分析技术设计了智慧平台,以期能够为智慧教育目标的顺利实现,教育教学效率与质量的有效提升提供有力帮助。     

基于云存储的高职教学资源平台设计

随着我国高职教育资源飞速增长,大量数据的存储已成为高职研究的一个新的内容。传统存储架构存在资源利用率低、信息和资源无法有效共享等问题。本文提出将云存储应用到高职教学资源,实现教学资源共享。将提高高职院校现有的教学资源的利用率,避免相同资源的重复建设,满足大量数据存储和管理,从而降低高职教学资源建设和维护的成本。     

Hadoop平台上的云会议研究

针对传统多媒体会议规模小、媒体可靠性差和系统鲁棒性弱等缺点,提出一种面向服务基于云计算的多媒体会议-云会议.该系统利用面向服务的思想,采用松耦合结构,将信令、媒体服务相分离;利用云计算的规模大、扩展性和计算能力强的特点,扩大会议规模、高效处理媒体;改进云计算开发平台Hadoop,使其满足多媒体会议需求.实验表明,云会议在规模、可靠性、鲁棒性各方面比现有多媒体会议表现更佳.     

Hadoop云平台下基于资源预估的作业调度算法

为解决Hadoop云平台下作业无法满足时间约束的问题,提出一种基于资源预估的作业调度算法。通过建立资源预估模型计算作业所需资源,然后结合作业间的资源竞争关系对完成时间进行判定,最后根据作业的数据本地性改进延迟调度策略。实验结果表明,本文算法能够满足作业对时间约束的需求,提升系统的资源利用率。     

云视频会议平台研究

为解决云计算环境下视频会议的开发与应用,提出了包括基础设施即服务IaaS、平台即服务PaaS和软件即服务SaaS的云视频会议平台框架,分析了云视频会议的服务功能和会议流程,并建立了云视频会议平台系统。平台的应用能够促进信息的实时沟通,在降低企业开发、维护成本的同时,提升企业的决策能力。     

云环境下Hadoop平台的作业调度算法

云计算的研究和应用将有一片广阔的前景,详细研究和分析了Hadoop平台架构和核心原理,研究了Hadoop现有的典型作业调度算法,并针对算法存在需要预先配置的问题,提出了基于朴素贝叶斯分类的作业调度算法,通过仿真实验,可以看出改进的算法具备了良好的学习能力,性能良好,可以减轻管理员的负担,提高管理效率,减少人工错误的可能性.     

基于任务进度感知的异构Hadoop云平台任务调度方案

针对异构Hadoop云计算平台的任务调度问题,对Hadoop 推测执行调度和LATE调度方案进行研究,提出一种基于任务进度感知的自适应任务调度方案。首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队者(Straggler)任务。然后,以平均节点任务进度的25%为阈值,将节点分为慢节点和快节点。当Straggler后备任务达到一定阈值时,将其优先分配到快节点中执行。实验结果表明,提出的方案能够为异构Hadoop平台合理分配任务,有效降低了任务完成时间和响应延迟,同时提高了平台吞吐量。