基于私有云的混合型大数据匿名化加密仿真

针对目前混合型大数据匿名安全方法的用户查询相似度偏低,导致匿名数据可用性不理想的问题,提出基于私有云的混合型大数据匿名化加密方法。设计混合型大数据平台架构,将物理服务器和私有云主机的大数据平台相混合,以提高其可扩展性能。利用信息损失指标对混合数据实现泛化处理。构建用户查询项模型,通过散度进行查询项的相似度运算,相似程度越高匿名数据可用性越高。聚类用户查询项模型,发布匿名化数据,保证私有云混合数据的安全。实验结果表明,所提方法能够提高混合数据的实用性,降低了密文的大小,节省大数据存储空间,且方法运行耗时更短。     

基于私有云的应急指挥管理综合平台研究

核电厂在信息系统运行多年后,存在物理服务器老旧而替换困难、备件准备规格不一、缺少系统备份措施以及物理服务还原困难等问题。在研究了云计算服务相比于传统的计算服务的优势后,提出了基于私有云的应急指挥管理综合平台设计方案。该方案利用云计算物理服务器搭建私有云平台,在私有云平台上通过虚拟机部署应急指挥管理综合平台以及环境辐射和气象监测系统,再利用云平台的虚拟化网络技术连接各个系统的虚拟机。通过在内部各虚拟网络之间部署虚拟防火墙,实现了系统间的“分区分域”安全隔离。基于私有云的设计方案,可以将各核电厂原有的应急系统以及环境辐射和气象监测系统的物理服务器数量减少50%以上、机柜数量减少一半、服务器备件的种类减少到1种。通过在某核电厂应急环境网改造中采用所提方案,进一步验证了所提方案的可行性和可靠性。该方案不仅可以推广应用到在运核电厂的环境应急网改造过程中,也为后续新建核电厂应急平台设计批量化采用私有云方案奠定了坚实的基础。     

大数据时代勘探云建设模式探索

按照大数据定义,油气勘探数据处理工作显然是一种大数据应用模式,而作为油气勘探核心工作平台的勘探云计算中心,其建设目的首先是为了满足企业内部业务数据处理工作需求,在确保计算力分享和协同工作的基础上,勘探云更注重数据存储、数据管理以及数据应用业务的支持,对照一般公用云建设模式,勘探私有云建设具备其独特的建设模式。笔者企业结合自身特点,对照当前大数据应用需求开展勘探私有云建设工作,取得了一定的效果,对企业主营业务的支持效果明显。     

面向混合数据源的企业数据库私有云设计

针对混合数据源的采集、集成和应用问题,提出一种面向混合数据源的数据库私有云设计,针对混合数据源的不同结构化程度,将数据源分成结构化、半结构化和非结构化;针对混合数据源不同的不同时序特点,数据库私有云设计定时采集和实时采集两种采集方式;为了提高混合数据源的存取效率,数据库私有云将非结构化和半结构化数据存储在分布式文件系统,将结构化数据存储在分布式数据库;针对混合数据源的大数据应用需求,数据库私有云的计算层由数据仓库、实时数据处理、机器学习和数据查询服务组成;数据库私有云通过服务使能系统辅助用户开发具体应用程序,通过服务管理系统管理和监控这些具体应用程序。数据库私有云设计可以有效提供企业采集、集成和应用混合数据源的效率和效益。     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

基于Ceilometer Alarm API的操作设计和实现

随着云计算技术的不断发展,越来越多的企业采用OpenStack来构建私有云或公有云平台.云平台正逐步替代传统服务器,用来承载着企业和用户的IT业务.为了保证云平台的服务质量,本文基于OpenStack的报警功能接口——Ceilometer Alarm API设计和实现了对于云平台虚拟机监控报警功能的交互操作页面.通过使用该功能,用户可以监控虚拟机运行时的性能状态,保证云平台的可靠运行.     

基于迭代MapReduce的混合云大数据分析

现有混合云平台运行大数据分析等数据密集型工作负载存在数据迁移开销大、执行时间长等问题,提出基于迭代MapReduce的大数据分析方法.提出一种数据存储和数据迁移机制,迭代时将初始不变量从私有云迁移至公有云,无需修改MapReduce框架或底层存储层;利用随机森林估计所提迭代MapReduce应用程序所需的计算时间.OpenStack混合云实验结果表明,相比传统方案,提出方法仅增加了初始迭代的运行时间,最终完成时间比传统方法节约12.6％以上.此外,提出的性能预测方法的误差率可保持在19.54％以内.     

基于自主容器云平台的大数据日志采集系统

随着云计算、虚拟化、容器云等技术的应用以及国产自主可控的要求，越来越多的服务会部署在国产的服务器以及自主可控的容器云平台上。自主可控云平台上的服务在运行的过程中，需要获取日志数据，来进行一系列的监控、统计、分析以及预测工作。然而由于国产服务器的特殊性以及容器云平台的特殊性，传统的日志采集方式（包含实时采集和集中式采集）并不能够很好地适用于自主可控的容器云平台，为了提高服务的质量和性能并且保证日志数据的一定全面性，本文提出一种自适应的数据采集算法，能够根据服务器的负载自我调整日志数据采集发送量。当服务器负载较低的时候，提高数据采集和发送的数量，甚至是做到实时采集；当服务器负载较高时，降低对日志数据的采集和发送量，从而降低对服务器负载的压力，提高服务自身的质量和性能。最后通过理论和实验分析验证该数据采集算法在保证数据一定的全面性的同时，能有效缓解国产服务器的压力。     

甲骨文推出业界首个云操作系统OracleSolaris11

甲骨文公司近日宣布，推出业界首个云操作系统OracleSolaris11，其可以满足基于云环境的安全性、性能和可扩展性要求，从而使客户能在私有云、混合云或公共云中运行要求最苛刻的企业应用。     

Cloud OS：微软的“公”与“私”

ICT业界一种普遍的看法是,混合云架构将是未来的主流,但对于一家企业来说,私有云与公有云需要混合使用,如何进行有效的资源对接和应用迁移则成了一个非常现实的难题。同时,在云服务、随时在线的移动设备与大数据接踵而来的新IT环境下,服务器操作系统开始展现出了新的一波复兴浪潮。     

大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。     

Joint study on VMs deployment,assignment and migration in geographically distributed data centers

Enterprises build private clouds to provide IT resources for geographically distributed subsidiaries or product divisions. Public cloud providers like Amazon lease their platforms to enterprise users, thus, enterprises can also rent a number of virtual machines (VMs) from their data centers in the service provider networks. Unfortunately, the network cannot always guarantee stable connectivity for their clients to access the VMs or low-latency transfer among data centers. Usually, both latency and bandwidth are in unstable network environment. Being affected by background traffics, the network status can be volatile. To reduce the latency uncertainty of client accesses, enterprises should consider the network status when they deploy data centers or rent virtual data centers from cloud providers. In this paper, we first develop a data center deployment and assignment scheme for an enterprise to meet its users’ requirements under uncertain network status. To accommodate to the changes of the network status and users’ demands, a VMs migration-based redeployment scheme is adopted. These two schemes work in a joint way, and lay out a framework to help enterprises make better use of private or public clouds.     

云数据管理索引技术研究

数据的爆炸式增长给传统的关系型数据库带来了巨大的挑战,使其在扩展性、容错性等方面遇到了瓶颈.而云计算技术依靠其高扩展性、高可用性、容错性等特点,成为大规模数据管理的有效方案.然而现有的云数据管理系统也存在不足之处,其只能支持基于主键的快速查询,因缺乏索引、视图等机制,所以不能提供高效的多维查询、join等操作,这限制了云计算在很多方面的应用.主要对云数据管理中的索引技术的相关工作进行了深入调研,并作了对比分析,指出了其各自的优点和不足;对在云计算环境下针对海量物联网数据的多维索引技术研究工作进行了简单介绍;最后指出了在云计算环境下针对大数据索引技术的若干挑战性问题.     

基于区块链技术的物流大数据可视化平台构建

针对传统物流大数据可视化平台缺少共享机制,可视化结果并不理想的问题,提出了基于区块链技术的物流大数据可视化平台构建方法。在区块链技术的基础上构建物流大数据管理平台,将大数据、云计算、移动互联网等新信息技术融入到平台构建中,在分层式的体系结构设计的基础上保证平台各个分层拥有适度的可扩展性与适应性。使用ML-T80型号电子标签,对货物所在位置进行实时跟踪,采用Symbol LS2208AP型号条码扫描器,实现手持模式和免提模式轻松地切换。根据用户展示端电路连接图,使用户在外界受到电磁干扰的情况下依旧能够直接查阅到想要的信息。规划服务范畴,设计数据管理功能、物流信息服务功能、物流资源交易功能和智能辅助决策功能模块。由实验结果可知,该平台共享周期短,最高共享效果可达到93%,以此实现物流大数据共享价值最大化。     

基于大数据的农产品信息服务云平台设计

针对现有农产品信息服务存在的数据质量低、整合难、流通差等问题和大数据时代的工作要求,依托物联网、大数据、云计算等技术,设计一种基于大数据的农产品信息服务云平台。数据获取层主要利用物联网感知采集数据,在大数据中心完成数据转换、处理、分析,通过应用层可视化展示实现"4A"应用。平台进行云化管理,为不同参与主体提供按需服务,将大数据技术应用于农产品信息服务领域,实现农产品大数据的实时共享,有利于农产品数据资源的有效充分利用。     

基于大数据、云平台和微服务的水文综合平台建设

随着社会对水文服务需求的不断提高,为解决水文信息化发展的同时出现的水文应用繁多,资源不共享,标准不统一等问题,江西省建设基于大数据、云平台和微服务的水文综合平台。解析水文综合平台实现水文业务数据的一数一源和业务协同集成的脉络,分别阐述大数据平台、云平台和微服务架构技术结合在数据层和平台层的支撑作用;同时在分析应用支撑、水文综合数据库和数据共享、水文微服务、水文综合等平台建设内容的基础上,重点明确水文综合平台建设意义。江西省水文综合平台在11个地级市落地应用表明:“大数据+云平台+微服务”可为江西省水资源管理、水利数据整合、水利系统优化提供关键支撑,为未来水利信息化发展问题解决提供借鉴方案。     

A hybrid approach for scalable sub-tree anonymization over big data using MapReduce on cloud

In big data applications, data privacy is one of the most concerned issues because processing large-scale privacy-sensitive data sets often requires computation resources provisioned by public cloud services. Sub-tree data anonymization is a widely adopted scheme to anonymize data sets for privacy preservation. Top–Down Specialization (TDS) and Bottom–Up Generalization (BUG) are two ways to fulfill sub-tree anonymization. However, existing approaches for sub-tree anonymization fall short of parallelization capability, thereby lacking scalability in handling big data in cloud. Still, either TDS or BUG individually suffers from poor performance for certain valuing of k-anonymity parameter. In this paper, we propose a hybrid approach that combines TDS and BUG together for efficient sub-tree anonymization over big data. Further, we design MapReduce algorithms for the two components (TDS and BUG) to gain high scalability. Experiment evaluation demonstrates that the hybrid approach significantly improves the scalability and efficiency of sub-tree anonymization scheme over existing approaches.