基于Spark的大数据混合计算模型

现实世界大数据应用复杂多样,可能会同时包含不同特征的数据和计算,在这种情况下单一的计算模式多半难以满足整个应用的需求,因此需要考虑不同计算模式的混搭使用。混合计算模式之集大成者当属UCBerkeley AMPLab的Spark系统,其涵盖了几乎所有典型的大数据计算模式,包括迭代计算、批处理计算、内存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)、以及图计算(GraphX)。 Spark提供了一个强大的内存计算引擎,实现了优异的计算性能,同时还保持与Hadoop平台的兼容性。因此,随着系统的不断稳定和成熟, Spark有望成为与Hadoop共存的新一代大数据处理系统和平台。本文详细研究和分析了Spark生态系统,建立了基于Spark平台的混合计算模型架构,并说明通过spark生态系统可以有效地满足大数据混合计算模式的应用。     

大数据时代勘探云建设模式探索

按照大数据定义,油气勘探数据处理工作显然是一种大数据应用模式,而作为油气勘探核心工作平台的勘探云计算中心,其建设目的首先是为了满足企业内部业务数据处理工作需求,在确保计算力分享和协同工作的基础上,勘探云更注重数据存储、数据管理以及数据应用业务的支持,对照一般公用云建设模式,勘探私有云建设具备其独特的建设模式。笔者企业结合自身特点,对照当前大数据应用需求开展勘探私有云建设工作,取得了一定的效果,对企业主营业务的支持效果明显。     

大数据环境下MES作业计划与调度能力云服务化研究

云制造技术给制造企业带来机遇的同时,也为其制造执行系统MES的设计与实现带来了新的挑战。为了解决单件小批MES中作业计划与调度优化问题,首先设计了一个从作业计划静态制定,到作业执行情况实时监控与主动感知,再到异常事件智能响应,最后到作业调度动态调节的闭环体系结构。接着针对异常信息实时获取与异常事件发现、异常事件智能化处理以及作业计划与调度优化算法计算能力服务化三个子问题,依次进行了问题分析并给出了技术解决方案。最后,以哈尔滨电机厂为案例对象,综合利用IEC/ISO 62264标准、大数据分析与挖掘方法以及由虚拟化、服务化和SOA等组成的云计算技术实现了单件小批MES作业计划与调度综合优化系统,验证了上述理论与方法的有效性。     

基于关键列分组排序的列存储结构

磁盘作为海量数据的主要存储介质,具有容量大、成本低的优点,但是磁盘IO带宽远远落后于数据增长速度,日益成为大数据管理系统的性能瓶颈。因此,优化存储结构、提高读写效率是大数据时代管理系统面临的重要挑战。提出了一种基于关键列分组排序的混合列存储结构KCGS-Store,根据关键列分组将关系表划分为存储池,确保池内所有记录在关键列上的取值或取值范围相同,然后逐列进行池合并。合并后的关键列,以池为单位有序排列,执行条件查询时能够有效过滤无关列值,减少数据读取量,提升查询性能。同时利用池号索引,以少量时间空间代价完成记录重组。实验数据表明,与ORCFile、Parquet存储结构相比,KCGS-STORE在存储空间、数据加载、SQL查询等方面都有不同程度的优化。     

面向频谱大数据处理的机器学习方法

随着移动互联网与物联网的迅猛发展,个人无线设备的数 量呈现指数级增长,随之产生的海量频谱数据与日俱增,频谱大数据的存在已成事实。同时 ,频谱赤字也日益严峻。为提高频谱利用率,有效的频谱大数据处理显得十分重要。本文从 无线通信的角度,首先给出了频谱大数据的定义并分析了它的基本特征;然后总结了一些 对于频谱大数据分析与利用颇具前景的机器学习方法,如分布式和并行式学习、极速学习、 核学习、深度学习、强化学习、博弈学习和迁移学习;最后给出了几个开放性话题和研究 趋势。     

大数据关联关系度量研究综述

大数据关联性分析是大数据挖掘的基础,一个好的关联性度量是实施关联分析的关键。本文首先指出大数据时代关联度量面临的挑战和研究现状,从关联关系度量的构造角度出发,对现有的关联关系度量进行整理,归纳总结了这些关联关系的性质和适用条件。在回顾关联度量发展历程的基础上,结合大数据时代关联关系的特点,提出构造关联度量可能满足的条件。最后针对多模态数据关联关系度量的若干问题进行探讨和梳理,从3个角度出发,提出应对多模态数据空间转换的挑战,以引起对该领域更深入的思考与研究工作,从而促进大数据挖掘工作的进展。     

视频大数据研究综述

科学技术与生产力的发展带来了数据量的高速增长,其中视频图像等多媒体数据占了很大的比重。如何高效处理这些海量数据并从中快速挖掘有价值的信息是当前的研究热点。通常大数据具有四个特点,即数据量大、需要快速响应、数据类型多样和价值密度低。视频大数据同样具有以上特点,但其特殊性在于数据冗余更大,需要进行高效的压缩编码与分析处理。总的来说,视频大数据的研究内容包括了视频数据表示、智能视频分析、视频压缩与传输、视频显示与评价等方面。在发展趋势上,视频数据的表示将向真实感与智能化两个方向发展;智能视频分析技术将会借助深度神经网络获得更准确的识别分类结果;视频压缩技术在提升压缩效率的同时也会探索降低编码复杂度的方法,并通过结合人眼视觉感知特性的编码算法来减少视频大数据的视觉冗余;视频显示设备将伴随着视频数据表示形式的改变而进行相应的升级换代;视频质量的评价准则将由单一的图像质量评价向更加综合全面的用户体验质量评价发展。     

学习“魏书生”,提高信息技术课堂的有效性

＂民主与科学＂是魏书生老师工作事业中致胜的法宝,把魏老师的具有个人特色的＂民主＂与＂科学＂融合进信息技术课堂,学会把课堂看作一个宏大的世界,从多方位激发学生的上课兴趣,培养学生良好的学习习惯,使＂事事有人做,人人有事做＂,呈现一个充满勃勃生机的课堂。     

Hadoop下并行遗传算法研究及在应急设施选址中的应用

随着云计算的出现,大数据的概念也随之产生。自然灾害日趋增多,要求应急设施的部署规模不断扩大,这时,如何有效进行大规模应急设施的选址成为应急管理系统的关键。因此,提出一种改进的并行遗传算法并在Hadoop平台上编程实现,并应用于求解应急设施选址问题的集合覆盖模型,达到求解应急设施选址的目的。试验结果表明,改进的并行遗传算法不管在获取全局最优解上还是在求解大规模应急设施选址的时效性上都优于原有算法,是一种云计算环境下有效的应急设施选址问题求解算法。     

基于大数据挖掘的精细化流量经营运营平台建设探索

在移动互联网时代,用户的消费行为产生了海量的数据,如何整合大数据,进行数据挖掘,从海量的数据中挖掘出有用的信息,以便对客户作精细化流量经营,这是当前各大运营商面临的主要问题。本文从现状出发,分析了运营商为能做到精细化流量经营,需要如何建设运营平台和进行数据挖掘。