云计算环境下基于数据关联度的海洋监测大数据布局策略

海洋监测数据是具有强数据关联的大数据,如何高效地进行数据布局,是制约其有效管理和应用的关键问题之一。在云计算环境下,针对海洋监测大数据的特点,提出了一种基于数据关联度的海洋监测大数据布局策略。在保证数据中心存储均衡的情况下,综合考虑了监测任务、监测点和监测数据之间的关联,建立了海洋监测点间的关联度、监测数据间的关联度和监测数据全局关联度,从三个角度对海洋监测大数据进行布局,使得同一数据中心内的数据具有较高的关联度。通过实验分析,该方法降低了用户访问海洋监测大数据的响应时间,为海洋监测大数据提供了一种有效的布局策略。     

Computing infrastructure for big data processing

With computing systems undergone a fundamental transformation from single-processor devices at the turn of the century to the ubiquitous and networked devices and the warehouse-scale computing via the cloud, the parallelism has become ubiquitous at many levels. At micro level, parallelisms are being explored from the underlying circuits, to pipelining and instruction level parallelism on multi-cores or many cores on a chip as well as in a machine. From macro level, parallelisms are being promoted from multiple machines on a rack, many racks in a data center, to the globally shared infrastructure of the Internet. With the push of big data, we are entering a new era of parallel computing driven by novel and ground breaking research innovation on elastic parallelism and scalability. In this paper, we will give an overview of computing infrastructure for big data processing, focusing on architectural, storage and networking challenges of supporting big data paper. We will briefly discuss emerging computing infrastructure and technologies that are promising for improving data parallelism, task parallelism and encouraging vertical and horizontal computation parallelism.     

基于区块链技术的物流大数据可视化平台构建

针对传统物流大数据可视化平台缺少共享机制,可视化结果并不理想的问题,提出了基于区块链技术的物流大数据可视化平台构建方法。在区块链技术的基础上构建物流大数据管理平台,将大数据、云计算、移动互联网等新信息技术融入到平台构建中,在分层式的体系结构设计的基础上保证平台各个分层拥有适度的可扩展性与适应性。使用ML-T80型号电子标签,对货物所在位置进行实时跟踪,采用Symbol LS2208AP型号条码扫描器,实现手持模式和免提模式轻松地切换。根据用户展示端电路连接图,使用户在外界受到电磁干扰的情况下依旧能够直接查阅到想要的信息。规划服务范畴,设计数据管理功能、物流信息服务功能、物流资源交易功能和智能辅助决策功能模块。由实验结果可知,该平台共享周期短,最高共享效果可达到93%,以此实现物流大数据共享价值最大化。     

基于Hadoop的仿射传播大数据聚类分析方法

仿射传播聚类算法（AP）是一个新的聚类分析方法,已经被广泛应用于各种领域。APC算法不能用于大型数据的分析。为了克服这个限制,在Hadoop分布式框架的基础上提出一种改进的放射传播聚类分析方法（基于Hadoop的仿射传播大数据聚类分析方法,简称APCH）。通过在Hadoop环境下重新设计算法流程,APCH算法成为了一个并行化的大数据聚类分析方法。此外APCH算法能够高效操作大数据,并能够直接决定聚类的个数。为了验证方法的性能,在多个数据集上进行了实验。实验结果表明APCH对大数据处理有很好的适应性和延展性。APCH采用开源的方式提供可执行软件程序和源代码,用户可以下载后部署在自己的分布式集群中或者是部署在亚马逊EC2等云计算环境中。所有编译后的执行程序,源代码,用户手册,部分测试数据集均可以从https：//github.com/HelloWorldCN/MapReduceAPC上下载。     

A spatiotemporal compression based approach for efficient big data processing on Cloud

It is well known that processing big graph data can be costly on Cloud. Processing big graph data introduces complex and multiple iterations that raise challenges such as parallel memory bottlenecks, deadlocks, and inefficiency. To tackle the challenges, we propose a novel technique for effectively processing big graph data on Cloud. Specifically, the big data will be compressed with its spatiotemporal features on Cloud. By exploring spatial data correlation, we partition a graph data set into clusters. In a cluster, the workload can be shared by the inference based on time series similarity. By exploiting temporal correlation, in each time series or a single graph edge, temporal data compression is conducted. A novel data driven scheduling is also developed for data processing optimisation. The experiment results demonstrate that the spatiotemporal compression and scheduling achieve significant performance gains in terms of data size and data fidelity loss.     

基于内存云的大块数据对象并行存取策略

由于内存云(RAMCloud)只支持最大1 MB的小块数据对象存储,因此当大于1 MB的对象需要存储在内存云集群中就会受到对象大小的限制,无法在集群中进行存储。为了解决内存云存储限制的问题,提出了基于内存云的大块数据对象并行存取策略。该存储策略首先将大块数据对象分割成若干个1 MB的小块数据对象,然后在客户端生成数据摘要,最后使用并行存储算法将客户端分割成的小块数据对象存储在内存云集群中。读取时首先读取数据摘要,然后根据数据摘要从内存云集群中并行读取小块数据对象,并将小块数据对象合并生成大块数据对象。实验结果表明:大块数据对象的并行存取策略在不破坏内存云集群体系结构的前提下存储时间为16~18 μs,读取时间为6~7 μs。在InfiniBand网络架构下,所提并行算法的加速比呈现类似线性的增长,它使大块数据对象也能够像小块数据对象一样在微秒级别下快速、高效地进行存取。     

物联网环境下基于上下文的Hadoop大数据处理系统模型

针对物联网环境下异构大数据处理实时性低的问题,探讨了基于Hadoop框架实现数据处理与持久化的方法,提出了一种基于"上下文"的Hadoop大数据处理系统模型HDS,HDS利用Hadoop框架完成数据并行处理与持久化,将物联网环境下异构数据抽象为"上下文"作为HDS处理对象;并提出了"上下文距离"上下文邻域系统(CNS)"的定义;对于Hadoop框架本身数据处理实时性不高的问题,HDS在设计上增加了"上下文队列(CQ)"作为辅助存储来提高数据处理实时性;利用"上下文"的时空特性,建立了用户请求"上下文邻域系统"对任务进行重组.以成品油配送车辆调度问题为例,利用MapReduce并行实验对HDS的数据处理与实时性能进行了验证与分析.实验结果表明,在物联网环境下,HDS不仅在大数据处理性能上较传统单点处理模型(SDS)具有明显优势,在实验环境中10台服务器的情况下,其计算性能能够超过SDS 200倍以上;同时也验证了CQ作为辅助存储能够有效提高数据处理实时性,在10台服务器环境下,其数据处理实时性能够提高270倍以上.     

基于大数据的电力企业资产组维修策略优化研究

汇总过去若干年的电力设备故障数据,运用大数据分析方法,把故障预测技术引入到预防性维修的实践中,提出一种基于大数据的预防性维修策略。首先,根据由状态检测信息得到剩余寿命的预测结果,以预防性维修时的剩余寿命为阀值制定预防性维修策略。然后,根据更新过程理论,建立以电力设备的预防性维修阀值和预测间隔期为优化变量,综合考虑电力设备维修成本、客户满意度、电量销售、停电损失、维修时机选择等约束条件呢,以电力设备平均维修费用最小和电力设备可用度最大为优化目标的预防性维修优化模型。采用人群搜索算法进行优化求解,得到系统最佳的预防性维修阀值和维修预测间隔期。最后,通过引入算例,对所建模型优化仿真求解,得到电力设备最佳的预测周期,在保证电力设备可用度的同时,使电力设备的平均维修费用最小,验证了所建模型的可行性和有效性,从而提高电力企业的整体效益。     

基于Spark Streaming的视频大数据并行处理方法

视频设备被广泛应用于公共区域、智能交通和工业生产等许多领域,其产生的视频数据具有体量巨大、速度极快、价值稀疏和完全非结构化等大数据典型特征。为了进一步提高视频大数据的处理性能,提出了一种基于Spark Streaming的视频大数据并行处理方法,设计了基于Spark Streaming的视频大数据并行处理框架,针对帧间无关分析算法和帧间相关分析算法分别给出了并行化策略,前者利用数据并行机制将去冗余后的视频帧映射到不同节点并行处理,后者利用流水线并行机制将分析算法的各个算子根据依赖关系映射到不同节点并行处理;结合实际应用对并行处理框架和并行化策略进行了评价,设计了电梯乘客数并行检测算法和电梯门异常并行检测算法,当节点数增加到16个时,电梯乘客数检测算法的性能加速比为615%,电梯门异常检测的性能加速比为253%。     

大数据环境下的分布式数据流处理关键技术探析

大数据环境下的数据流处理实时性要求高,数据计算要求持续性和高可靠性。分布式数据流处理系统（DDSPS）能解决大数据环境下的数据流处理问题,它除具备分布式系统的可扩展性和容错性优势外,还具有高的实时处理能力。详细介绍了组成基于大数据的分布式数据流处理系统的四个子系统及其关键技术,讨论和比较了各个子系统的不同技术方案;同时介绍一种分布式拒绝服务（DDoS）攻击检测数据流处理系统结构案例,其研究内容能为大数据环境下的数据流处理理论研究和应用技术开发提供技术参考。     

新的基于WAP的移动电子商务安全解决方案

研究了目前常见的几种基于WAP的移动电子商务安全模型,主要分析了双加密模型;根据其不足,提出一种新的基于WAP的移动电子商务安全解决方案.该方案将移动终端与内容服务器之间加密算法、消息摘要算法的磋商机制引入其中,使移动电子商务的安全更易实现.     

大数据和云计算技术的应用策略

目前,大数据和云计算在各行业得到了广泛运用,提升了企业的经济效益和社会效益,也为人们的生活创造了便利条件。文章主要分析了大数据和云计算技术,并对其应用策略进行了探讨,以供相关人员参考。     

基于AP聚类的不完整大数据填充

不完整数据的分析与填充一直是大数据处理的热点研究课题,传统的分析方法无法对不完整数据直接聚类,大部分方法先填充缺失值,然后对数据聚类。这些方法一般利用整个数据集对缺失数据进行填充,使得填充值容易受到噪声的干扰,导致填充结果不精确,进而造成聚类精度很低。提出一种不完整数据聚类算法,对不完全信息系统的相似度公式进行重新定义,给出不完整数据对象间的相似度度量方式,进而直接对不完整数据聚类。根据聚类结果将同一类对象划分到相同的簇中,通过同一类对象的属性值对缺失值进行填充,避免噪声对填充值的干扰,提高填充结果的精确性。实验结果表明,提出的方法能够对不完整数据进行聚类,并有效提高缺失数据的填充精度。     

应用于电子商务的工作流管理系统的研究

分析了传统工作流技术在电子商务活动中应用的局限性,提出了一种适用于现代电子商务的工作流管理系统,研究了其中的关键技术。     

基于ImpaIa的大数据查询分析计算性能研究

分析了 Cloudera 公司推出的 Impala 实时查询引擎原理与架构,并深入比较 Impala 与传统 MapReduce 的性能与特点,针对 Impala 进行复杂大数据处理方面的不足,提出了 MapReduce 与 Impala 结合的大数据处理方法,通过使用 MapReduce 对 Impala 的输入数据进行预处理,利用 MapReduce 在复杂作业处理方面的长处弥补了Impala 在这方面的不足。最后对电信手机上网日志进行大数据查询和分析计算实验,实验结果表明,在大数据查询性能方面,基于 MapReduce 与 Impala 结合的大数据处理速度比传统 MapReduce 快了一倍。特别地,在迭代查询实验中,基于 MapReduce 与 Impala 结合的处理方法超过传统 MapReduce 方法八倍以上。基于 MapReduce与 Impala 结合的处理方法在单次查询中的效率仍然高于传统 MapReduce;而在迭代查询中,MapReduce 与 Impala结合的处理方法远远地超过了 MapReduce。因此,MapReduce 与 Impala 结合的处理方法能够发挥 Impala 和 Ha-doop 各自的优点,让处理效率远超传统 MapReduce,对于复杂的大数据处理的能力高于 Impala。     

Diversification on big data in query processing

Recently, in the area of big data, some popular applications such as web search engines and recommendation systems, face the problem to diversify results during query processing. In this sense, it is both significant and essential to propose methods to deal with big data in order to increase the diversity of the result set. In this paper, we firstly define the diversity of a set and the ability of an element to improve the overall diversity. Based on these definitions, we propose a diversification framework which has good performance in terms of effectiveness and efficiency. Also, this framework has theoretical guarantee on probability of success. Secondly, we design implementation algorithms based on this framework for both numerical and string data. Thirdly, for numerical and string data respectively, we carry out extensive experiments on real data to verify the performance of our proposed framework, and also perform scalability experiments on synthetic data.     

基于拟态计算的大数据高效能平台设计方法

针对当前大数据应用主要以通用处理器为计算核心,且系统结构单一、能效比低,无法充分满足大数据的计算需求。基于拟态计算模型,提出了一种大数据高效能平台的设计方法。该方法以算粒为基本研究对象,深入剖析大数据应用算法的特征,合理划分各计算子任务;其次,构造体系结构匹配矩阵,并将子任务分配到合理的处理部件上;最后,利用动态电压/频率调节技术和数据布局算法,实现非关键任务的电压控制,并优化关键任务的结构布局。实验结果表明,拟态计算能深度融合各异构计算部件,建立具有灵活、可拓展的体系结构,充分发挥系统整体执行效率,降低功耗,提高能效比。     

探析大数据在高职教育中的个性化应用

伴随着移动宽带、物联网、云计算的迅猛发展以及越来越多的移动终端、传感设备接入网络，现代社会正在以不可想象的速度产生海量数据，对传统教育模式产生广泛而深刻的影响。在数据量庞大、种类繁多、信息多样化的大数据背景下，高职院校教学服务和数据利用方式将发生显著变化，并因此带来新的机会.大数据技术的应用，使得高校可以对其数据资源采取完全数据筛选的方式来分析、挖掘隐藏在数据背后的规律，获得具有洞察力和新价值的东西依靠数据作出科学决策，让高校的信息化建设成果为办学所用，为素质教育所用。     

大数据技术研究

大数据技术是继物联网、云计算技术之后IT业界又一次技术浪潮。为了全面深入地理解大数据技术的内涵,从大数据的定义及4V特征、关键技术及主要应用领域等四个方面进行阐述。介绍了大数据的基本概念、特征,总结了大数据的热门应用领域并用典型案例进行佐证,重点剖析了云计算、Hadoop、数据备份等三大核心技术及关键策略,最后对大数据应用中滋生的信息安全隐患提出了相应的对策。