基于云计算的大数据自动分类处理系统设计

随着现代网络技术不断进步,系统数据量也在逐渐增多;传统的大数据自动分类处理系统已经无法满足现阶段用户需求,其软件与硬件的设计都比较单一,存在能源消耗大、分类速度慢、处理时间长、内存占用率高等问题,为此,提出基于云计算的大数据自动分类处理系统的设计;首先设计系统硬件结构,主要包括数据采集器、数据处理器以及数据自动存储模块,并详细的介绍了各硬件结构;然后利用时域特征提取数据的算法对频域特征数据进行提取,从而实现数据自动分类处理系统的软件设计;最后对两种系统性能进行对比实验;实验结果证明,基于云计算的大数据自动分类处理系统的资源不仅占用率低,内存消耗小,而且数据库内存较大;该系统不但可以提高数据自动分类精准度,还能加快数据分类速度,从而使系统拥有更好的分类性能。     

云计算与大数据在钢铁企业的应用

本文对云计算及大数据的基本概念以及应用情况进行分析,针对国内钢铁企业的特点以及对信息系统深度应用的需求,在云计算和大数据如何在钢铁企业落地应用,以及这些新的信息技术可以为企业在降低成本、提升效益等方面的前景进行论述。     

飞腾1500A处理器性能分析工具Likwid研究

在飞腾1500A处理器平台对程序性能分析工具Likwid展开研究,主要研究了飞腾1500A处理器硬件拓扑信息的获取、性能监测单元PMU的访问以及性能分析工具的使用和数据分析。通过hwloc获取飞腾1500A处理器的硬件信息,给程序员提供关于飞腾1500A处理器的拓扑结构及相关概要信息;编写内核驱动模块使能飞腾1500A处理器的性能监控单元,指定事件类型,通过对应硬件计数器记录目标程序执行过程中事件发生的次数;结合简单代码和模板化的微基准测试程序,使用性能分析工具收集程序执行过程中相关数据,进行性能分析。     

基于虚拟化的云计算平台中安全机制研究

云计算平台能够大量的储存信息资源并对此进行复杂的计算,云计算平台可以为用户提供这些服务。但是云计算平台需要较强大的硬件以及软件的支持,不然则不能够保障云计算的安全性能。本文将主要讲述云计算及安全机制,并详述以其相关的云计算平台可信增强技术以及基于虚拟化的云计算平台中的安全机制的研究。     

基于统计学习分析多核间性能干扰

普遍认为,云计算和多核处理器将会统治计算领域的未来.但是,目前云计算数据中心的计算资源使用率非常低,其主要原因在于多核处理器上存在严重且不可预知的性能干扰.为了保证关键应用程序的QoS,只能禁止这些关键程序与其他程序共同运行,导致了资源的过度分配.为了提高数据中心的利用率,分析多核间的性能干扰成为一个关键的问题.观察到程序遭受的核间性能干扰可以表示为内存子系统总压力的线性分段函数,而与构成压力的具体应用程序无关.以此观察为基础,提出了一种基于统计学习的多核间性能干扰分析方法,使用主成分线性回归的方法获得干扰模型,可以精确且定量地预测任意程序由于内存子系统资源竞争导致的性能下降.实验结果表明,平均预测误差仅为1.1%.     

利用Itanium2的PMU部件开发程序性能分析工具

Itanium2处理器以寄存器组的形式提供的性能监视单元实现了在程序运行过程中捕捉微结构事件的功能。文中介绍了以Linux为Itanium2的性能监视单元提供的接口perfmon为基础的开发相对高端的性能分析工具的方法,以实现对这些由性能监视硬件提供的数据进行综合处理利用。     

遥感影像的高性能并行处理技术研究

随着空间遥感技术和对地观测技术的不断发展,光学、热红外和微波等不同技术手段可以获取同一地区的多种遥感影像数据（多时相、多光谱、多传感器、多平台和多分辨率等）,每天获取的遥感数据量越来越大。同时,大量的遥感应用需要快速地对这些遥感数据进行处理与分析,提供辅助决策信息。因此,如果不能及时进行数据处理,这些数据就会失去时效性,甚至失去数据本身的价值。高性能计算与并行处理技术,加速了遥感影像数据处理与信息提取的进度,如大规模多处理系统、网格与云计算技术、通用图形处理器（GPGPU）等。文中综述了高性能计算、并行处理及云计算技术应用于遥感领域的最新进展,给出了一些研究与应用范例,并提出了当前高性能遥感影像处理所面临的一些挑战。     

零售企业如何面对“大数据时代”

如果用高速公路来形容比喻云计算,那么大数据就是所有汽车中的货物。云计算为大数据提供了存储空间、访问渠道及运算能力。大数据是云计算的灵魂。当"物联网"、"云计算"我们都还没有理解清晰时,又出来了一个新名词——"大数据",这些IT名词仅仅是概念,还是与我们所处的商业环境有直接关系?笔者     

利用Itanium2的PMU部件开发程序性能分析工具

Itanium2处理器以寄存器组的形式提供的性能监视单元实现了在程序运行过程中捕捉微结构事件的功能。文中介绍了以Linux为Itarium2的性能监视单元提供的接口perfmon为基础的开发相对高端的性能分析工具的方法，以实现对这些由性能监视硬件提供的数据进行综合处理利用。     

基于云计算的大数据存储安全研究

云计算方式作为一种全新的计算机计算形式,在社会的发展中逐渐占据越来越重要的地位,其中的大数据存储作用尤为突出.本文主要阐述了云计算大数据在存储安全方面的性能,以及如何科学有效地确保云计算大数据背景下的存储安全. 在高新科技快速发展的背景下,云计算大数据凭借着一种新型的技术形式绚丽登场,大数据计算的出现为大数据的存储与合...     

面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现

随着数据量的日益增加,大数据存储在整个大数据应用框架体系中居于重要地位.对大数据存储系统进行性能评测可以指导大数据应用开发人员分析性能瓶颈,进行大数据系统的性能优化.在以往的工作中,通常使用基准测试的方式来对不同大数据框架进行性能评测,或者采用插桩并分析轨迹文件的方式对分布式文件系统进行性能分析.这2种方法采用的分析角...     

面向开放大数据环境的动态数据保护系统

大数据成为国家基础性战略资源,数据的开放共享是我国大数据战略的核心.云原生技术和湖仓一体架构正在重构大数据基础设施,并推动数据共享和价值传播.大数据产业和技术的发展都需要更强的数据安全和数据共享能力.然而,开放环境下数据的安全问题已成为制约大数据技术发展与利用的瓶颈.无论开源大数据生态还是商业大数据系统,所引发的数据安全及隐私保护问题都日益凸显.开放大数据环境下的动态数据保护系统面临着数据可用性、处理高效性和系统可扩展性等方面的挑战.提出了面向开放大数据环境的动态数据保护系统BDMasker,通过一种基于查询依赖模型(querydependencymodel)的精准查询分析及查询改写技术,能够精准感知但不改变原始业务请求,实现动态脱敏全过程对业务零影响;通过面向多引擎的统一安全策略框架,实现了动态数据保护能力的纵向扩展和在多种计算引擎中的横向扩展;利用大数据执行引擎的分布式计算能力,提升系统的数据保护处理性能.实验结果表明, BDMasker提出的精准SQL分析及改写技术是有效的,系统具有良好的扩展能力和性能表现,在TPC-DS和YCSB基准测试中,整体性能波动在3%之内.     

BDMasker: Dynamic Data Protection System for Open Big Data Environment

Big data has become a national basic strategic resource, and the opening and sharing of data is the core of China''s big data strategy. Cloud native technology and lake-house architecture are reconstructing the big data infrastructure and promoting data sharing and value dissemination. The development of the big data industry and technology requires stronger data security and data sharing capabilities. However, data security in an open environment has become a bottleneck, which restricts the development and utilization of big data technology. The issues of data security and privacy protection have become increasingly prominent both in the open source big data ecosystem and the commercial big data system. Dynamic data protection system under the open big data environment is now facing challenges in regards such as data availability, processing efficiency, and system scalability. This paper proposes the dynamic data protection system BDMasker for the open big data environment. Through a precise query analysis and query rewriting technology based on the query dependency model, it can accurately perceive but does not change the original business request, which indicates that the whole process of dynamic masking has zero impact on the business. Furthermore, its multi-engine-oriented unified security strategy framework realizes the vertical expansion of dynamic data protection capabilities and the horizontal expansion among multiple computing engines. The distributed computing capability of the big data execution engine can be used to improve the data protection processing performance of the system. The experimental results show that the precise SQL analysis and rewriting technology proposed by BDMasker is effective. The system has good scalability and performance, and the overall performance fluctuates within 3% in the TPC-DS and YCSB benchmark tests.     

云模式事件混沌关联特征提取的物联网大数据聚类算法

目前的聚类方法单纯从某个角度研究数据聚类问题,对基于云模式的混沌的物联网大数据聚类的考虑不足,聚类质量不高。为实现敏捷、智能、平稳的物联网大数据聚类,基于开展物联网事件的云模式通用描述模型、物联网事件混沌关联特征的云模式通用解析模型、基于云模式的物联网事件混沌关联特征提取算法、基于云模式混沌关联特征的物联网大数据关联挖掘研究,改进分解奇异值算法、网格耦合聚类算法、K-means算法、决策树学习法、分析主成分法、分层合并法等算法和分布概率函数,设计了一种基于事件混沌关联特征、敏捷、智能、平稳的物联网大数据聚类算法。最后,开展实验验证,并与传统算法进行性能对比分析。实验结果表明,相比传统算法,该算法聚类时间短、误差小,且敏捷性、智能性、动态演化性和平稳性高。因此,该算法实现了基于云模式的具有混沌关联特征的物联网事件大数据的有效聚类,具有较高的应用价值。     

基于微簇的在线网络异常检测方法

针对大流量骨干网的在线网络异常检测是目前网络安全研究的热点之一,提出一种网络异常检测方法,有效在线处理大数据流,利用密度聚类算法把大数据流转换成微簇,通过微簇提高处理效率,定时调用孤立点检测算法发现攻击行为。方法具有不需线下训练、能发现任意行为模式、支持大数据流、可以平衡检测精度与系统资源要求、处理效率高等优点。实验表明,原型系统在20 s完成2000年LLS_DDOS_1.0数据集分析,检测率为82%,误报率为6%,效果与K-means相当。     

基于私有云和物理机的混合型大数据平台设计及实现

大数据分析技术的广泛应用离不开大数据平台的支撑,构建大数据平台已经是很多企业和机构的重要需求。构建大数据平台需要复杂的系统性的技术,特别是需要考虑系统性能和可扩展性两方面需求。随着数据体量不断增大、用户需求不断增多,规划时的数据平台规模很可能不能满足不断变化的需求。因此,设计了一种混合的大数据平台架构:混合使用物理服务器和私有云云主机的大数据平台。这样就兼顾了性能和可扩展性:由于物理服务器性能一般要高于云上的虚拟机,所以构建在物理服务器上的大数据平台,性能一般要好于构建在私有云上大数据平台;从私有云上启动云服务器非常方便、快捷,所以大数据平台的计算和存储结点可以动态弹性地扩容到私有云上,从而保证高峰期的时候大数据平台仍然可以有充足的处理能力。在生产环境实现了这种混合型设计,在生产环境中的测试也表明了这种设计的有效性。     

Pipeline provenance for cloud-based big data analytics

Provenance is information about the origin and creation of data. In data science and engineering related with cloud environment, such information is useful and sometimes even critical. In data analytics, it is necessary for making data-driven decisions to trace back history and reproduce final or intermediate results, even to tune models and adjust parameters in a real-time fashion. Particularly, in cloud, users need to evaluate data and pipeline trustworthiness. In this paper, we propose a solution: LogProv, toward realizing these functionalities for big data provenance, which needs to renovate data pipelines or some of big data software infrastructure to generate structured logs for pipeline events, and then stores data and logs separately in cloud space. The data are explicitly linked to the logs, which implicitly record pipeline semantics. Semantic information can be retrieved from the logs easily since they are well defined and structured beforehand. We implemented and deployed LogProv in Nectar Cloud,^* associated with Apache Pig, Hadoop ecosystem, and adopted Elasticsearch to provide query service. LogProv was evaluated and empirically case studied. The results show that LogProv is efficient since the performance overhead is no more than 10%; the query can be responded within 1 second; the trustworthiness is marked clearly; and there is no impact on the data processing logic of original pipelines.     

Extraction of MapReduce-based features from spectrograms for audio-based surveillance

In this paper, we proposed a novel parallel method for extraction of significant information from spectrograms using MapReduce programming model for the audio-based surveillance system, which effectively recognizes critical acoustic events in the surrounding environment. Extraction of reliable information as features from spectrograms of big noisy audio event dataset demands high computational time. Parallelizing the feature extraction using MapReduce programming model on Hadoop improves the efficiency of the overall system. The acoustic events with real-time background noise from Mivia lab audio event data set are used for surveillance applications. The proposed approach is time efficient and achieves high performance of recognizing critical acoustic events with the average recognition rate of 96.5% in different noisy conditions.     

基于大数据的导线悬垂面脱冰跳跃高速摄影测量方法研究

针对输电线路在冬季覆冰期间导线脱冰跳跃时的精确测量需求,研究了一种基于大数据的导线悬垂面摄影测量方法,讨论了基于此技术方案的高速摄影性能及主要算法及便携式脱冰跳跃摄影测量仪的制备方法。根据导线脱冰跳跃时悬垂面的摄影测量数学模型和数据采集模型,通过数据的有效帧的梳状区域连续判定法实现了数据的有效梳理,获得了有效的数据。实验结果表明,基于大数据的摄影测量方法,通过大量数据对本文提出的方法进行学习和训练,得到高速摄影测量方法在悬垂面摄影测量的精度与影像在悬垂面处的空间分辨率基本相当,能很好地捕捉导线在脱冰跳跃情况下的舞动状况,对于导线脱冰跳跃和雷击这类随机短促突发事件的高速影像采集的情况能够得到很好地应用。     

Big data analytics capabilities: a systematic literature review and research agenda

With big data growing rapidly in importance over the past few years, academics and practitioners have been considering the means through which they can incorporate the shifts these technologies bring into their competitive strategies. To date, emphasis has been on the technical aspects of big data, with limited attention paid to the organizational changes they entail and how they should be leveraged strategically. As with any novel technology, it is important to understand the mechanisms and processes through which big data can add business value to companies, and to have a clear picture of the different elements and their interdependencies. To this end, the present paper aims to provide a systematic literature review that can help to explain the mechanisms through which big data analytics (BDA) lead to competitive performance gains. The research framework is grounded on past empirical work on IT business value research, and builds on the resource-based view and dynamic capabilities view of the firm. By identifying the main areas of focus for BDA and explaining the mechanisms through which they should be leveraged, this paper attempts to add to literature on how big data should be examined as a source of competitive advantage. To this end, we identify gaps in the extant literature and propose six future research themes.