云计算环境下基于数据关联度的海洋监测大数据布局策略

海洋监测数据是具有强数据关联的大数据,如何高效地进行数据布局,是制约其有效管理和应用的关键问题之一。在云计算环境下,针对海洋监测大数据的特点,提出了一种基于数据关联度的海洋监测大数据布局策略。在保证数据中心存储均衡的情况下,综合考虑了监测任务、监测点和监测数据之间的关联,建立了海洋监测点间的关联度、监测数据间的关联度和监测数据全局关联度,从三个角度对海洋监测大数据进行布局,使得同一数据中心内的数据具有较高的关联度。通过实验分析,该方法降低了用户访问海洋监测大数据的响应时间,为海洋监测大数据提供了一种有效的布局策略。     

基于拟态计算的大数据高效能平台设计方法

针对当前大数据应用主要以通用处理器为计算核心,且系统结构单一、能效比低,无法充分满足大数据的计算需求。基于拟态计算模型,提出了一种大数据高效能平台的设计方法。该方法以算粒为基本研究对象,深入剖析大数据应用算法的特征,合理划分各计算子任务;其次,构造体系结构匹配矩阵,并将子任务分配到合理的处理部件上;最后,利用动态电压/频率调节技术和数据布局算法,实现非关键任务的电压控制,并优化关键任务的结构布局。实验结果表明,拟态计算能深度融合各异构计算部件,建立具有灵活、可拓展的体系结构,充分发挥系统整体执行效率,降低功耗,提高能效比。     

大数据技术研究

大数据技术是继物联网、云计算技术之后IT业界又一次技术浪潮。为了全面深入地理解大数据技术的内涵,从大数据的定义及4V特征、关键技术及主要应用领域等四个方面进行阐述。介绍了大数据的基本概念、特征,总结了大数据的热门应用领域并用典型案例进行佐证,重点剖析了云计算、Hadoop、数据备份等三大核心技术及关键策略,最后对大数据应用中滋生的信息安全隐患提出了相应的对策。     

Information systems in modeling interactive computations on granules

In this paper, we discuss the importance of information systems in modeling interactive computations performed on (complex) granules and we propose a formal approach to interactive computations based on generalized information systems and rough sets which can be combined with other soft computing paradigms such as fuzzy sets or evolutionary computing, but also with machine learning and data mining techniques. Information systems are treated as dynamic granules used for representing the results of the interaction of attributes with the environment. Two kinds of attributes are distinguished, namely, the perception attributes, including sensory attributes, and the action attributes. Sensory attributes are the basic perception attributes, other perception attributes are constructed on the basis of the sensory ones. Actions are activated when their guards, being often complex and vague concepts, are satisfied to a satisfactory degree. The guards can be approximated on the basis of measurements performed by sensory attributes rather than defined exactly. Satisfiability degrees for guards are results of reasoning called the adaptive judgment. The approximations are induced using hierarchical modeling. We show that information systems can be used for modeling more advanced forms of interactions in hierarchical modeling. The role of hierarchical interactions is emphasized in the modeling of interactive computations. Some illustrative examples of interactions used in the ACT-R 6.0 system are reported. ACT-R 6.0 is based on a cognitive architecture and can be treated as an example of a highly interactive complex granule which can be involved in hierarchical interactions. For modeling of interactive computations, we propose much more general information systems than the studied dynamic information systems (see, e.g., Ciucci (2010) [8] and Pa?asiński and Pancerz (2010) [32]). For example, the dynamic information systems are making it possible to consider incremental changes in information systems. However, they do not contain the perception and action attributes necessary for modeling interactive computations, in particular for modeling intrastep interactions.     

Computing infrastructure for big data processing

With computing systems undergone a fundamental transformation from single-processor devices at the turn of the century to the ubiquitous and networked devices and the warehouse-scale computing via the cloud, the parallelism has become ubiquitous at many levels. At micro level, parallelisms are being explored from the underlying circuits, to pipelining and instruction level parallelism on multi-cores or many cores on a chip as well as in a machine. From macro level, parallelisms are being promoted from multiple machines on a rack, many racks in a data center, to the globally shared infrastructure of the Internet. With the push of big data, we are entering a new era of parallel computing driven by novel and ground breaking research innovation on elastic parallelism and scalability. In this paper, we will give an overview of computing infrastructure for big data processing, focusing on architectural, storage and networking challenges of supporting big data paper. We will briefly discuss emerging computing infrastructure and technologies that are promising for improving data parallelism, task parallelism and encouraging vertical and horizontal computation parallelism.     

探析大数据在高职教育中的个性化应用

伴随着移动宽带、物联网、云计算的迅猛发展以及越来越多的移动终端、传感设备接入网络，现代社会正在以不可想象的速度产生海量数据，对传统教育模式产生广泛而深刻的影响。在数据量庞大、种类繁多、信息多样化的大数据背景下，高职院校教学服务和数据利用方式将发生显著变化，并因此带来新的机会.大数据技术的应用，使得高校可以对其数据资源采取完全数据筛选的方式来分析、挖掘隐藏在数据背后的规律，获得具有洞察力和新价值的东西依靠数据作出科学决策，让高校的信息化建设成果为办学所用，为素质教育所用。     

工业大数据分析技术与轮胎销售数据预测

工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业大数据计算架构、大数据带来的信息安全等三方面论述工业大数据面临的挑战与潜在价值。探讨了工业大数据分析与挖掘方法,提出了工业大数据平台的计算架构与大数据处理平台,构建轮胎企业大数据资源中心、大数据分析与决策应用系统。从销售数据分析和宏观数据趋势两个层面进行轮胎销售大数据分析与预测。采用多个不同领域的销售数据源来解决销售预测历史数据特征空间稀疏的问题,使用LASSO（The Least Absolute Shrinkage and Selectionator Operator）方法的多任务学习方法来解决高维样本空间的缺点,实验数据验证能够提升轮胎销售预测的准确率。     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

配电网中大数据的挖掘应用

为了适应日益增长的电力需求,解决配电网点多面广、设备多、管理难度大、配电网信息实时性低等问题,本文系统梳理了国际、国内配电网发展现状,以及数据挖掘与分析处理技术在配电网的应用研究情况,将大数据挖掘应用引入配电网日常管理,利用大数据分析,针对电网运行和设备检测或监测数据、电力企业营销数据、交易电价、售电量、用电客户等方面的数据,结合地域配电网网架结构,对配电网存在的薄弱点,尤其在迎峰度夏和春节保供电等用电高峰期,通过事前提前研判、事中实时指挥、事后深入分析,提前发现未来病态设备,推进配电网设备在线化、透明化、智能化,将配电网由“修得快”向“不停电”转变,提升优质服务水平,并希望能对今后相关研究时间工作提供一定的参考价值。     

基于AP聚类的不完整大数据填充

不完整数据的分析与填充一直是大数据处理的热点研究课题,传统的分析方法无法对不完整数据直接聚类,大部分方法先填充缺失值,然后对数据聚类。这些方法一般利用整个数据集对缺失数据进行填充,使得填充值容易受到噪声的干扰,导致填充结果不精确,进而造成聚类精度很低。提出一种不完整数据聚类算法,对不完全信息系统的相似度公式进行重新定义,给出不完整数据对象间的相似度度量方式,进而直接对不完整数据聚类。根据聚类结果将同一类对象划分到相同的簇中,通过同一类对象的属性值对缺失值进行填充,避免噪声对填充值的干扰,提高填充结果的精确性。实验结果表明,提出的方法能够对不完整数据进行聚类,并有效提高缺失数据的填充精度。     

DNACDS: Cloud IoE big data security and accessing scheme based on DNA cryptography

The Internet of Everything (IoE) based cloud computing is one of the most prominent areas in the digital big data world. This approach allows efficient infrastructure to store and access big real-time data and smart IoE services from the cloud. The IoE-based cloud computing services are located at remote locations without the control of the data owner. The data owners mostly depend on the untrusted Cloud Service Provider (CSP) and do not know the implemented security capabilities. The lack of knowledge about security capabilities and control over data raises several security issues. Deoxyribonucleic Acid (DNA) computing is a biological concept that can improve the security of IoE big data. The IoE big data security scheme consists of the Station-to-Station Key Agreement Protocol (StS KAP) and Feistel cipher algorithms. This paper proposed a DNA-based cryptographic scheme and access control model (DNACDS) to solve IoE big data security and access issues. The experimental results illustrated that DNACDS performs better than other DNA-based security schemes. The theoretical security analysis of the DNACDS shows better resistance capabilities.     

基于数据关联性聚类的数据布局算法

现代信息系统的突出特征是基于海量数据的分布式应用集群。优化海量数据的存储布局,以提升存储资源的利用率和应用执行的速度,是一个重要研究课题。由于数据与数据之间存在关联性,只考虑负载均衡的布局算法缺乏实用性,需要进一步考虑数据与数据的关联性以提高应用执行速度。建立了数据和数据的关联矩阵,基于关联矩阵进行聚类,再将数据分配到各个数据中心中,计算执行应用时的数据迁移量,并与一致hash算法进行了比较,结果表明数据迁移量大大低于一致hash算法。     

大数据环境下的分布式数据流处理关键技术探析

大数据环境下的数据流处理实时性要求高,数据计算要求持续性和高可靠性。分布式数据流处理系统（DDSPS）能解决大数据环境下的数据流处理问题,它除具备分布式系统的可扩展性和容错性优势外,还具有高的实时处理能力。详细介绍了组成基于大数据的分布式数据流处理系统的四个子系统及其关键技术,讨论和比较了各个子系统的不同技术方案;同时介绍一种分布式拒绝服务（DDoS）攻击检测数据流处理系统结构案例,其研究内容能为大数据环境下的数据流处理理论研究和应用技术开发提供技术参考。     

大数据技术在特高压变电站运维中的应用

特高压变电站在运行过程中会积累大量数据,数据规模和增长速度都是超高压变电站所不能比拟的,如何有效的利用这些丰富的数据资源进行业务决策是急需解决的问题。大数据技术为特高压变电站运维工作提供了新的解决思路,通过将站内传感器采集的数据集成到变电站云平台,基于云平台开发各种应用子系统可方便巡检及故障预测,大大优化人力配置。本文首先分析了当前特高压变电站数据的来源及特性,界定了特高压变电站数据从属于大数据的研究范畴,接着从智能巡检和故障预测两方面探讨了大数据技术如何助力特高压运维工作,阐述了新的巡检模式,介绍了利用大数据技术进行故障发现及预测的工作思路,最后分析了与特高压变电站云平台搭建相关的大数据技术,对相关趋势进行了展望。     

基于私有云和物理机的混合型大数据平台设计及实现

大数据分析技术的广泛应用离不开大数据平台的支撑,构建大数据平台已经是很多企业和机构的重要需求。构建大数据平台需要复杂的系统性的技术,特别是需要考虑系统性能和可扩展性两方面需求。随着数据体量不断增大、用户需求不断增多,规划时的数据平台规模很可能不能满足不断变化的需求。因此,设计了一种混合的大数据平台架构:混合使用物理服务器和私有云云主机的大数据平台。这样就兼顾了性能和可扩展性:由于物理服务器性能一般要高于云上的虚拟机,所以构建在物理服务器上的大数据平台,性能一般要好于构建在私有云上大数据平台;从私有云上启动云服务器非常方便、快捷,所以大数据平台的计算和存储结点可以动态弹性地扩容到私有云上,从而保证高峰期的时候大数据平台仍然可以有充足的处理能力。在生产环境实现了这种混合型设计,在生产环境中的测试也表明了这种设计的有效性。     

大数据环境下的平台架构技术研究

大数据时代的到来,对数据的管理和存储带来了挑战。为了更好地管理和利用大数据,对大数据的基本特征进行了剖析,从大数据和分析技术平台的视角,分析了海量并行处理架构、云计算、网格计算和MapReduce这几种重要的技术,比较了其技术特点,对运用不同的技术对大数据时代数据管理产生的作用进行了分析,讨论了大数据分析工作所需要的混合环境,整合环境资源以使能够协同工作,使得每一项技术变得更加强大有效。     

基于MapReduce并行化计算的大数据聚类算法

面对大数据规模庞大且计算复杂等问题,基于MapReduce框架采用两阶段渐进式的聚类思想,提出了改进的K-means并行化计算的大数据聚类方法。第一阶段,该算法通过Canopy算法初始化划分聚类中心,从而迅速获取粗精度的聚类中心点;第二阶段,基于MapReduce框架提出了并行化计算方案,使每个数据点围绕其邻近的Canopy中心进行细化的聚类或合并,从而对大数据实现快速、准确地聚类分析。在MapReduce并行框架上进行算法验证,实验结果表明,所提算法能够有效地提升并行计算效率,减少计算时间,并提升大数据的聚类精度。     

基于大数据的智慧灌溉系统构建研究

针对传统农作物灌溉方式容易造成严重的水资源浪费,缺乏科学有效的灌溉方式,提出一种基于大数据的智慧灌溉系统.首先,搭建了以STM32F103作为核心处理器硬件平台;通过对无线传感器终端、数据汇集终端、灌溉执行终端和上机位软件功能模块4个部分的设计,完成对系统软件的设计.然后,构建了基于LSTM的智慧灌溉预测模型.最后,根...     

面向大数据的内存数据管理研究现状与展望

对面向大数据的内存数据管理技术的相关研究进行综述。梳理大数据环境下数据管理技术发展的脉络和格局的变化;分析新环境下的内存数据管理技术面临的发展机遇与研究挑战;介绍相关的前沿研究,其中包括分布式编程模型、混合存储体系结构、内存数据管理等;给出技术和管理上的发展展望。