大数据分析关键技术与挑战

全面论述了大数据分析技术的概念、现状、技术及应用,包括大数据基本概念及特点、大数据分析产生的时代背景、关键技术以及大数据带来的变革和挑战,在大数据分析的关键技术中重点对大数据的清洗与融合、大数据处理框架、大数据的建模与分析进行了介绍。     

大数据平台在机场的建设与应用研究

笔者介绍了一种大数据技术在机场中的应用方法。详细阐述了面对越来越快的业务增长速度和越来越大的数据处理压力,机场如何搭建一个符合机场需求和特点的大数据平台,在功能架构上和技术架构上分别提出了设计方法。大数据平台将会成为机场实现内外部信息共享交换的统一信息交换平台和融合机场生产、管理、服务各业务的数据核心。     

计算机网络安全在大数据系统中的应用与研究

随着信息技术的快速发展,大数据系统在各行各业逐渐普及。然而,伴随着大规模数据的处理和传输,计算机网络安全问题逐渐显现。基于此,本文探讨了大数据系统中的网络安全挑战,分析计算机网络安全在大数据系统中的应用,提出大数据系统网络安全的未来发展方向。     

基于电力企业大数据环境下的数据治理研究

随着大数据技术的不断成熟,大数据环境下数据治理工作对企业数据资产管理提出更高的要求。大数据时代,数据即为资产,且数据呈现出新的特点,即需要处理的数据量更大,需要处理的数据种类更多,数据产生和变化的速度更快。电网大数据具有多样性、一源共享、多源多标准、业务连动性等特点,如何针对全局数据的可用性、完整性、安全性和可用性进行全面管理,利用电网海量生产、运行数据从而产生实际的应用价值并且使得结构化和非结构化的信息价值最大化,已成为迫切需要解决的问题。本文针对数据分析问题,设计并实现一种完善的大数据调度管理平台,来满足可扩展的、分布式的、支持异构分析工具的、面向服务的大数据的要求,加快数据分析速度,为企业管理提供更好的服务。     

高校大数据展示设计研究

为了提高高校的管理决策能力、教学评估水平、学生管理水平等,很多高校正在推进教育大数据建设.课题组成员以江西省某高校实践经验为例,构建了高校教育大数据平台的技术构架和数据分析模型,设计了教师评价、学生评价、教学效果、学校发展等几种典型的专题大数据,并实现了可视化展示,为学校管理水平的提高提供了有益的支撑.     

基于云计算平台的政务大数据系统自动检索方法研究

传统检索方法查准率和查全率相对较差,导致自动检索精准度较低。为此,提出了基于云计算平台的政务大数据系统自动检索方法研究。在云计算平台下,利用CiteSpace软件对政务大数据系统中的关键词进行统计分析,获取相关资源。在电子政务联机模式下,揭示政务大数据系统中资源相关属性,在MapReduce挖掘模型支持下,进行政务大数据系统数据挖掘,实现政务大数据系统自动检索。实验验证分析,该方法检索查准率和查全率较高,具有高效检索效果。     

大数据环境下的技术变革与管理创新

"大数据"现象诞生于人们对数据搜集能力、数据传输能力、数据存储能力以及数据处理能力的极大发展,随着大数据时代的来临,"大数据"问题迅速从技术层面上升到国家战略的最高层面,大数据蕴含着巨大的社会价值和商业价值,发展潜力十分巨大。对大数据的利用将成为企业提高核心竞争力、抢占市场先机的关键。本文简要阐述了大数据研究的发展与现状,探索如何让我国技术创新管理工作迅速适应大数据环境,发挥大数据分析的价值,对比了大数据时代信息技术的变革,探讨了大数据应用与研究所面临的机遇和挑战,深入研究大数据环境下管理创新的新变化与新思路,并对大数据分析方法与传统分析技术进行对比,构建了大数据生态平台,设计了适合大数据分析的数据挖掘架构。     

面向智能电网应用的电力大数据关键技术研究

智能电网的安全性受到电力大数据质量影响,为提升电网安全,通过电力大数据定位智能电网漏洞位置.采用二维小波阈值去噪方法滤除智能电网电力大数据中的噪声数据,去除电网电力数据中的冗余数据,完成电力大数据质量优化;应用数据挖掘技术构建智能电网安全漏洞挖掘模型,利用处理后电力大数据与漏洞挖掘模型实现智能电网安全漏洞定位.实验结果...     

面向大数据分析的智能交互向导系统

传统的大数据工具一般为专业数据分析人员打造,具有难以上手、操作交互性差以及不够智能化等特点。而智能交互向导系统是针对大数据交互式分析系统目前存在的问题而研制的一套大数据分析辅助工具。系统既研发了用户意图理解、数据抽样及列推荐、可视化推荐、分析方法推荐等核心关键技术,也拥有良好的图形化界面与人性化的智能交互体验。在满足用户多种交互式分析需求的同时,还具有极高的响应速度。不仅可以随时回溯到分析流程任意一步重新选择方法的执行流程,还可以通过接口与各种分析应用快速集成以部署应用于不同场景。经过实验测试,系统的平均交互时间均在3 s以内,且与传统分析方法相比系统交互的执行时效加快了3倍左右。通过用户用例测试,系统的满意度相比传统工具更加优秀。智能交互向导系统通过在易用性、时效性、可交互性和智能性等方面的探索,让不同基础的用户群体都可以使用此系统完成所需的大数据分析目标。     

基于大数据时代的数据挖掘及分析

随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,该时代也正处于蓬勃发展的上升时期。科学研究、互联网应用、电子商务等诸多领域无时无刻都在使数据积累,使"大数据"应运而生。我们也都在不经意下和大数据打交道,可以说其已经成为特有含义的专有词汇,因此对这些海量数据的挖掘与分析已经成为一个非常重要且紧迫的需求。     

大数据分析中的关联挖掘磁

在这个信息量爆炸的年代,大数据越来越贴近我们的生活。论文从大数据从何而来、如何研究大数据入手,通过对大数据分析流程框架进行阐述,提出了大数据分析中关联挖掘的重要性。并通过对大数据关联挖掘给出了相应的研究方案,通过系统对其关联模式进行分析,同时也可通过人为的参数选择对研究的参数进行分析、筛选和保留。在大数据分析的过程中,若能很好地利用关联规则的挖掘,将会带来更广阔的实际价值。     

一个面向大规模数据库的数据挖掘系统

数据挖掘融合了数据库技术、人工智能和统计学,是目前的研究热点.为了能够集成当前数据挖掘的主要技术并使它们协同工作,在进行数据挖掘基本算法研究的基础上研制开发了一个数据挖掘系统--Golden-Eye.系统实现了在数据挖掘研究中的一些最新成果,集成了泛化、数据清洗这两个数据准备操作以及关联规则发现、例外规则发现、时序模式发现、分类器构造、聚类分析等基本数据挖掘操作,并实现了对挖掘操作的基本管理和结果的图形化显示.整个框架设计充分体现了系统的完整性、协调性和高效性:自底向上将存储控制模块、数据预处理模块、挖掘操作模块、挖掘库管理模块有机地结合在一起,在底层实现了对包括中间结果在内的数据的统一管理,在上层为用户提供了可视化的界面.实验结果表明,该系统能够在大规模数据库上成功地完成用户所指定的数据挖掘操作.     

基于数据挖掘的考试分析系统数据预处理

数据预处理是为考试分析系统提供高质量数据的关键。为了更好地从大量复杂的和不确定的考试数据中有效地挖掘有用的信息,必须对源数据进行预处理。本文通过对考试分析系统中数据源进行详细的分析,发现数据源具有不一致、冗余等特点。从而给出了考试分析系统中数据预处理的一般性方法。     

对等P2P网络中大数据关键特征挖掘模型仿真

在网络数据管理优化问题的研究中,对等P2P为点对点网络通信.由于数据特征受到主观因素的影响较大,无法形成固定的关联特征,使得关键特征定位往往需要进行较大规模的大数据对比,传统的关联规则方法应用到此网络特征搜索过程时,建立的规则往往较为混乱甚至无规则可言,造成数据特征挖掘耗时,无效挖掘行为较多,效率较低.为此,提出利用Apriori算法的对等P2P网络中大数据关键特征挖掘方法.筛选对等p2p网络中大数据特征,选取聚类中心,并针对聚类中心进行关联性计算,删除关联性较差的特征.根据Apriori算法相关理论,对数据进行连接和剪枝处理,建立大数据关键特征挖掘模型.实验结果表明,利用改进算法进行对等p2p网络中大数据关键特征挖掘,能够提高挖掘的准确性,满足p2p网络的实际需求.     

一个开放数据挖掘系统的分析与设计

采用数据挖掘标准研制挖掘系统正逐渐成为一种趋势。无论是对商业用户还是对系统开发者,这都具有非常重要的意义。对于用户,将大大减少在知识发现和模型配置过程中会遇到的困难,并从低运行成本和方便使用中获益;对于开发者,这些标准将影响着新一代挖掘系统的设计思想、挖掘算法与不同系统中数据的交互途径、异构环境中预测模型的配置方式。采用相关数据挖掘标准,笔者开发了一个开放数据挖掘原型系统XMiners。文章在简要分析了相关挖掘标准的基础上,给出了XMiners的系统结构设计和类模型设计。     

基于大数据云分析平台的企业经营分析系统建设

针对现有经营分析系统的海量数据存储、海量数据处理及企业业务发展需求,我们设计并构建了基于大数据云分析平台的企业经营分析系统.本文重点介绍了该系统的建设技术路线、总体框架图、系统实现及运行效果.结果证明,该系统能够较好的提高数据综合利用效率,为企业运营提供数据支撑.     

自适应云端的大规模导出子图提取算法

针对现有云计算平台资源随机调配与传统导出子图挖掘效率较低等问题,进一步提升云计算平台中资源整合利用效率与大规模导出子图挖掘效率,提出了一种自适应云端的大规模导出子图提取算法,以解决资源优化利用与海量图挖掘等问题。首先介绍了云计算概念与导出子图挖掘相关概念以及问题描述;接着根据MapReduce并行处理模型设计了一种自适应任务动态分配算法SAC_TA(Self Adaptive Cloud Dynamic Allocation),它根据计算任务自适用分配系统资源以达到成本消耗的最优;并设计出自适应云端框架,然后基于自适应云端提出了大规模导出子图挖掘算法SFGFF(SAC_TA、Find_VE、G_F1、FindPartFG、FindAllFG),它共分为4个阶段的挖掘,将所有算法应用到自适应云端中可构成整个导出子图挖掘体系;最后在人工模拟数据与真实环境数据下进行了试验,结果表明,自适应云端运行良好,算法有效可行,具有较高的加速比与运行效率,能有效满足大规模频繁导出子图挖掘的需求。     

基于云计算的大数据自动分类处理系统设计

随着现代网络技术不断进步,系统数据量也在逐渐增多;传统的大数据自动分类处理系统已经无法满足现阶段用户需求,其软件与硬件的设计都比较单一,存在能源消耗大、分类速度慢、处理时间长、内存占用率高等问题,为此,提出基于云计算的大数据自动分类处理系统的设计;首先设计系统硬件结构,主要包括数据采集器、数据处理器以及数据自动存储模块,并详细的介绍了各硬件结构;然后利用时域特征提取数据的算法对频域特征数据进行提取,从而实现数据自动分类处理系统的软件设计;最后对两种系统性能进行对比实验;实验结果证明,基于云计算的大数据自动分类处理系统的资源不仅占用率低,内存消耗小,而且数据库内存较大;该系统不但可以提高数据自动分类精准度,还能加快数据分类速度,从而使系统拥有更好的分类性能。     

数据挖掘管理系统

本文分析了数据挖掘的常用技术和分析方法,详细探讨了数据挖掘过程,在此基础上,设计了一个由多模型构成的数据挖掘管理系统的一般框架,其能支持数据挖掘分析的全过程。     

Apollo:Rapidly Picking the Optimal Cloud Configurations for Big Data Analytics Using a Data-Driven Approach

Big data analytics applications are increasingly deployed on cloud computing infrastructures,and it is still a big challenge to pick the optimal cloud configurations in a cost-effective way.In this paper,we address this problem with a high accuracy and a low overhead.We propose Apollo,a data-driven approach that can rapidly pick the optimal cloud configurations by reusing data from similar workloads.We first classify 12 typical workloads in BigDataBench by characterizing pairwise correlations in our offline benchmarks.When a new workload comes,we run it with several small datasets to rank its key characteristics and get its similar workloads.Based on the rank,we then limit the search space of cloud configurations through a classification mechanism.At last,we leverage a hierarchical regression model to measure which cluster is more suitable and use a local search strategy to pick the optimal cloud configurations in a few extra tests.Our evaluation on 12 typical workloads in HiBench shows that compared with state-of-the-art approaches,Apollo can improve up to 30％ search accuracy,while reducing as much as 50％ overhead for picking the optimal cloud configurations.