大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

一种大数据估价算法

"大数据"已经成为计算机领域使用频率最高的专业词汇之一,而且已经逐渐变成了一个商品名称。无论是从学术研究角度,还是从数据交易需求角度,对大数据集的可用性进行评价都是一个新的问题。文中提出了一个大数据可用性评价模型,为学术和流通领域提供参考。结合大数据的4V(Volume,Variety,Velocity,Value)特性,分段统计样本数据的4V特性分布,从而给出基于分段分布的大数据特性概率模型,以及大数据可用性加权评价模型。文中还提出了实现大数据分块抽样的算法,以及大数据评价模型的各个特性加权系数的估计算法。结合视频大数据的可用性评价需求,展示所提模型和算法的具体应用。大数据可用性评价模型可以用于数据科学实验的数据评价,也可以用于大数据交易市场的数据集定价。给出了实际评价工作中,标准化(商品化)数据集以及确定数据评价基准等具体操作方面的解决方案。应用案例对所提模型有支持作用,进一步检验了模型的可行性。     

大数据研究与应用探析

论文介绍大数据的概念、特点、处理流程、关键技术及运用领域,对大数据当前研究的几个重要课题进行了讨论。     

大数据技术应用研究

对大数据的产生背景和来源作出了介绍,分析了大数据处理的技术,提出了可以采用的数学模型,阐述了大数据处理系统的应用,最后对其未来的发展做出了思考。     

计算机数据信息处理中大数据技术的应用研究

大数据技术以云计算为主要技术依托,作为新兴的计算机技术具有高涵盖性、颠覆性等特点,其处理数据的过程主要包括数据采集、数据处理和集成、数据分析以及数据解释等流程。基于其主要特点以及技术依托,大数据技术被广泛应用于数据处理的过程中。针对大数据技术在数据处理过程中的应用,本文对其在信息采集与加工、虚拟资源调度、数据挖掘、数据信息的安全保障、数据解释等方面的应用展开了论述。     

大数据技术应用研究

对大数据的产生背景和来源作出了介绍,分析了大数据处理的技术,提出了可以采用的数学模型,阐述了大数据处理系统的应用,最后对其未来的发展做出了思考。     

大数据技术初探

云计算、物联网、社交网络、车联网、GPS等新兴服务促使人类社会的数据种类和规模正以前所未有的速度极速膨胀,大数据时代正式到来。大数据开始成为一种基础性新资源,已初显出潜在的价值和巨大的变革之力。介绍了大数据的含义及特点,分析了大数据作为新兴战略资源的应用,提出了当前面临的挑战及对策。     

气象大数据跨平台分析与应用技术研究

为了更好处理和应用诸如气象数值预报产品等非结构化的气象大数据,基于NetCDF技术实现了全序列气象数值预报产品原始格式解码、数据的格式转换以及生成符合各类数值预报产品特征的NetCDF格式的存储库,并将转换和重新组织的数值预报产品数据实时存储到相应的NetCDF库文件中;基于NCL（The NCAR Command Language）编程语言读取NetCDF库文件中的数据生成精度高、内容展现丰富的数值预报图形产品,并提供给业务用使用,业务运行结果表明大数据处理技术的引入对气象大数据在业务中的应用具有一定的促进作用。     

基于大数据的飞参数据融合集成与应用技术研究

通过介绍飞机飞参系统、飞参数据、大数据的基本概念,指出以飞参数据为基础开展数据挖掘和数据深化应用具备可行性。在当前国内外飞参数据融合集成和应用的技术现状基础上,总结当前飞参数据在解码分析、飞行品质监控、数据服务等领域的应用现状。结合大数据技术阐述飞参数据在清洗、集成和存储等各环节的技术途径,详细描述飞参数据在飞参判读、发动机综合监控和飞行训练评估等方面的应用,给出多机数据联合判读和对抗训练评估上的技术方案,探讨飞参数据应用的未来发展趋势。     

基于增强ETL过程的大数据策略研究

大数据不仅意味着大机遇,同样带来了大噪声。因此,任何具有价值的大数据策略都必须给出滤除噪音,同时对真正相关的数据进行有效且高效的处理和解决办法。该文分析了大数据背景下企业的数据策略和现有IT解决方案中存在的问题,提出通过优化ETL过程来增强早期数据整合的解决方案,以提高企业大数据策略的成本收益。     

大数据分析的分布式MOLAP技术

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统（HDFS）和MapReduce编程模型的分布式MOLAP技术,称为DOLAP（distributed OLAP）.DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.     

数据挖掘技术在医疗大数据中的应用研究

医疗行业的发展扩大了医疗数据信息种类与数量,这将直接影响医院医疗水平与服务水平和医院核心竞争力。本文以医疗大数据为研究对象,提出了基于遗传算法的K-means 改进聚类方法,并以医疗费用数据为例展开分析,为提高医疗服务质量提供有效数据信息。     

数据仓库技术在工程管理中的应用研究

以实现建筑工程信息化以及管理科学化为目标,提出利用数据仓库和联机分析处理（On-Line Analytical Processing,OLAP）技术,建立计算机支持的建筑工程智能决策系统。详细介绍建筑工程管理数据仓库建设的步骤方法以及实施成效,满足不同层次和部门的工程管理及技术人员的决策需求,实现科学化决策。     

教育大数据在高等教育中的应用研究

近年来,计算机技术的进步,新的应用不断涌现,数据的规模呈爆炸式的增长,大数据、教育大数据引起了政府部门、教育部门的关注.在教学过程中充分利用教育大数据,可以预测学习、判断在教学过程中的问题,进行个性化的指导,提高教学效果.本文对教育大数据对高等教育产生的影响及带来的挑战进行了分析.     

大数据复杂事件分析方法研究与应用

复杂事件处理（Complex Event Processing, CEP）是一项伴随流式数据而出现的技术,用于不同数据源顺序混杂的事件流中发现感兴趣的事件模式。然而,随着数据量的不断递增,传统的CEP技术往往不能满足在大数据集上有效获取事件模式的处理需求。针对这一问题,本文结合数据挖掘中聚类分析与关联规则的思想,提出一种“复杂事件处理”算法,〖JP2〗并把其部署到分布式平台Hadoop上,从而发现大数据集中的复杂事件关系,有效地改变了传统技术面临海量数据的局限性。最后,应用本文算法到GPS大数据集中,发现其中的复杂事件模式,并通过实验验证本文方法具有可行性与有效性。     

大数据背景下的机器学习算法应用研究

大数据背景下,机器学习和数据分析是利用大数据为人类服务的重要手段。本文阐述了机器学习算法的使用 步骤、特征维度的提取方法、特征模型建立的理论支撑,以及模型融合所占的权重。针对当前大数据下机器学习算法的关键技 术,对其发展前景进行了展望。     

面向电力大数据的云审计研究与应用

随着电网数字化转型的深入开展,电力大数据时代悄然而至,也为电网企业的内部审计带来了挑战,大数据等新技术的推广应用为革新审计模式开拓了新的思路。在此背景下,基于信息融合技术和数据挖掘技术,本文搭建了具备“开放、融合、动态、智能”特点的面向电力大数据的云审计平台,实现电网全业务领域审计数据资源共享。借助该平台,审计人员可以及时、准确地获取数字化审计需要的全业务数据,实现跨系统、跨业务数据分析,并可通过自主搭建审计分析模型,捕获疑点,筛查线索。通过配网项目全过程监督评价模型实践应用,充分验证了云审计可以有效提升审计效率和质量,对防范和化解电网企业经营管理风险起到了积极的促进作用。