数据挖掘过程中的数据清洗研究

随着科技信息的发展,数据质量问题一直是数据挖掘过程中密切关注的问题.首先,对大数据时代下数据挖掘的基本过程进行阐述,分析数据清洗需要处理的问题,同时说明数据清洗的原理、进行数据清洗的系统框架.最后提出进行数据清洗应当注重的大数据思维和数据清洗发展方向.     

大数据时代国内传媒产业的挑战与机遇研究

作为我国现如今的传媒产业生产方式,大数据技术在传媒行业的诸多领域都得到了充分的利用,极大地推动了传媒产业形成传媒类型、提升传媒质量工作的进展。文章将会针对大数据时代国内传媒产业的挑战与机遇展开研究,希望能促进我国传媒产业的发展。     

我国大数据标准化发展历程与展望

随着数字经济发展战略的深入实施,我国大数据发展迎来了全新阶段。回顾过去10年,我国大数据标准化工作随着大数据技术、产业的发展迭代推进,已形成体系健全、标准丰富、应用广泛的一批标准化成果。立足过去10年我国大数据标准化建设基础,分析了我国大数据标准化的发展阶段,总结了我国大数据标准化主要成果,并结合当前新时期对大数据标准化的新需求,提出我国大数据标准化未来的展望。     

大数据云清洗系统的设计与实现

数据清洗是大数据中一个重要的主题。本文基于Hadoop设计并实现了一个大数据的云清洗系统。通过Map-Reduce计算模型,该系统能够检测并修复数据质量方面的各类问题。该系统包含以下特征:(1)支持数据质量方面各类问题的清洗工作;(2)数据云清洗进度可视化以及参数设置;(3)友好的数据集输入接口以及清洗后的数据集输出接口。该大数据云清洗系统对文本数据和数据库数据均是一个有效且高效的数据清洗系统。     

大数据的数据清洗方法研究

降低运营成本,提升企业收入,一直都是企业管理层关心的重点。大数据的思维,为企业的运营提供了很好的思路。在各类大数据项目中,数据的清洗成为新的焦点,如何快速高效去掉脏数据、对有用数据进行恢复、提升数据质量,对大数据项目的正常运营具有重要影响。基于当前各类数据清洗中存在的不足,文章提出一种基于函数依赖的数据清洗方法,可补全缺失数据、修正错误数据、消除重复值、修复异常数据,达到数据质量提升的目的。     

基于云计算的海量大数据智能清洗系统设计

大数据资源是企业拥有的最重要的战略资源之一,也是管理层制定远景规划,提高市场竞争力的主要方式和途径,但大数据中会存在错误、冗余和不完整的数据,降低了大数据的总体质量。为此设计一种基于云计算的海量大数据智能清洗系统,改善现有大数据清洗系统在脏数据处理性能上的不足。分析了基于云计算的大数据智能清洗系统的总体框架和硬件构成,数据清洗系统的硬件部分由数据预处理模块、数据云聚类模块、数据识别模块和实体划分模块等部分组成;给出了智能大数据清洗系统的总体软件工作流程,并重点分析大数据空间聚类、相似度计算等关键的数据处理技术。验证结果表明,提出的基于云计算的海量大数据智能清洗系统设计的总体功能性较为完善,在系统性能测试方面也能够保持95%以上的数据查准率和召回率。     

大数据产业发展状况及政策思考

全球大数据产业日趋活跃,技术和应用加速发展,政府大力推进。我国面临难得的发展机遇,但也存在数据、技术、法律环境等一系列问题。本文概述了全球和我国大数据产业和政策最新进展,探讨了我国大数据政策发展的要点。     

大数据产业发展需求、思路和策略探析

随着云计算、移动互联网和物联网等新一代信息技术的广泛应用,数据已经渗透到每一个行业和业务职能领域,大数据产业生态环境正在加速构建。结合大数据产业背景及我国大数据产业发展的实际状况,揭示了发展大数据产业需要解决数据来源、数据加工、数据应用三个关键问题,并在现状分析基础上,提出大数据产业近远期市场需求,从技术创新、数据开放与信息保护三个方面探讨大数据产业发展思路,并为大数据产业健康发展提供策略参考。     

融合速度约束与似然估计的数据清洗研究

为了获得更简洁、精确和有价值的大数据信息,提出一种融合速度约束和最大似然估计的大数据清洗算法。首先构建多项式插值函数,基于多普勒处理确定数据理论性融合的具体误差数值水平,其次利用Server消息返回机制,并借助多叉树计算流,建立稳定的大数据清洗框架,最后按需统计大数据信息的缺失量实值,为重复清洗量计算提供数值参考条件。将MapReduce并行算法、大数据清洗算法应用于同一种网络开源平台中,引入缺失数据系统对信息文件进行排列,分析各项实验指标的具体数值,结果验证了提出算法具有良好的数据清洗效果。     

基于随机森林算法的通信大数据重复清洗方法

当前在通信大数据清洗过程中,由于不能同时实现数据滤波与清洗,导致清洗效果差及通信时延高,为此提出基于随机森林算法的通信大数据重复清洗方法.构建主网通信数据的多维分布异构存储节点分布模型,采用云融合调度方法进行数据自适应调度和信息特征采样,结合模糊特征匹配和检测滤波方法实现数据采集过程中的抗干扰处理,根据所采集到的数据采...     

我国大数据交易安全风险及应对思路

在国家大数据战略大背景下,数据交易产业起到了推动数据应用和释放数据价值的重要作用.然而我国大数据交易产业尚处初级阶段,缺乏全国统一的规范体系和必要的法律保障,其在发展过程中势必会产生大量安全风险.文章梳理我国大数据交易的监管政策环境和管理现状,分析大数据交易带来的安全风险并给出应对建议.     

大数据与云计算在通信行业中的运用

<正>随着互联网宽带信息技术、移动通信技术快速发展,我国全面进入大数据时代,数据成为国家战略资源。云计算技术,是战略性产业发展规划重要组成,改变社会生产与生活模式,形成全新的商业模式。本文研究中,探讨了大数据与云计算概述,以及通信行业发展现状,分析了大数据与云计算对通信行业发展的影响,研究了大数据与云计算在通信行业的应用,以期推动我国通信行业的快速发展。现阶段,社会经济快速发展,现代科技更新与改革力度加大,各行业领域都开始应用大数据技术,以数据分析结果作为决策依据。大数据技术发展,     

大数据行业应用和商业模式研究

大数据的行业应用会促使大数据产业链形成一个循环过程,包括对大数据的组织与管理、分析与发现、应用服务,产业链的最终用户也可以是产业链的上游大数据资源拥有者。进入云计算时代以来,信息通信技术迎来新一轮重大突破,产业发展模式和格局正在发生深刻变革。以产品功能融合、网络融合、制造与服务融合以及信息技术向其他产业渗透等为主要特征的融合发展,正在成为推动信息产业转型升级的重要力量;基于“硬件＋软件＋终端＋内容＋服务”的产业链垂直整合,正在推动信息产业组织方式深刻变革;云计算、移动互联网、大数据等面向服务的商业模式创新,正在开辟新的产业增长点.     

电信运营商大数据变现关键技术环节研究

目前,数据资产对各个行业的商业价值愈发重要,引发了社会各产业的产业改革。然而,我国的电信运营商在大数据资源上具有较好的发展优势,若关键技术变革得当,将成为国内首个通过大数据应用改革成功的产业。文章对电信运营商在进行大数据变现的关键技术环节进行了分析。     

云计算和大数据,信息化的推动剂

在信息化过程中,云计算是加速信息化过程的基础设施,而大数据则是信息化的杀手级应用。技术革新对信息化发展的引领与推动作用已经毋庸置疑,而新一波以云计算和大数据为代表的新技术对我国信息化的拉动作用也正日益显现。在5月21日举行的第六届中国云计算大会上,中国云计算与产业联盟理事长吴基传表示,随着云计算服务的互联,移动互联网、智慧城市等领域的渗透相互促进,形成了市场需求与技术进步双拉动的态势,为我国信息产业和服务的发展提供了强大的动力。     

信息化和软件服务业司司长出席2016中国大数据企业大会

<正>2016中国大数据企业大会日前在江苏盐城召开,工业和信息化部信息化和软件服务业司司长谢少锋受邀出席大会并讲话。谢少锋指出大数据已经成为国家战略,必须高度重视全面推进,分析了我国大数据产业的发展现状和取得的进展,对工业和信息化部在大数据产业发展方面已开展工作和下一步考虑进行了介绍:一是做好大数据产业发展     

大数据时代下的物联网发展

近几年,我国经济发展水平稳步增长,物联网产业发展迅速。与此同时,人们对信息服务的要求越来越高,新形势下物联网产业的发展需要新的数据管理技术。鉴于这种形势,大数据应运而生。很多专家学者、科研人员都非常关注“大数据”。在生活中,“大数据”的字眼无处不在,这一现象就标志着“大数据”时代已经真正的到来。“大数据”和“物联网”这两项技术的发展对人们的生活带来了深刻的影响和变革,是机遇,也是挑战。本文将讨论大数据与物联网之间相辅相成的发展。     

基于Python的交通流数据清洗

为向城市道路交通流预测提供科学的数据支撑,本文提出了基于Python对交通流数据进行清洗。清洗的数据主要包括异常、缺失、冗余数据。清洗方法按照本文提出的清洗规则并结合交通机理知识和城市道路交通流时段特征,实现交通流数据的合理清洗。     

面向大数据的异构网络安全监控及关联算法研究

我国信息安全战略在大数据时代需考虑大规模、异构的网络安全行为的复杂性和时效性问题。针对大数据具有的数据量巨大、查询分析复杂的特点,分析面向大数据的异构网络安全监控的相关技术,提出对各类异构数据源进行清洗整合,通过安全事件的关联和分布式序列图模式等方式进行网络安全监控的整体态势分析,为大数据环境下的异构网络安全监控提供了一些思路,也为信息安全企业提供了一个分析大数据下隐含规律的参考模型。     

大数据推动远程医疗产业发展的路径及相关建议

远程医疗是当前医疗行业的主要发展趋势,解决了时间因素和空间因素造成的限制性问题,为人们提供更加便捷的看病就医服务,有利于我国医疗体制改革进程的加快。在大数据背景下,远程医疗产业实现了快速发展,同时在实践工作中也会面临新的挑战,应该充分发挥大数据的价值和优势,提高产业发展动力。文章将对大数据推动远程医疗产业发展的意义进行分析,提出大数据推动远程医疗产业发展的限制性问题,探索大数据推动远程医疗产业发展的路径,为实践工作提供参考。