共查询到20条相似文献,搜索用时 31 毫秒
1.
随着科技信息的发展,数据质量问题一直是数据挖掘过程中密切关注的问题.首先,对大数据时代下数据挖掘的基本过程进行阐述,分析数据清洗需要处理的问题,同时说明数据清洗的原理、进行数据清洗的系统框架.最后提出进行数据清洗应当注重的大数据思维和数据清洗发展方向. 相似文献
2.
作为我国现如今的传媒产业生产方式,大数据技术在传媒行业的诸多领域都得到了充分的利用,极大地推动了传媒产业形成传媒类型、提升传媒质量工作的进展。文章将会针对大数据时代国内传媒产业的挑战与机遇展开研究,希望能促进我国传媒产业的发展。 相似文献
3.
随着数字经济发展战略的深入实施,我国大数据发展迎来了全新阶段。回顾过去10年,我国大数据标准化工作随着大数据技术、产业的发展迭代推进,已形成体系健全、标准丰富、应用广泛的一批标准化成果。立足过去10年我国大数据标准化建设基础,分析了我国大数据标准化的发展阶段,总结了我国大数据标准化主要成果,并结合当前新时期对大数据标准化的新需求,提出我国大数据标准化未来的展望。 相似文献
4.
数据清洗是大数据中一个重要的主题。本文基于Hadoop设计并实现了一个大数据的云清洗系统。通过Map-Reduce计算模型,该系统能够检测并修复数据质量方面的各类问题。该系统包含以下特征:(1)支持数据质量方面各类问题的清洗工作;(2)数据云清洗进度可视化以及参数设置;(3)友好的数据集输入接口以及清洗后的数据集输出接口。该大数据云清洗系统对文本数据和数据库数据均是一个有效且高效的数据清洗系统。 相似文献
5.
6.
大数据资源是企业拥有的最重要的战略资源之一,也是管理层制定远景规划,提高市场竞争力的主要方式和途径,但大数据中会存在错误、冗余和不完整的数据,降低了大数据的总体质量。为此设计一种基于云计算的海量大数据智能清洗系统,改善现有大数据清洗系统在脏数据处理性能上的不足。分析了基于云计算的大数据智能清洗系统的总体框架和硬件构成,数据清洗系统的硬件部分由数据预处理模块、数据云聚类模块、数据识别模块和实体划分模块等部分组成;给出了智能大数据清洗系统的总体软件工作流程,并重点分析大数据空间聚类、相似度计算等关键的数据处理技术。验证结果表明,提出的基于云计算的海量大数据智能清洗系统设计的总体功能性较为完善,在系统性能测试方面也能够保持95%以上的数据查准率和召回率。 相似文献
7.
全球大数据产业日趋活跃,技术和应用加速发展,政府大力推进。我国面临难得的发展机遇,但也存在数据、技术、法律环境等一系列问题。本文概述了全球和我国大数据产业和政策最新进展,探讨了我国大数据政策发展的要点。 相似文献
8.
9.
为了获得更简洁、精确和有价值的大数据信息,提出一种融合速度约束和最大似然估计的大数据清洗算法。首先构建多项式插值函数,基于多普勒处理确定数据理论性融合的具体误差数值水平,其次利用Server消息返回机制,并借助多叉树计算流,建立稳定的大数据清洗框架,最后按需统计大数据信息的缺失量实值,为重复清洗量计算提供数值参考条件。将MapReduce并行算法、大数据清洗算法应用于同一种网络开源平台中,引入缺失数据系统对信息文件进行排列,分析各项实验指标的具体数值,结果验证了提出算法具有良好的数据清洗效果。 相似文献
10.
11.
12.
<正>随着互联网宽带信息技术、移动通信技术快速发展,我国全面进入大数据时代,数据成为国家战略资源。云计算技术,是战略性产业发展规划重要组成,改变社会生产与生活模式,形成全新的商业模式。本文研究中,探讨了大数据与云计算概述,以及通信行业发展现状,分析了大数据与云计算对通信行业发展的影响,研究了大数据与云计算在通信行业的应用,以期推动我国通信行业的快速发展。现阶段,社会经济快速发展,现代科技更新与改革力度加大,各行业领域都开始应用大数据技术,以数据分析结果作为决策依据。大数据技术发展, 相似文献
13.
大数据的行业应用会促使大数据产业链形成一个循环过程,包括对大数据的组织与管理、分析与发现、应用服务,产业链的最终用户也可以是产业链的上游大数据资源拥有者。进入云计算时代以来,信息通信技术迎来新一轮重大突破,产业发展模式和格局正在发生深刻变革。以产品功能融合、网络融合、制造与服务融合以及信息技术向其他产业渗透等为主要特征的融合发展,正在成为推动信息产业转型升级的重要力量;基于“硬件+软件+终端+内容+服务”的产业链垂直整合,正在推动信息产业组织方式深刻变革;云计算、移动互联网、大数据等面向服务的商业模式创新,正在开辟新的产业增长点. 相似文献
14.
15.
在信息化过程中,云计算是加速信息化过程的基础设施,而大数据则是信息化的杀手级应用。技术革新对信息化发展的引领与推动作用已经毋庸置疑,而新一波以云计算和大数据为代表的新技术对我国信息化的拉动作用也正日益显现。在5月21日举行的第六届中国云计算大会上,中国云计算与产业联盟理事长吴基传表示,随着云计算服务的互联,移动互联网、智慧城市等领域的渗透相互促进,形成了市场需求与技术进步双拉动的态势,为我国信息产业和服务的发展提供了强大的动力。 相似文献
16.
17.
《电子技术与软件工程》2016,(9)
为向城市道路交通流预测提供科学的数据支撑,本文提出了基于Python对交通流数据进行清洗。清洗的数据主要包括异常、缺失、冗余数据。清洗方法按照本文提出的清洗规则并结合交通机理知识和城市道路交通流时段特征,实现交通流数据的合理清洗。 相似文献
18.
近几年,我国经济发展水平稳步增长,物联网产业发展迅速。与此同时,人们对信息服务的要求越来越高,新形势下物联网产业的发展需要新的数据管理技术。鉴于这种形势,大数据应运而生。很多专家学者、科研人员都非常关注“大数据”。在生活中,“大数据”的字眼无处不在,这一现象就标志着“大数据”时代已经真正的到来。“大数据”和“物联网”这两项技术的发展对人们的生活带来了深刻的影响和变革,是机遇,也是挑战。本文将讨论大数据与物联网之间相辅相成的发展。 相似文献
19.
20.
远程医疗是当前医疗行业的主要发展趋势,解决了时间因素和空间因素造成的限制性问题,为人们提供更加便捷的看病就医服务,有利于我国医疗体制改革进程的加快。在大数据背景下,远程医疗产业实现了快速发展,同时在实践工作中也会面临新的挑战,应该充分发挥大数据的价值和优势,提高产业发展动力。文章将对大数据推动远程医疗产业发展的意义进行分析,提出大数据推动远程医疗产业发展的限制性问题,探索大数据推动远程医疗产业发展的路径,为实践工作提供参考。 相似文献