共查询到20条相似文献,搜索用时 15 毫秒
1.
2.
3.
为解决大数据处理的瓶颈,分析了大数据及云计算的关键技术,论述了大数据和云计算之间的关系,利用云计算在数据存储、数据管理和虚拟化等方面的技术优势,构建了基于云计算的大数据管理和处理模式,为大数据的研究及应用提供了新的思路和技术基础。 相似文献
4.
5.
6.
许超超 《数字社区&智能家居》2014,(5):894-896
针对大数据处理效率低问题,该文提出了新的处理办法。其基本思想是利用预处理方法和历史查询结果作为中间结果集,通过对中间集的匹配减少重复处理时间,提高处理效率。最后通过仿真实验对比分析,表明新方法能够一定程度上提高数据处理效率。 相似文献
7.
随着计算机处理与存储容量的持续增长、硬件与软件成本的降低,根据实际使用需求,收集的数据在采集时呈爆炸式增长。对大数据的有效存储、管理和共享成为如今计算机信息化管理的真正挑战。本文提出了一种基于LABVIEW的大数据处理技术,满足了上述使用需求,经实际项目测试运行良好。 相似文献
8.
9.
博物馆和科技馆等场馆的系统数据量非常巨大,系统需要的数据处理都是按照固定的算法和程序进行开发的,扩展性和灵活性差,不能满足用户灵活多变的需求且对业务处理人员不是很友好。本文研究一种基于大数据的可视化数据治理平台通过综合运用大数据及互联网等新技术,构建可视化的大数据治理平台,平台提供数据采集能力组件进行数据采集,数据处理组件进行数据处理,而且用户还可以自定义选择具体算法进行大数据计算处理,最终进行数据资源输出。系统通过搭建模块化架构,为用户提供可视化数据处理能力组件,帮助用户完成数据采集和数据计算处理等服务,用户可以通过平台对数据处理进行灵活定制化选择,保证灵活性的处理数据来满足业务需求。 相似文献
10.
11.
王文琦 《计算机光盘软件与应用》2014,(2):82-83
在信息经济时代,炼化企业开始利用大数据处理技术建立智能化工厂以提升企业自身的核心竞争力。本文从炼化企业信息化建设需求、大数据的特征和大数据处理技术等方面对大数据处理技术在炼化企业信息化建设中的应用进行了技术初探。 相似文献
12.
黄伟 《数字社区&智能家居》2021,(8)
该文将基于大数据挖掘技术的基本,分析大数据与大数据挖掘之间的相互联系,对当今主流数据挖掘算法进行分类说明,最后以大数据时代中主流数据形态——非结构数据为例,阐述大数据挖掘的数据处理方法,以期能够为业内人士提供理论参考。 相似文献
13.
14.
"大数据"已经成为计算机领域使用频率最高的专业词汇之一,而且已经逐渐变成了一个商品名称。无论是从学术研究角度,还是从数据交易需求角度,对大数据集的可用性进行评价都是一个新的问题。文中提出了一个大数据可用性评价模型,为学术和流通领域提供参考。结合大数据的4V(Volume,Variety,Velocity,Value)特性,分段统计样本数据的4V特性分布,从而给出基于分段分布的大数据特性概率模型,以及大数据可用性加权评价模型。文中还提出了实现大数据分块抽样的算法,以及大数据评价模型的各个特性加权系数的估计算法。结合视频大数据的可用性评价需求,展示所提模型和算法的具体应用。大数据可用性评价模型可以用于数据科学实验的数据评价,也可以用于大数据交易市场的数据集定价。给出了实际评价工作中,标准化(商品化)数据集以及确定数据评价基准等具体操作方面的解决方案。应用案例对所提模型有支持作用,进一步检验了模型的可行性。 相似文献
15.
传统存储技术已经不适合大数据时代的数据分析和应用,数据湖概念的出现有效解决了数据存储成本高、灵活性低、异构数据多样化等问题。目前数据湖研究还处于早期阶段,缺乏覆盖数据处理全过程的综述性研究。为了更全面地了解数据湖技术,调查分析了近几年数据湖技术的研究成果。首先,梳理了数据湖发展历程和概念,并与其他类似的概念进行了比较;其次,对数据湖架构进行了调查,并根据架构特征把数据湖关键技术分为存储、数据摄取、数据维护、数据探索、数据治理等部分,分析和讨论了关键技术的最新研究进展、技术方案、研究缺陷以及今后研究方向;最后,调查了数据湖在各个应用领域的典型应用,为各行业数据湖的实施者提供了参考。 相似文献
16.
于为 《数字社区&智能家居》2013,(22):5002-5003
对大数据的产生背景和来源作出了介绍,分析了大数据处理的技术,提出了可以采用的数学模型,阐述了大数据处理系统的应用,最后对其未来的发展做出了思考。 相似文献
17.
于为 《数字社区&智能家居》2013,(8):5002-5003
对大数据的产生背景和来源作出了介绍,分析了大数据处理的技术,提出了可以采用的数学模型,阐述了大数据处理系统的应用,最后对其未来的发展做出了思考。 相似文献
18.
19.
云原生数据湖已经成为数据管理和分析领域的研究热点,相关技术和应用也得到了广泛的关注和探索。数据湖部署存在着成本高、组件之间兼容性差等问题,存算不分离制约着数据湖平台延展性,缺乏完备的数据入湖体系容易引起数据湖沼泽的形成,导致用户无法从中提取数据价值。该文设计并实现了云原生数据湖服务平台,平台以Kubernetes为底层构建云原生环境,结合容器技术将数据湖组件镜像化,同时设计数据湖存算分离方案来提高数据湖平台的可扩展性和可移植性,并配合监控、组装生产线将镜像容器化,实现数据湖上云操作。并建立用户入湖作业与云原生计算引擎之间的桥梁,对入湖信息进行预处理,提供多类型作业以满足多元化入湖场景,以统一catalog的方式将数据写入数据湖中。实际运行结果表明,该平台既提高了数据湖平台的灵活性和可靠性,又确保了元数据和数据资产的规范性存储。 相似文献
20.
大规模数据的收集和处理是近年的研究热点,业界已经提出了若干平台级的设计方案,大量使用了开源软件作为数据收集和处理组件.然而,要真正满足企业应用中海量数据存储、多样化业务处理、跨业务分析、跨环境部署等复杂需求,尚需设计具有完整性、通用性、支持整个数据生命周期管理的大数据平台,并且对开源软件进行大量的功能开发、定制和改进.从小米公司的行业应用和实践出发,在深入研究现有平台的基础上,提出了一种新的基于开源生态系统的大数据收集与处理平台,在负载均衡、故障恢复、数据压缩、多维调度等方面进行了大量优化,同时发现并解决了现有开源软件在数据收集、存储、处理以及软件一致性、可用性和效率等方面的缺陷.该平台已经在小米公司成功部署,为小米公司各个业务线的数据收集和处理提供支撑服务. 相似文献