基于数据湖的高校大数据管理体系和处理机制研究

针对高校本身业务系统带来的不同结构海量数据的存储管理和高效利用问题,通过比较新兴的数据湖技术和传统的数据仓库的区别,构建了基于数据湖的高校数据管理体系和数据处理机制,为高校的数据治理提供了数据层的存储支持,为使用机器学习方法进行大数据分析提供了非结构化数据来源。     

关于大数据的数据处理探讨

随着信息技术和计算机科技的进一步发展,互联网应用普及,以往人们忽视的数据资源价值更加凸显,由此发展的大数据技术更是将这些海量的数据信息资源充分挖掘出来,实现数据资源转化为经济来源,为学校优化管理方式和优化课程设置、为企业制定生产和发展决策、为政府制定相关管理政策等都提供了有效的参考。大数据在数据处理中,用到的相关技术较多,掌握这些技术应用,对于进一步推动大数据发展具有重要意义。本文分析了大数据的数据特点,分析目前大数据数据处理中的关键技术,并针对大数据数据处理技术的进一步优化和应用,提出几点建议。     

基于云计算的大数据处理技术

为解决大数据处理的瓶颈,分析了大数据及云计算的关键技术,论述了大数据和云计算之间的关系,利用云计算在数据存储、数据管理和虚拟化等方面的技术优势,构建了基于云计算的大数据管理和处理模式,为大数据的研究及应用提供了新的思路和技术基础。     

一种基于实时数据采集系统的数据处理方法

给出了产时数据采集系统的一种数据存储格式,并讨论了基于此格式的一般数据处理方法。     

一种基于实时数据采集系统的数据处理方法

给出了实时数据采集系统的一种数据存储格式 ,并讨论了基于此格式的一般数据处理方法     

基于大数据的数据处理方法研究

针对大数据处理效率低问题,该文提出了新的处理办法。其基本思想是利用预处理方法和历史查询结果作为中间结果集,通过对中间集的匹配减少重复处理时间,提高处理效率。最后通过仿真实验对比分析,表明新方法能够一定程度上提高数据处理效率。     

基于LabVIEW的大数据处理技术研究

随着计算机处理与存储容量的持续增长、硬件与软件成本的降低,根据实际使用需求,收集的数据在采集时呈爆炸式增长。对大数据的有效存储、管理和共享成为如今计算机信息化管理的真正挑战。本文提出了一种基于LABVIEW的大数据处理技术,满足了上述使用需求,经实际项目测试运行良好。     

数据集成中的一种数据合并技术

本文讨论了在数据集成过程中遇到的数据合并问题，主要包括重复记录判断(对象识别技术)和重复记录的冲突处理(冲突解决机制)等，提出了比较实用、有效的方法，并通过实验对多表合并的两种算法进行了比较，指出了需要进一步改进的方向。     

一种基于大数据的可视化数据治理平台的研究

博物馆和科技馆等场馆的系统数据量非常巨大,系统需要的数据处理都是按照固定的算法和程序进行开发的,扩展性和灵活性差,不能满足用户灵活多变的需求且对业务处理人员不是很友好。本文研究一种基于大数据的可视化数据治理平台通过综合运用大数据及互联网等新技术,构建可视化的大数据治理平台,平台提供数据采集能力组件进行数据采集,数据处理组件进行数据处理,而且用户还可以自定义选择具体算法进行大数据计算处理,最终进行数据资源输出。系统通过搭建模块化架构,为用户提供可视化数据处理能力组件,帮助用户完成数据采集和数据计算处理等服务,用户可以通过平台对数据处理进行灵活定制化选择,保证灵活性的处理数据来满足业务需求。     

数据湖研究综述

数据湖作为一种新兴的数据处理和分析技术,在处理大规模数据集方面表现出了显著的性能优势。国内外相关文献对数据湖的架构、关键技术和应用进行了全面而深入的研究,为相关研究人员提供了有价值的参考。文章首先对数据湖与数据仓库的概念进行了辨析,明确了两者的区别;其次概述了当前流行的数据湖框架和架构,并详细阐述了数据湖的核心功能,包括多源数据的集成、高效的数据存储和计算能力,以及有效的数据治理等;最后探讨了数据湖研究未来的发展方向,如存算分离技术和云原生应用等。     

大数据处理技术在炼化企业的应用

在信息经济时代,炼化企业开始利用大数据处理技术建立智能化工厂以提升企业自身的核心竞争力。本文从炼化企业信息化建设需求、大数据的特征和大数据处理技术等方面对大数据处理技术在炼化企业信息化建设中的应用进行了技术初探。     

大数据挖掘与数据处理方法探析

该文将基于大数据挖掘技术的基本,分析大数据与大数据挖掘之间的相互联系,对当今主流数据挖掘算法进行分类说明,最后以大数据时代中主流数据形态——非结构数据为例,阐述大数据挖掘的数据处理方法,以期能够为业内人士提供理论参考。     

大数据研究与应用探析

论文介绍大数据的概念、特点、处理流程、关键技术及运用领域，对大数据当前研究的几个重要课题进行了讨论。     

一种大数据估价算法

"大数据"已经成为计算机领域使用频率最高的专业词汇之一,而且已经逐渐变成了一个商品名称。无论是从学术研究角度,还是从数据交易需求角度,对大数据集的可用性进行评价都是一个新的问题。文中提出了一个大数据可用性评价模型,为学术和流通领域提供参考。结合大数据的4V(Volume,Variety,Velocity,Value)特性,分段统计样本数据的4V特性分布,从而给出基于分段分布的大数据特性概率模型,以及大数据可用性加权评价模型。文中还提出了实现大数据分块抽样的算法,以及大数据评价模型的各个特性加权系数的估计算法。结合视频大数据的可用性评价需求,展示所提模型和算法的具体应用。大数据可用性评价模型可以用于数据科学实验的数据评价,也可以用于大数据交易市场的数据集定价。给出了实际评价工作中,标准化(商品化)数据集以及确定数据评价基准等具体操作方面的解决方案。应用案例对所提模型有支持作用,进一步检验了模型的可行性。     

数据湖技术研究综述

传统存储技术已经不适合大数据时代的数据分析和应用,数据湖概念的出现有效解决了数据存储成本高、灵活性低、异构数据多样化等问题。目前数据湖研究还处于早期阶段,缺乏覆盖数据处理全过程的综述性研究。为了更全面地了解数据湖技术,调查分析了近几年数据湖技术的研究成果。首先,梳理了数据湖发展历程和概念,并与其他类似的概念进行了比较;其次,对数据湖架构进行了调查,并根据架构特征把数据湖关键技术分为存储、数据摄取、数据维护、数据探索、数据治理等部分,分析和讨论了关键技术的最新研究进展、技术方案、研究缺陷以及今后研究方向;最后,调查了数据湖在各个应用领域的典型应用,为各行业数据湖的实施者提供了参考。     

大数据技术应用研究

对大数据的产生背景和来源作出了介绍,分析了大数据处理的技术,提出了可以采用的数学模型,阐述了大数据处理系统的应用,最后对其未来的发展做出了思考。     

大数据技术应用研究

对大数据的产生背景和来源作出了介绍,分析了大数据处理的技术,提出了可以采用的数学模型,阐述了大数据处理系统的应用,最后对其未来的发展做出了思考。     

敲开大数据之门

“数据”被捧为21世纪新型“石油”,越率越广泛的信息应用改变了各行各业决策的速率和准确率。而企业究竟该怎样享用“大数据盛宴”？我们在寻求答搴。     

云原生数据湖服务平台的设计与实现

云原生数据湖已经成为数据管理和分析领域的研究热点,相关技术和应用也得到了广泛的关注和探索。数据湖部署存在着成本高、组件之间兼容性差等问题,存算不分离制约着数据湖平台延展性,缺乏完备的数据入湖体系容易引起数据湖沼泽的形成,导致用户无法从中提取数据价值。该文设计并实现了云原生数据湖服务平台,平台以Kubernetes为底层构建云原生环境,结合容器技术将数据湖组件镜像化,同时设计数据湖存算分离方案来提高数据湖平台的可扩展性和可移植性,并配合监控、组装生产线将镜像容器化,实现数据湖上云操作。并建立用户入湖作业与云原生计算引擎之间的桥梁,对入湖信息进行预处理,提供多类型作业以满足多元化入湖场景,以统一catalog的方式将数据写入数据湖中。实际运行结果表明,该平台既提高了数据湖平台的灵活性和可靠性,又确保了元数据和数据资产的规范性存储。     

基于开源生态系统的大数据平台研究

大规模数据的收集和处理是近年的研究热点,业界已经提出了若干平台级的设计方案,大量使用了开源软件作为数据收集和处理组件.然而,要真正满足企业应用中海量数据存储、多样化业务处理、跨业务分析、跨环境部署等复杂需求,尚需设计具有完整性、通用性、支持整个数据生命周期管理的大数据平台,并且对开源软件进行大量的功能开发、定制和改进.从小米公司的行业应用和实践出发,在深入研究现有平台的基础上,提出了一种新的基于开源生态系统的大数据收集与处理平台,在负载均衡、故障恢复、数据压缩、多维调度等方面进行了大量优化,同时发现并解决了现有开源软件在数据收集、存储、处理以及软件一致性、可用性和效率等方面的缺陷.该平台已经在小米公司成功部署,为小米公司各个业务线的数据收集和处理提供支撑服务.