大数据环境下的数据迁移技术研究

数据是信息系统运行的基础和核心,是机构稳定发展的宝贵资源。随着信息系统数据量成几何级数增加,特别是在当前大数据环境和信息技术快速发展情况下,海量数据迁移是企业解决存储空间不足、新老系统切换和信息系统升级改造等过程中必须面对的一个现实问题。如何在业务约束条件下,快速、正确、完整地实现海量数据迁移,保障数据的完整性、一致性和继承性,是一个关键研究课题。从海量数据管理的角度,阐述了海量数据迁移方法,比较了不同数据迁移的方案特点。     

大数据场景下数据存储格式对比研究

针对大数据场景下的数据存储格式,通过对比分析存储压缩比、读写性能和数据查询效率等方面的差异,从实验角度探究不同存储格式的优劣势。在实验中,选取了常见的数据存储格式进行了对比研究,包括文本格式、CSV格式、JSON格式、Parquet格式、ORC格式等。通过对比实验结果,得出了在不同场景下,不同的数据存储格式都有其适用性和局限性,需要综合考虑各方面因素选择合适的存储格式。本文的研究结果对于数据存储和处理的优化具有一定的指导意义和参考价值。     

大数据环境下的分布式数据流处理关键技术探析

大数据环境下的数据流处理实时性要求高,数据计算要求持续性和高可靠性。分布式数据流处理系统（DDSPS）能解决大数据环境下的数据流处理问题,它除具备分布式系统的可扩展性和容错性优势外,还具有高的实时处理能力。详细介绍了组成基于大数据的分布式数据流处理系统的四个子系统及其关键技术,讨论和比较了各个子系统的不同技术方案;同时介绍一种分布式拒绝服务（DDoS）攻击检测数据流处理系统结构案例,其研究内容能为大数据环境下的数据流处理理论研究和应用技术开发提供技术参考。     

基于列存储的大数据分析系统物化策略研究

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化和软件系统开源化特点.针对当前传统数据库在对大数据进行分析时系统性能严重下降、计算效率提升有限的问题,提出一种基于列存储的大数据分析系统物化策略(materialization strategies in MapReduce based on column-store, MSMC).首先,通过引入MapReduce物化代价估计模型,深入分析影响物化效率的各个因素.在此基础上设计了MapReduce分布式环境下的列存储文件格式(MapReduce column-store file, MCF),并在数据加载过程中采用协同定位策略实现对物化数据的存储优化.其次,分别针对不同的物化时机,构建了MapReduce早期物化策略(MapReduce early materialization strategy, MEMS)、MapReduce延迟物化策略（MapReduce late materialization strategy, MLMS)和MapReduce混合物化策略(MapReduce early-late materialization strategy, MELMS).利用自适应物化调整策略对其做了进一步优化.实验结果在证明算法有效的同时,也显示出算法在存储空间和负载能力上都有很好的表现.     

大数据环境下制造业关键技术分析

随着制造业与物联网、云计算、互联网等信息技术的融合与发展,制造业已进入了大数据时代,在大数据环境下,制造技术将发生巨大的进步与改革。从大数据下的制造业数据特点出发,勾画了制造业的大数据技术架构,并重点分析了大数据下制造业的五大关键技术,即数据集成技术、数据存储技术、数据处理技术、数据分析技术以及数据展现技术,为制造业大数据的发展提供参考。     

大数据环境下的数据安全研究

知识经济的时代,大数据独有的潜在价值,正被逐渐发掘。然而,对数据安全的管控,却面临诸多挑战。为此,有必要明辨大数据的本源特征,在这种根基上,提出安全管控的化解路径。从现状看,大数据特有的总环境,包含细分出来的数据存留、应用时段中的数据管控。应当接纳这些视角,对数据安全依循的保护路径,予以审慎查验,提出新思路。     

云计算环境下的大数据可靠存储关键技术概述

呈指数级增长的大数据需要被可靠存储,而云计算环境下的大规模分布式存储节点和数据,极大地提升了数据丢失或失效的几率,该文从云端数据中心拓扑结构的设计、数据容灾技术的相关策略及系统节能减耗等三个方面进行了系统的阐述,为大数据的可靠存储技术研究提供了一定的参考依据。     

大数据关键技术解析与应用研究

随着大数据时代的到来,给人们生活带来翻天覆地的变化,惠及人们生活的方方面面,就大数据处理的关键技术、大数据的应用领域和大数据的未来发展趋势进行了分析研究,为今后大数据的研究、发展和应用进行了探讨.     

大数据环境下对数据分析技术的研究

随着互联网技术的高速发展,人类进入到一个社会上各种信息量爆炸性增长的时代.伴随着各种多媒体、物联网、云计算以及社交软件等信息技术和产品的飞速发展,每天都会产生难以估算的数据,这些巨量数据的规模和出现速度、处理难度已经超出了传统数据处理技术的能力范围.在这种背景下,对大数据能够进行有效存储和利用的数据分析技术的研究就显得极为迫切,以大数据环境下对数据分析技术的研究为主题,简要地阐述了国内大数据技术分析的发展现状、大数据的主要特点、大数据分析技术的发展趋势,以及大数据时代数据分析技术的研究,以此体现出数据更大的价值潜力.     

大数据环境下计算机软件技术的应用研究

互联网大数据技术早已成为了现阶段时期中最重要的技术之一,其自身的优点就在于能供应很多的信息,确保测算效果的提高。在现在看来,在我国的计算机软件技术也在积极主动融进互联网大数据技术,而且根据云端存储、云计算技术等有关技术的相互配合,让其能充分发挥的功效更为全方位,大部分可以符合现如今绝大多数领域的要求,尤其是针对公司而言,在配制工作中和管理决策工作上,都必须依靠计算机软件技术。因此,文中对计算机软件技术进行首要的剖析解读,对其进行全方面的研究。     

基于Spark的大数据聚类研究及系统实现

传统聚类算法由于单机内存和运算能力的限制已经不能满足当前大数据处理的要求,因而迫切需要寻找新的解决方法。针对单机内存运算问题,结合聚类算法的迭代计算特点,提出并实现了一种基于Spark平台的聚类系统。针对稀疏集和密集集两种不同类型的数据集,系统首先采用不同策略实现数据预处理;其次分析比较了不同聚类算法在Spark平台下的聚类性能,并给出最佳方案;最后利用数据持久化技术提高了计算速度。实验结果表明,所提系统能够有效满足海量数据聚类分析的任务要求。     

基于数据敏感性的大数据访问控制模型研究

最近大数据的增长正在引发安全和隐私问题,传统的访问控制模型难以对海量数据提供动态的访问控制。针对Hadoop云平台的数据安全问题,提出了一个基于数据敏感性的Hadoop大数据访问控制模型。模型利用数据内容、使用模式和数据敏感性来强化访问控制策略,在评估数据敏感性上用户干预最小,能根据数据集的增加和删除所引起的数据敏感性变化来调整访问控制策略。实验结果表明,该模型能够以较少的开销增强对非多媒体数据集的访问控制,解决了现有Hadoop平台中访问控制模型安全性的不足。     

大数据分析流程框架的研究

随着信息技术的不断创新,信息量的不断扩大,大数据已经成为了与日常生活息息相关的话题。挖掘大数据的价值已经炙手可热,如何能够更高效、更快速地分析大数据已经成为大数据发展的重要挑战之一。近年来,学术界与工业界就大数据的分析进行了研究,取得了一些研究成果,但针对大数据分析的研究还是非常有限。文中首先从传统数据仓库与大数据时代数据仓库作了对比,引入了大数据的分析流程框架,对分析流程框架的各个部分做了一一阐述,并通过实验验证分析了流程框架的可行性。     

大数据环境下基于K中心点优化算法的Web服务组合

在当前Web服务海量增加、现有Web服务选择算法低效、用户匹配度差的基础上,针对K中心点算法存在的质点偏移、准确率低和容易发生畸变等问题,提出一种大数据环境下基于K中心点优化算法的Web服务组合方法。该方法是在大数据环境下,根据不同用户需求满意度及Web服务QoS参数,对基于优化初始聚类中心的K中心点算法的Web服务选择及最优Web服务组合进行研究。同时针对不同的选择方法对服务动态选择及组合的准确度、迭代更新次数、候选集选择时间及选择总时间进行实验分析,验证了本文研究方法的有效性和可靠性。     

基于大数据挖掘的图像检索方法研究

针对传统的图像检索方法对大规模图像数据进行检索时,耗费时间巨大以致无法满足用户需求的问题,采用大数据挖掘技术将大规模图像数据进行分布式存储和并行处理,缩减了图像数量对检索耗时的影响,并且快速挖掘出图像中与语义概念有较强关联的视觉模式,提高了检索效率。     

基于大数据和深度学习的语音识别研究

近年来,现代信息技术进入高速发展的阶段,新的研究成果出现的同时也带来了新的难题和挑战,其中,对人工智能的研究应用到了人们生活和生产的各个方面,给社会生活带来了巨大的改变。在人工智能识别中的语音识别研究一直是重点研究项目,虽然基于人工神经网络引入声学理论的研究,让语音识别智能化的效率和准确率大大提高,但是随着对语音识别需求的增多,仍然出现了一些不足。因此需要基于大数据和深度学习,对语音识别进行改善和深入研究,本文通过探讨语言智能识别的现状,用基于大数据和深度学习的方法,改善语音识别中的语音提取,声音模拟和识别判断等,有效提高语音识别技术的发展。     

基于云计算的大数据处理技术

为解决大数据处理的瓶颈,分析了大数据及云计算的关键技术,论述了大数据和云计算之间的关系,利用云计算在数据存储、数据管理和虚拟化等方面的技术优势,构建了基于云计算的大数据管理和处理模式,为大数据的研究及应用提供了新的思路和技术基础。     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.