大数据环境下的数据迁移技术研究

数据是信息系统运行的基础和核心,是机构稳定发展的宝贵资源。随着信息系统数据量成几何级数增加,特别是在当前大数据环境和信息技术快速发展情况下,海量数据迁移是企业解决存储空间不足、新老系统切换和信息系统升级改造等过程中必须面对的一个现实问题。如何在业务约束条件下,快速、正确、完整地实现海量数据迁移,保障数据的完整性、一致性和继承性,是一个关键研究课题。从海量数据管理的角度,阐述了海量数据迁移方法,比较了不同数据迁移的方案特点。     

大数据迁移研究

随着信息采集机制的演变,存储和数据库技术的进步,产生了大量异构信息,整合和使用这些信息成为了巨大的挑战。大数据是指庞大的,有异质数据字典且包含复杂操作的数据。数据迁移是指将数据从一个系统或多个系统迁移至一个新环境的过程。大数据由于自身的特点,迁移过程极其复杂,需要一个行之有效的方法和系统来管理这个过程。本文就是探讨如何行之有效的进行大数据的迁移,并确保信息迁移的完成以及数据的高准确性和一致性。     

混合云存储中海洋大数据迁移算法的研究

海洋数据是一种典型的大数据,如何利用混合云存储架构存储海洋大数据是海洋数据管理面临的一个挑战.针对混合云存储架构中的关键问题——数据迁移,提出了海洋大数据的生命周期,并且基于此给出混合云存储中海洋大数据的迁移算法.在迁移算法中,将海洋数据的敏感度、数据访问频率、数据大小、数据时间长度等因素作为迁移因子.迁移算法兼顾考虑了数据存储容量、海洋数据本身的属性特征和数据访问过程中的动态变化.实验验证混合云存储模式能大大降低数据管理成本,同时,通过提出的迁移算法保证了数据的访问速度.     

海洋大数据分级存储中迁移模型的研究

海洋数据具有规模庞大、种类繁多、结构复杂、时空特性明显等特征,如何高效地对海洋中的大数据进行存储是实现我国海洋数字化以及管理的科学化的关键。传统的数据存储系统面临着高扩展性、高可靠性、高安全性和低成本的挑战。阐述海洋数据的特征,制定海洋中大数据的生命周期;根据海洋中大数据的生命周期图,设计出一种适合于海洋大数据特征的迁移模型,解决了海洋中大数据在分级存储中的数据迁移问题,实现了海洋大数据的高效存储。     

基于分割的云存储医疗大数据分级保密模型设计

为提高在云存储环境中具有密度高、关联复杂的医学大数据安全保密级别,基于数据分割和等级关联结构,以数据加密的隐私保护算法为支持,提出了一种新的大数据资源的隐私保密模式.从云环境下医疗大数据特征入手,分析云存储中数据隐私保护机制,提出基于分割的云存储数据分级保密模型,大大提高了数据的安全性.研究表明,该模型可以有效保护数据安全和隐私,提高云端数据的安全程度及提高执行效率.     

混合云存储中网络稀疏大数据渗透迁移算法

当前方法没有考虑到特殊样本数据筛查的问题,导致数据渗透迁移完整度不高,所用时间较长,为此提出一种混合云存储中网络稀疏大数据渗透迁移算法.在主成分分析算法中引入信息熵的思想,对网络稀疏大数据进行降维处理,将降维结果与信息熵进行结合;筛选网络稀疏大数据的特征,将网络稀疏大数据中存在的无用特征进行剔除;计算网络稀疏大数据的敏...     

计算机云存储的数据迁移研究

云存储技术是计算机发展过程中的一项重要技术,其中数字迁移是从完全虚拟化的场景中走出来实现高度动态存储的必然条件,因此就必须对计算机云存储数据迁移进行详细的研究.     

大数据安全处理技术研究

随着大数据时代的到来,对大数据的处理变得越来越重要。本文对如何处理大数据进行了分析,研究了大数据处理的相关技术,包括数据存储架构、数据结构处理、极限存储处理等方面。最后,对大数据的未来发展进行了展望。     

数据大集中的银行综合业务网络可靠性安全性策略

讨论了数据大集中下的银行网络建设中的网络层次，可靠性，安全性设计构建方法。     

基于增强ETL过程的大数据策略研究

大数据不仅意味着大机遇,同样带来了大噪声。因此,任何具有价值的大数据策略都必须给出滤除噪音,同时对真正相关的数据进行有效且高效的处理和解决办法。该文分析了大数据背景下企业的数据策略和现有IT解决方案中存在的问题,提出通过优化ETL过程来增强早期数据整合的解决方案,以提高企业大数据策略的成本收益。     

数据流查询计划的并行迁移策略

数据流中的查询计划需要不断进行适应性优化,针对该特征提出一种查询计划的并行迁移策略。该策略能确保在输出过程中不丢。失元组或产生冗余元组,维持正确的元组输出时序。实验结果证明,该策略可以使查询计划平滑过渡,避免迁移过程出现无元组输出的空自期,在系统资源紧张和数据流流速过大时,维持较少的中间元组数和较大输出速率。     

大数据环境下的多源数据演化更新研究

大数据环境下的多源数据呈现出数据量大、数据种类多、数据变化快的特点,这些特点对数据更新提出了新的挑战。通过分析大数据下多源数据的特点,定义了演化数据的概念,基于此建立了大数据的动态变频遍历更新模型。首先通过抽象数据的演化方式,建立了演化数据的势与稳定性概念,从而推导出更一般的代数意义上的演化运算工具;其次通过将运算工具导入大数据数据更新的实际应用中,推导出基于概率的变频遍历与动态权值模型;最后通过实验验证了在大数据环境下动态变频遍历模型(Dynamic Frequency Conversion Traversal,DFCT) 对多源数据具有较高的更新效率。     

区域生长法图像分割的数据并行方法研究

针对基于区域增长的图像分割方法,讨论和研究了其数据并行实现方法,证明了这种数据并行方法的正确性,并简要对算法性能进行了分析。对有关结论进行了仿真验证,结果表明,这种基于区域生长法的图像分割的数据并行方法是正确且切实可行的。     

基于数据迁移策略的反压问题解决方法

流计算应用中由于上下游数据流入流出速率不匹配常常导致数据缓冲区容量不足或溢出的反压(backpressure)问题,轻则导致数据丢失、重则导致系统崩溃,亟需好的解决方法或方案.不同于向上游传递压力以解决下游反压的已有方法,本文提出了一种基于数据迁移策略的反压问题解决方法,通过其他分支的轻载节点分散处理来解决反压问题.我...     

大数据流式计算框架Storm的任务迁移策略

Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster, TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明：相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小.     

面向医疗信息的大数据安全管理策略探究

随着各种医疗信息系统的广泛应用与深入发展,医疗数据快速增长．医疗信息进八“大数据”时代,大数据的产生带来了较为突出的安全问题。针对提高医疗信息系统的大数据安全管理策略进行探讨,着重讨论了系统架构、备份机制、数据库纵深防御体系等方面的内容。     

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。     

大数据背景下海洋数据管理的挑战与对策

空天地底海洋立体观测技术的飞速发展催生了呈指数级增长的多精度、多频度、大覆盖、多模态的海洋数据。然而,目前的研究主要集中于通用大数据,针对海洋数据的专门研究仍处于起步阶段。海洋数据的时空性、多源多类性、海量性、敏感性等特性为其管理带来了新的挑战。阐述了海洋数据的特点和海洋数据管理的基本架构,探讨了海洋数据在数据存储、数据质量、数据安全等环节面临的挑战,分析了相应的对策,为海洋科学与工程技术的研究提供了重要的参考与依据。