网络环境下海量影像数据的多分辨率传输

在基于网络的空间信息服务领域中,由于多用户访问下网络带宽的限制以及影像数据的海量特征,海量影像数据的多分辨率传输成为空间信息服务应用的瓶颈。该文在探讨基于四叉树的海量影像数据组织的基础上,设计一个二分树模型的影像数据多分辨率传输方法,通过实验对该方法进行了验证。     

数字地球系统中海量数据存储与传输方案研究

文中目的是设计一种基于四叉树索引的海量数据存储和传输方案,并将其应用在自主开发的数字地球系统中。使用四叉树索引完成海量影像与高程数据的存储方案设计,并在此基础上设计了一种基于海量数据的传输方案。该方案在数字地球系统的展示效果表明,这种基于四叉树索引技术的海量数据存储技术以及网络传输方案,能够满足影像、高程数据实时可视化的需要,并且利于确定视野可见范围内的地图块位置,利用截锥裁剪技术减少系统渲染的数据量,提高系统的执行效率。该方案在数字地球系统中发挥了重要作用,有一定的实用价值。     

基于海量网络数据的可视化服务平台的研究

为了保证网络以最优状态运行,更好承栽各种应用服务,需要对网络实时运行情况进行可视化的监控,以定位发现性能问题的根源。基于海量网络数据的可视化服务平台,利用云计算强大的储存和计算能力,基于SaaS模式服务,完成海量数据的挖掘和综合分析,以企业为主体、以市场为导向、产学研结合,是互联网时代,以高新科技实现节能减排、能源合理利用的创新,充分实现了"资源共享、低投入、低消耗、低排放和高效率",提供构建各种大型企业网络的数据挖掘应用常用的功能,值得大力发展和推广。     

面向海量数据的数据一致性研究

复制是实现海量数据管理的关键技术之一,多副本之间的数据一致性维护是提高分布式系统的容错能力与性能的重要保证。强一致性确保并发的修改操作不会发生冲突,但是限制了系统的可用性、连通性以及副本数量;弱一致性确保副本的最终一致,提高了系统的容错能力。本文从已有的一致性维护方法出发,结合海量数据的特点,对一致性维护过程中所涉及的更新发布、更新传播方式、更新传播内容以及更新冲突解决等几个方面进行了分析,提出了相应的解决方法。     

海量网络数据智能分级存储技术研究

随着网络的普及和应用,诞生了海量的网络数据,因此针对海量网络数据实施有效的存储,可以提高数据的访问效率和安全性。文章详细地分析了海量网络数据智能分级存储现状,提出了一种智能分级存储系统,并且研究了智能分级存储的数据分类技术、数据放置技术、数据迁移技术等关键技术。     

海量数据查询优化算法的研究

当前,越来越多的业务部门都需要操作海量数据,如规划部门的规划数据,水利部门的水文、水利数据,气象部门的气象数据,这些部门处理的数据量通常都非常大。它包括各种空间数据、报表统计数据、文字、声音、图像、超文本等各种环境和文化数据信息。我们需要从大规模的、没有关系的数据中,在存储、管理、处理、优化等各个环节中注重效率,并提取出所需要的信息。海量数据存储管理在各行业的信息化过程中很重要,受到广泛的关注。本文综述了海量存储管理技术的研究及应用现状,以及结合大型收费系统同,介绍了一些关键的优化技术,包括数据库的存储,数据的管理,SQL语句,页面分割等,最后,结合当前海量数据存储管理技术,指出了海量数据存储管理面临的一些新的发展方向。     

面向RFID海量数据的数据挖掘研究

自20世纪90年代以来,射频识别技术RFID开始在各种领域得到应用。近几年,RFID凭借其方便快捷、使用寿命长等优点,在各行业的使用范围迅速扩大,物联网的提出更是加速了RFID的发展,RFID已经成为了20世纪最重要的技术之一。面对RFID产生的海量数据,传统的数据挖掘方式已不再满足信息获取的需要。该文简单介绍了RFID系统,并通过分析RFID数据的特点,对RFID海量数据挖掘做了一些探讨。     

探析云计算的海量数据存储模型

随着互联网技术的飞速发展,产生的数据越来越多,这就对数据存储提出了更高的要求。在云计算技术的基础上,采用虚拟化技术和Hadoop技术,构建基于云计算的海量数据存储模型,从而将海量数据设置在Hadoop平台上,利用Mapreduce进行处理,并将海量数据存储在虚拟资源池中,从而有效地提高数据存储效率。     

基于贝叶斯网络的海量数据多维分类学习方法研究

摘 要: 多维分类根据数据实例的特征向量将数据实例在多个维度上进行分类,具有广泛的应用前景。在多维分类算法的模型学习过程中,海量的训练数据使得准确的分类算法需要很长的模型训练时间。为了提高多维分类的执行效率,同时保持高的预测准确性,本文提出了一种基于贝叶斯网络的多维分类学习方法。首先,将多维分类问题描述为条件概率分布问题。其次,根据类别向量之间的依赖关系建立了条件树贝叶斯网络模型。最后,根据训练数据集对条件树贝叶斯网络模型的结构和参数进行学习,并提出了一种多维分类预测算法。大量的真实数据集实验表明,本文提出的方法与当前最好的多维分类算法MMOC相比,在保持高准确性的同时将模型的训练时间降低了两个数量级。因此,本文提出的方法更适用于海量数据的多维分类应用中。     

基于存储区域网络的海量数据灾备系统设计

伴随着高速网络传输技术的发展,存储区域网络逐渐兴起并得到广泛应用。存储区域网络具有专用的存储设备、连接方式和网络协议,为海量数据安全存储提供了解决方案。本文介绍了基于存储区域网络的海量数据容灾和备份系统的设计与实现方法,探讨了如何利用存储区域网络为企业关键业务提供海量数据信息管理服务。     

基于Hadoop框架的海量数据运营系统研究

本文基于Hadoop框架设计了海量数据运营系统。首先简要介绍Hadoop框架,其次设计系统整体架构,再次详细分析系统关键技术,然后详细设计数据流程、功能模块、数据库结构,最后进行系统测试与实现。结果表明,此系统可兼顾潜在与既有电力客户,实时更新动态数据,且可通过大数据思维充分挖掘企业数据资产价值,为企业作出正确决策奠定坚实基础,以此推动企业实现长远健康发展。     

基于云计算的海量数据挖掘研究

为了实现高效率低成本的海量数据挖掘,为企业决策提供参考,提出了基于云计算的海量数据挖掘模型。该模型中海量数据的处理和存储都是在云计算环境中进行的,首先对海量的数据进行一定的预处理,形成结构一致的数据后,应用云计算平台上的MapReduce模型进行高效的并行数据处理,最后得到所需的数据挖掘结果。基于云计算的海量数据挖掘的效率明显高于传统的数据挖掘,并且数据挖掘结果的准确性有了一定的提高,而且随着数据量的增多,该模型的优势会愈发明显。     

基于图书馆的海量数据性能优化

随着图书馆数据大规模的增长,海量数据的组织、查询和存取日益成为应用性能的关键。本文针对图书馆海量数据的情况,从几个方面进行分析研究,重点对海量数据进行查询优化研究,探寻一些能够优化海量数据性能的方法。     

基于云计算的图书馆海量数据存储研究

基于云计算的数据存储技术改变了现代图书馆的管理模式,也更新了传统的信息服务方式。现代数字图书馆系统的构建将沿着网络信息服务产业的发展方向搭设,对以往的数据存储模式形成较大的冲击。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。     

基于云计算的图书馆海量数据存储研究

基于云计算的数据存储技术改变了现代图书馆的管理模式,也更新了传统的信息服务方式。现代数字图书馆系统的构建将沿着网络信息服务产业的发展方向搭设,对以往的数据存储模式形成较大的冲击。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。     

基于海量数据的多模式匹配算法研究

传统模式匹配算法在面对海量数据和海量关键字时效率都会大幅降低,通过构造关键字状态树,使完成匹配的时间跟关键字的规模无关,在文本内容信息分析客户特征时的速度提升了十万倍.应用该算法开发的触发式营销引擎,通过在特征库获取客户的相关特征和预设的营销激励策略,在适当的时间向适当的客户自动发起营销行为.     

基于Hadoop的海量数据管理系统

飞机系统日趋复杂化,使得需要处理的飞行数据规模越来越大,对数据读取速度的要求越来越高。本文设计了一个海量数据管理系统,该系统基于Hadoop分布式平台,采用的Linux集群技术使存储容量易于扩充,分布式计算框架可以达到高速处理数据的要求。本系统具有数据规模易扩展、处理速度快、安全性高、容易实现等特点,能够较好地满足飞行数据存储管理的要求。     

基于人工智能技术的海量数据自动检索系统设计

常规的海量数据自动检索系统功能模块多设定为独立结构,自动检索的覆盖范围较小,导致最终得出的自动检索的F1值小于0.5。针对此问题,设计基于人工智能技术的海量数据自动检索系统。根据当前系统构建需求,构建现场可编程逻辑门阵列（Field Programmable Gate Array,FPGA）数据采集模块,接入Spartan-6 FPGA逻辑主控装置,完成系统硬件设计;采用多层级的方式,扩大自动检索的覆盖范围,设计多层级人工智能快速分级索引功能模块,并关联人工智能分类数据库,完成系统软件设计。测试结果表明,在3个测试阶段内,针对选定的5个测试周期,该系统最终得出的自动检索的F1值均可超过0.5。     

海量数据快速批量处理的研究与实现

对海量数据快速大批量抽取和大批量处理进行研究,给出根据不同要求指定的具有一定共性特征的数据集进行交互式批量处理和批量加工的实现方法。     

WebGIS海量数据分卷压缩传输方法的设计与实现

针对WebGIS海量数据传输瓶颈问题和普通压缩传输方案的不足,提出分卷压缩传输解决方案,并设计、实现和实验分析了一组分卷压缩传输组件。实验结果表明,采用等量并行分卷压缩传输组件,可大幅提高数据的传输效率和显著缩短传输时间,满足了企业级交通GIS（GIS-T）高效传输海量数据的要求。