并行海量信息处理中间件的研究与实现

数据库中间件技术已成为构建大规模海量信息处理系统的重要途径,本文研究并实现了一个并行海量数据库中间件,实现了海量数据的高性能并行加载和查询,满足TB量级的海量信息处理应用需求。     

USB海量存储设备身份认证方法的实现

在政府和企业信息网中,对人员进行身份认证和控制USB海量存储设备接入是防止信息泄露所采取的有效安全措施。分析了USB海量存储设备的描述符,提出了USB海量存储设备身份字的概念,对USB海量存储设备采用设备身份字认证,实现了控制USB海量存储设备接入主机的方法。     

海量数据处理分析

本文以海量数据为背景。研究了在海量数据情况下处理和优化海量数据的方法。结合笔者自身实际工作经验。提出了比较实用和可行的海量数据处理方法及解决方案。[编者按]     

一种OLAP海量数据载入技术的研究

在数据仓库、数据挖掘和联机分析处理系统中,海量数据的载入虽然不是时时发生,但是海量数据的载入效率直接影响着系统性能,如何高效地进行海量数据的载入十分重要.提出了两种技术,即基于UB-Tree的海量数据的初始化载入技术以及海量数据的增量载入技术,阐述了基于UB-Tree的海量数据载入的技术及其算法,提出了海量数据载入模型,建立基于UB-Tree的初始化载人,以及如何在已有的UB-Tree上做增量载入.经过性能分析,算法减少了I/O和CPU代价,为一种有效的海量数据载入方法.     

基于ILM的海量存储研究

随着存储技术的发展,海量存储已经越来越普遍.如何管理并使用好这些海量信息,成为海量存储面临的一个新的问题.本文通过数据都有自己的生命周期,引入ILM信息生命周期管理的海量存储模式,试图找寻能够解决海量存储中降低成本,保持数据完整性,提高数据使用率的一种方式.     

整体协调确保海量数据处理

随着互联网应用日益深入,信息流的迅速膨胀成为电信、金融、税务、政府、军队等高密度Web服务器环境和网络应用服务环境的焦点问题。于是,各种海量计算、海量处理、海量存储、海最通道的服务器产品相继出台,为海量数据的处理带来了各式各样的解决方案。 但海量处理服务器并不仅仅表现在存储能力的     

海量物联网数据安全处理模型研究

物联网已经成为信息技术发展的重要趋势.如何处理海量物联网数据并且确保这些海量数据的安全变得越来越重要.本文针对互联网的海量数据处理及其安全应用,提出一个海量物联网数据的安全处理模型.该模型主要由海量物联网数据采集、数据存储、基于规则的海量数据处理及其物联网数据安全管理等组成.通过该模型可以较好地实现物联网所产生的海量数据的安全传递、存储及其基于规则的处理等等,达到支撑各种应用的目的.该模型可以应用于各种基于规则的海量物联网数据监测系统如:基于物联网的湖泊水质监测系统、基于物联网的PM2.5监测系统及基于物联网的智能交通监测系统等.     

一种OLAP海量数据载入技术的研究

在数据仓库、数据挖掘和联机分析处理系统中,海量数据的载人虽然不是时时发生,但是海量数据的载人效率直接影响昔系统性能,如何高效地进行海量数据的载人十分重要。提出了两种技术,即基于UB—Tree的海量数据的初始化载入技术以及海量数据的增量载人技术,阐述了基于UB—Tree的海量数据载人的技术及其算法,提出了海量数据载人模型,建立基于UB—Tree的初始化载人,以及如何在已有的UB—Tree上做增量载人。经过性能分析,算法减少了I／O和CPU代价,为一种有效的海量数据载人方法。     

一种海量规则模式匹配方法

基于各种海量规则信息处理的需求,提出了一种海量规则模式匹配方法。设计了海量规则模式匹配方法的基本算法步骤,研究了各种规则节点的匹配处理方法。最后总结了海量规则模式匹配方法的特点。海量规则模式匹配算法部分拓展了现有规则匹配处理模式,提出了新的匹配处理方法。对比结果表明,该方法具有较好的效果。     

海量空间信息隐形搜索的研究

提出了利用网格技术实现分布式海量空间信息搜索的方法，基于网格开发工具ProActive开发了海量空间信息网格调度服务。利用鼠标屏幕取词、中文地名识别和基于网格的海量空间信息搜索技术，设计并实现了一个海量空间信息隐形搜索引擎，实现了即时、隐性、动态获取中国300个城市的空间信息。为海量空间信息服务提供了一种全新的技术。     

基于图书馆的海量数据性能优化

随着图书馆数据大规模的增长,海量数据的组织、查询和存取日益成为应用性能的关键。本文针对图书馆海量数据的情况,从几个方面进行分析研究,重点对海量数据进行查询优化研究,探寻一些能够优化海量数据性能的方法。     

Hadoop的HDFS大数据存储技术

Hadoop的HDFS是一个部署在廉价硬件设备上使用的分布式文件系统,具有高容错性,适合海量数据集的应用程序,可用来存储海量数据,为应用程序提供高吞吐量。HDFS开放了一些可移植操作系统接口,文件系统中数据的访问采用流的方式,在时下企业数据急剧膨胀,海量存储挑战严峻的情况下,提供了一个好的技术方法,海量数据的存储需求就是时下流行的云存储的概念,以存储海量视频数据为实例,介绍HDFS存储海量的过程。     

基于MapReduce框架的海量数据相似性连接研究进展

海量数据相似性连接作为海量数据处理的基本操作,在文本聚类、剽窃检测、实体解析等研究领域具有重要作用.另一方面,MapReduce编程模型因为具有良好的可扩放性、容错性和易用性,被广泛地应用于海量数据处理.因此,基于MapReduce框架的海量数据相似性连接查询技术成为海量数据处理领域的热点问题之一.首先,概括了海量数据固有特点和MapReduce编程框架的缺陷给现有相似性连接查询技术带来的巨大挑战;其次,提出了海量数据相似性连接的定义,按3种不同的分类标准对其进行了分类;接着,重点分析了集合、字符串和向量数据类型的海量相似性连接查询最新技术,并从效率和适用范围等方面分别对这些技术进行了比较;最后,讨论了海量数据相似性连接查询技术亟待解决的关键问题,并提出了一些有前景的解决方案.     

基于数据划分的海量数据查询优化研究与应用

针对海量数据查询效率低的问题,在比较和分析了多种海量数据查询优化解决方案的优缺点后,提出了一种基于数据划分的海量数据查询性能优化方法.该方法利用多数据库处理、表分区、分表技术将数据在三个维度上将数据划分存储,减少了海量数据的查询规模.经过实验该方法提高了大规模海量数据的查询效率.     

基于物联网海量数据处理的数据库技术分析与研究

随着物联网发展速度的不断加快,对海量数据处理技术也提出了更高的要求。物联网数据具有实时性、海量性与多态性、异构性等特点,因此其海量数据处理技术也具有一定的特殊性。针对物联网海量数据的新需求,本文首先对物联网数据海量性、异构性、数据多维性与数据关联性、实时性与动态化等特点进行了分析,在此基础上主要分析与研究了物联网海量数据处理的数据库技术,包括分布式内存数据库技术与分布式实时数据库技术两种。     

海量数据图像快视系统的软件开发设计

为了实现卫星监控、海洋探测等领域海量数据的实时采集、显示、存储和分析,该文设计了一个海量数据图像快视系统,系统综合运用海量数据分块、图像金字塔、图像高速缓冲和磁盘阵列等技术来满足用户对海量数据的实时调度、显示、存储的要求。实际应用证明系统的实现极大提高了海量数据处理的效率,具有很高的军事和工业应用价值。     

基于Web集群的海量影像显示技术研究

针对目前Web显示技术只允许单个用户通过远程视频会议和桌面镜像与单个异地用户协同工作,不能满足多用户海量信息共享显示的要求,不支持海量影像超高分辨显示需要等问题.本文根据多用户海量信息共享显示的特点以及显示的难点,研究了基于Web集群海量影像多异地用户在拼接显示屏上超高分辨显示等技术.实验结果表明,提出的Web集群并行拼接海量影像显示技术是有效的,能够同时为多个异地用户的海量影像在拼接显示屏上超高分辨显示提供可行的解决方案.     

基于Hadoop的海量农业数据资源管理平台

使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。     

基于冲突博弈算法的海量信息智能分类

在对海量信息进行分类的过程中,常通过信息文本模型及相似度来完成分类,无法完全表示信息属性,导致信息分类时出现冲突。提出基于冲突博弈的海量信息智能分类方法,对信息特征进行提取;在此基础上,根据海量信息的正交属性确定海量信息的分类策略,引入纳什均衡策略和帕累托最优策略,求取海量信息分类问题的最优解,完善分类策略;利用冲突信息检测方法判断冲突信息检测分类是否存在冲突,若存在冲突,则转化为约束满足问题,通过分析分类问题的约束变量确定分类中的操作冲突内容,建立海量信息分类中冲突判别的表达式,实现海量信息的智能分类研究。实验结果表明,采用所提方法进行海量信息的智能分类时,分类效果较好,过程较为简单,对计算机网络运行的影响较小,为冲突博弈算法在海量信息分配中的实际应用提供了借鉴。     

大数据下不完备信息系统近似空间的并行算法

上、下近似空间是粗糙理论的重要概念,解决上、下近似问题是海量数据挖掘的基础。经典的近似空间算法不适合处理海量数据,更不适合处理带缺失信息的海量数据问题。为此,通过深度分析带缺失信息的海量数据特征,结合MapReduce编程模型,提出了基于MapReduce框架下近似空间的并行算法,以处理带缺失信息的海量数据,实验结果表明了该并行算法的有效性。