海量数据搜索

目前,信息化建设存在的问题是:数据信息利用不充分,大量的数据仅以物理状态被简单地存储着.同时由于无法实现海量数据的高效搜索,使得这些数据无法为企业的发展提供决策支持.如何突破海量数据存储和搜索的瓶颈,让数据为企业决策提供支持已经成为信息化建设的重点.通过数据"变革"使得数据能够更合理的存储、更高效的搜索,智能地使用企业的数据财产来制定出更好的商务决策,以提高企业的竞争力.     

用搜索管理海量数据

“上次出去玩的照片放到哪里去了,怎么找不到呢？”如今硬盘大了,文件一多就像迷宫,完全记不起来要找的文件放在哪里,即使想要重新整理,也是有心无力,因为文件分散在不同的文件夹,到底藏在哪儿？自己也不知道。     

一种异构海量数据搜索方案

随着海量数据时代的到来,如何在异构海量数据中进行数据搜索成为一个迫切的问题。本文分析搜索技术的基本原理,比较现有的异构数据搜索方案,在此基础上,通过引入元数据技术,提出一种基于统一索引的异构海量数据搜索解决方案,并详叙基于开源技术的实现。     

面向RFID海量数据的数据挖掘研究

自20世纪90年代以来,射频识别技术RFID开始在各种领域得到应用。近几年,RFID凭借其方便快捷、使用寿命长等优点,在各行业的使用范围迅速扩大,物联网的提出更是加速了RFID的发展,RFID已经成为了20世纪最重要的技术之一。面对RFID产生的海量数据,传统的数据挖掘方式已不再满足信息获取的需要。该文简单介绍了RFID系统,并通过分析RFID数据的特点,对RFID海量数据挖掘做了一些探讨。     

探析云计算的海量数据存储模型

随着互联网技术的飞速发展,产生的数据越来越多,这就对数据存储提出了更高的要求。在云计算技术的基础上,采用虚拟化技术和Hadoop技术,构建基于云计算的海量数据存储模型,从而将海量数据设置在Hadoop平台上,利用Mapreduce进行处理,并将海量数据存储在虚拟资源池中,从而有效地提高数据存储效率。     

高性能海量数据存储模拟器设计

介绍了一种高速海量数据存储系统的模拟器,即基于NAND Flash阵列的数据存储器模型,该模型采用多通道和多Interleave管理模式,形成以数据存储、传输为核心的数据存储SoC平台。主要完成对FTL算法和系统结构的有效性能测试,目前该模型具有一定的有效性,速度快,稳定性高。     

基于云计算的图书馆海量数据存储研究

基于云计算的数据存储技术改变了现代图书馆的管理模式,也更新了传统的信息服务方式。现代数字图书馆系统的构建将沿着网络信息服务产业的发展方向搭设,对以往的数据存储模式形成较大的冲击。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。     

多媒体电子文件海量数据的分级存储

多媒体电子文件属于海量数据.为了保证对多媒体电子文件的有效存储及降低存储成本,一般需进行分级存储.本文从海量数据的分级存储,来探讨多媒体电子文件的分级存储方式.     

基于云计算的图书馆海量数据存储研究

基于云计算的数据存储技术改变了现代图书馆的管理模式,也更新了传统的信息服务方式。现代数字图书馆系统的构建将沿着网络信息服务产业的发展方向搭设,对以往的数据存储模式形成较大的冲击。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。     

海量结构化数据存储检索系统

Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.     

海量数据快速查找算法及优化

介绍了在信息时代的背景下,海量数据快速查找算法的应用场景以及几种高效的查找算法,包括哈希、倒排索引、位图法,并且随后给出了多级缓存和分级索引的优化方法。     

数据挖掘模型的比较研究

比较了SQL Server2000和Oracle9i数据仓库的数据挖掘技术，分析其数据挖掘模型的异同点和优劣性，并针对其数据挖掘算法上的不足提出改进数据挖掘模型的方法，利用进化计算实现数据挖掘的进化学习机制，提高算法的效率，最优解求解能力，增强数据挖掘系统的鲁棒性和安全性，还讨论了结合两种技术优势实现数据挖掘模型的方法，数据挖掘是网络数据库以及数据仓库的最新功能，与机器学习机制有关。SQL Server 2000和Oracle9i具有数据挖掘的功能，但是由于其数据挖掘算法简单，数据挖掘的现有学习能力和功能发展存在瓶颈。     

海量数据存储管理技术研究

海量数据存储管理在各行业的信息化过程中越来越重要,受到了广泛的关注.综述了海量存储管理技术的研究及应用现状,介绍了一些关键技术,包括数据存储架构,分级存储,数据自动化归档,业务流程控制,并发设计,数据服务等,最后,结合当前海量数据存储管理技术,指出了海量数据存储管理面临的一些新的发展方向.     

数据仓库解决方案在电子商务中的应用

利用数据仓库技术,把电子商务网站中用户的点击流和Web日志文件作为基本数据存储,并通过各种高效的挖掘算法,提取用户数据模型,根据模型可以有效地分析其中的用户行为,并利用这些知识,预测相关用户的行为,可以为企业商务人员拓展其市场、改善营销策略,寻找精准数据,降低生产成本,规范企业生产流程等提供更加有效的参考价值。     

一种OLAP海量数据载入技术的研究

在数据仓库、数据挖掘和联机分析处理系统中,海量数据的载人虽然不是时时发生,但是海量数据的载人效率直接影响昔系统性能,如何高效地进行海量数据的载人十分重要。提出了两种技术,即基于UB—Tree的海量数据的初始化载入技术以及海量数据的增量载人技术,阐述了基于UB—Tree的海量数据载人的技术及其算法,提出了海量数据载人模型,建立基于UB—Tree的初始化载人,以及如何在已有的UB—Tree上做增量载人。经过性能分析,算法减少了I／O和CPU代价,为一种有效的海量数据载人方法。     

一种OLAP海量数据载入技术的研究

在数据仓库、数据挖掘和联机分析处理系统中,海量数据的载入虽然不是时时发生,但是海量数据的载入效率直接影响着系统性能,如何高效地进行海量数据的载入十分重要.提出了两种技术,即基于UB-Tree的海量数据的初始化载入技术以及海量数据的增量载入技术,阐述了基于UB-Tree的海量数据载入的技术及其算法,提出了海量数据载入模型,建立基于UB-Tree的初始化载人,以及如何在已有的UB-Tree上做增量载入.经过性能分析,算法减少了I/O和CPU代价,为一种有效的海量数据载入方法.     

道路运政管理系统中商务智能的应用研究

道路运政管理经过多年的发展,已经积累了大量的日常业务数据,但是运输管理部门对这些数据缺乏有效管理和利用,造成数据孤立和数据浪费。文中以提高信息使用价值为目的,运用软件工程的思想,采用工程化方法,利用商务智能技术对现有的数据资源进行整合和分析,将数据转化为有价值的信息,最终为道路运政主管部门提供决策支持,为道路运政管理争取更大的社会效益和经济效益,构建出道路运政系统的商务智能软件体系结构,最终给出了基于商务智能技术的运政系统的功能模块及后续的研究方向。     

政府智能系统体系结构

提出了政府智能的概念,政府智能是将政府拥有的数据转化为知识,帮助政府决策者做出明智决策的工具.从技术层面而言,是数据仓库、知识系统、OLAP和数据挖掘等技术的综合运用.政府智能系统从体系上可划分为4个层面,即数据管理、数据分析、知识发现和知识融合.从功能实现上,通过元数据的统一管理,也可分为4个层次即数据获取、数据存储、数据展现和数据源.可以运用J2EE的MVC等技术建立粗粒度的数据仓库和数据集市、知识系统库、商业智能算法集,构建出政府智能平台.     

基于PMML的数据挖掘模型管理

本文在引出商务智能应用领域中数据挖掘模型管理的问题之后,提出了SnartBk商务智能平台的总体架构,阐述了基于PMML的数据挖掘模型管理方案,并以SmartBiz系统中的实际应用为例,介绍了PMML和XML数据库结合的具体实现方案。     

数据挖掘在银行CRM中的应用研究

该文阐述了数据挖掘和CRM的概念,并对在银行CRM中如何使用数据挖掘技术进行了研究,并给出了银行CRM中B1分析的一个简单的应用方式。