海量数据处理分析

本文以海量数据为背景。研究了在海量数据情况下处理和优化海量数据的方法。结合笔者自身实际工作经验。提出了比较实用和可行的海量数据处理方法及解决方案。[编者按]     

基于多维标度法的专利文本可视化聚类研究*

为了从当前海量的专利文本信息资源中迅速准确地获取所需的信息并将其以可视化的形式展现出来,通过研究文本挖掘相关理论和关键技术,结合专利文本的特征及现有的分析方法,提出一种基于多维标度法的专利文本可视化聚类方法,并结合实际进行了相关分析讨论。实验结果表明,该方法较好地展现了当前专利技术领域的应用主题分布状态及其关联图谱,可为相关部门的管理决策和技术创新提供有意义的参考和支持。     

实现海量信息自动录入

数字图书馆建设过程中的一个突出难题。就是对图书,文献等海量信息资料的数字化。国家知识产权出版社在信息资料数字化过程中,通过运用“汉王 OCR 录入工厂软件系统”解决了大量专利文献的录入。国家知识产权出版社每年要出版百余种知识产权、社会科学、自然科学方面的图书、电子出版物和提供专利文献的网上查询与检索。由于专利文献不同干一般的普通文献,它涉及各个学科(如:化学\生物\物理等)的专利申请文件,其中包括化学式,分子式等专业符号和图表。而且,它还要求在版面还原时对版面信息做出标识,以支持 XML 格式的还原输出。国家知识产权出版社选用了汉王科技公司开发的“汉王 OCR 录入工厂软件系统”,它是一个包括外围管理功能在内的一整套海量文字录入解决方案(其网络结构如图1所示)。     

基于数据划分的海量数据查询优化研究与应用

针对海量数据查询效率低的问题,在比较和分析了多种海量数据查询优化解决方案的优缺点后,提出了一种基于数据划分的海量数据查询性能优化方法.该方法利用多数据库处理、表分区、分表技术将数据在三个维度上将数据划分存储,减少了海量数据的查询规模.经过实验该方法提高了大规模海量数据的查询效率.     

基于SVM-INE的企业专利地图应用方案设计及关键技术研究

本文提出以SVM-INE为基础构建专利相关模型的企业专利地图应用解决方案,阐述三个关键问题的解决思路,并针对方案中的SVM-INE算法和专利地图生成方法做了技术性研究。     

一种从组织业务数据中获取软件需求的方法

针对隐藏于组织业务海量数据中的隐性软件需求获取提出一种方法。该方法的基本思想是：组织业务海量数据中隐含软件需求,它是以隐性知识形式存在于海量数据中的,隐性知识利用的解决方案就是组织及利益相关者对待开发软件系统的要求（软件需求）。首先,构建一个完整的、无冲突的、正确的待开发软件系统目标及其关系模型,并在待开发系统目标指导下,利用数据挖掘技术对数据进行挖掘,从中发现隐性知识;然后,识别知识的有用性和可用性;最后为可用性知识的利用提供解决方案。进而获取隐藏于大量数据中的隐性软件需求．     

RepliStor 5.2开创数据同步新篇章

RepliStor是EMC公司LEGATO软件部的跨广域网、局域网的海量数据迁移解决方案，它采用获得美国专利保护的实时、异步、多点数据复制技术。该专利技术实现将客户的关键业务数据如数据库文件、文档系统、计费系统数据通过局域网或广域网迁移到另外一处或多处数据中心，从而实现数据级别高可     

基于存储区域网络的海量数据灾备系统设计

伴随着高速网络传输技术的发展,存储区域网络逐渐兴起并得到广泛应用。存储区域网络具有专用的存储设备、连接方式和网络协议,为海量数据安全存储提供了解决方案。本文介绍了基于存储区域网络的海量数据容灾和备份系统的设计与实现方法,探讨了如何利用存储区域网络为企业关键业务提供海量数据信息管理服务。     

面向海量数据统计分析查询的中间层语义缓存

海量数据库应用系统中对统计分析查询进行优化,缩短查询响应时间是系统性能提高的关键。中间层语义缓存提供了一种优化海量数据统计分析性能的途径。文章通过对中间层语义缓存的研究,提出了一个适合海量数据统计分析的中间层语义缓存解决方案。     

海量信息存储测评技术研究与服务平台建设

信息技术飞速发展,作为国家战略型新兴产业的云计算、物联网、三网融合等新一代信息技术已得到广泛应用,海量信息和用户出现爆炸式增长。信息量和用户量的剧增导致信息存储技术面临多种难题,如性能低、扩展性差、可靠性不高、数据可用性差、功耗巨大、兼容性差、海量信息管理困难、产品和系统评估困难等。为此,在国家863计划重大专项课题的支持下,建立了海量信息存储测评公共服务平台,制定了全面的测评指标体系和测评方案,满足从多个维度对海量信息存储系统进行综合测评,为用户解决海量信息存储问题提供了解决方案。     

海量数据分布式存储与检索优化分析研究

本文主要是针对关系型数据库的信息管理系统在处理海量数据的存储与检索方面的一些可选方案进行探讨与分析,并结合实际应用,分别从分布式数据存储、动态表、索引、查询语句优化等4个方面对海量数据的存储与检索给出可行的优化配置解决方案。     

基于本体的专利数据源集成的研究及应用

分析了异构专利数据源集成中存在的困难,针对不同专利数据源间存在的分布性、自治性、异构性等问题,提出了一个基于混合本体的专利数据源集成解决方案.该方案采用局部本体描述单个专利数据源中的语义,通过本体合并构建全局本体实现多个专利数据源问的语义集成,定义全局本体与局部本体之间的映射关系解决多个异构数据源集成中存在的语义异构问题.使用该方案,用户可从集成的专利数据源中获取正确的查询结果,有效地解决了"信息孤岛"问题.     

海量存储系统的可扩展性

不断增长的处理海量信息的需求对传统存储系统提出了挑战,尤其是在该文着重讨论的海量存储系统的可扩展性方面。该文从三个层次来考察存储系统,分析了传统存储系统在可扩展性上存在的缺陷,并给出了解决方案。此方案的关键在于使用了虚拟存储的概念和利用虚拟存储的可组合性来实现系统的扩展。     

整体协调确保海量数据处理

随着互联网应用日益深入,信息流的迅速膨胀成为电信、金融、税务、政府、军队等高密度Web服务器环境和网络应用服务环境的焦点问题。于是,各种海量计算、海量处理、海量存储、海最通道的服务器产品相继出台,为海量数据的处理带来了各式各样的解决方案。 但海量处理服务器并不仅仅表现在存储能力的     

一种异构海量数据搜索方案

随着海量数据时代的到来,如何在异构海量数据中进行数据搜索成为一个迫切的问题。本文分析搜索技术的基本原理,比较现有的异构数据搜索方案,在此基础上,通过引入元数据技术,提出一种基于统一索引的异构海量数据搜索解决方案,并详叙基于开源技术的实现。     

分层网格划分实现海量地图标记物聚散可视化

在传统的地图可视化中,面对海量地图标记物展示会采用点聚合的方式,但是各类点聚合算法都是运行时计算,没有分层机制,在海量点的散开展示时,对于地图标记物堆叠没有过滤机制。针对这一问题,提出了分层的网格划分实现海量地图标记物聚散一体化解决方案。该方法对分层网格中心点构建K-D树索引,对海量点构建四叉树索引,通过索引和存储技术,实现了聚合的高效查询。对海量点散开时增加网格过滤,消除堆叠问题。在实验案例数据集上进行对比,结果表明,与传统的点聚合方案相比,在数据量大的情况下,计算性能显著提高,对海量标记物散开展示增加过滤算法,有效提升了用户体验。     

基于MapReduce框架的海量数据相似性连接研究进展

海量数据相似性连接作为海量数据处理的基本操作,在文本聚类、剽窃检测、实体解析等研究领域具有重要作用.另一方面,MapReduce编程模型因为具有良好的可扩放性、容错性和易用性,被广泛地应用于海量数据处理.因此,基于MapReduce框架的海量数据相似性连接查询技术成为海量数据处理领域的热点问题之一.首先,概括了海量数据固有特点和MapReduce编程框架的缺陷给现有相似性连接查询技术带来的巨大挑战;其次,提出了海量数据相似性连接的定义,按3种不同的分类标准对其进行了分类;接着,重点分析了集合、字符串和向量数据类型的海量相似性连接查询最新技术,并从效率和适用范围等方面分别对这些技术进行了比较;最后,讨论了海量数据相似性连接查询技术亟待解决的关键问题,并提出了一些有前景的解决方案.     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

卡巴斯基再获美软件运行监控新专利

近日,领先的信息安全解决方案提供商——卡巴斯基实验室宣布,卡巴斯基实验室一项技术在经过四年的测试和检验后,终于被授予美国专利。这项专利为一种软件运行性能监控系统和方法,专利号为№8117602。此类软件运行监控还被称     

Oracle 10g数据库海量数据分页查询优化

Oracle数据库中海量数据分页查询效率直接关系到应用系统的执行效率。介绍Oracle 10g数据库中一种优化的海量数据分页查询解决方案,分析了传统分页查询技术的不足,将数据库优化策略、SQL语句优化、游标变量、批绑定、动态SQL等多种技术融为一体,并提供一个可以共享的、优化的存储过程,提高了海量数据的分页查询效率。