基于ElasticSearch的元数据搜索与共享平台

随着水利行业信息化的发展,针对海量、多源、异构数据的共享与发现成为行业研究的热点。本文设计与实现一种基于Elastic Search的水利元数据搜索与共享平台,提出针对水利异构数据的解决方案并对海量数据建立索引,利用多租户访问控制策略,保证用户索引数据的一致性与安全性。通过Rest服务对索引资源进行封装,提供搜索与多粒度的共享方式。应用表明,平台能够保证用户准确高效地获得水利行业数据,节约了水利单位构建搜索系统的成本。     

电子商务中远程异构容灾实现

电子商务中远程异构容灾实现分析比较了现有几种主流数据容灾技术方案,针对海量数据库容灾的需求指出了它们的不足,并对海量数据库系统异地、异构容灾的相关技术进行了深入研究。提出了一种基于分布对象中间件的远程数据复制技术策略,该策略既能满足海量数据规模又解决了数据库系统异构问题。     

基于中间模型的异构数据资源语义映射方法

异构数据资源的语义映射,是大数据时代数据集成与共享研究中的一个关键问题。围绕语义搜索的应用需求,针对海量异构数据资源到领域知识本体的语义映射问题,提出基于中间模型的映射算法,通过模型解析转换、映射规则设计、映射策略选择、映射关系表达等最终获得二者的映射关系。系统面向用户提供基于知识本体的统一视图,屏蔽了底层数据资源的异构性,保证了用户对异构数据资源的透明访问和准确理解,提供了一种灵活、通用、可扩展的语义集成机制,为准确高效的语义搜索应用提供支持。     

基于物联网海量数据处理的数据库技术分析与研究

物联网的快速发展,对海量数据处理技术要求越来越高。针对物联网数据的实时性、海量性、多态与异构性特征,文章通过对基于分布式内存数据库的数据库技术和基于云计算技术的分布式实时数据库技术的分析研究,认为以上两种数据库技术可以适合并满足物联网海量数据的处理需求。     

分布式海量数据并行传输消息中间件设计与实现

本文提出一种分布式海量数据并行传输消息中间件设计与实现技术,系统采用了计算机集群及并行处理技术、基于数据库日更新技术的数据同步传输机制、异构传输数据库配置与传榆数据配置技术及传输过程设置及传输过程监控技术,实现大型网络系统中异构数据库信息系统问海量数据信息并行交换,多级网络系统间数据信息并行交换.     

基于物联网海量数据处理的数据库技术分析与研究

随着物联网发展速度的不断加快,对海量数据处理技术也提出了更高的要求。物联网数据具有实时性、海量性与多态性、异构性等特点,因此其海量数据处理技术也具有一定的特殊性。针对物联网海量数据的新需求,本文首先对物联网数据海量性、异构性、数据多维性与数据关联性、实时性与动态化等特点进行了分析,在此基础上主要分析与研究了物联网海量数据处理的数据库技术,包括分布式内存数据库技术与分布式实时数据库技术两种。     

基于Oracle的多权限多格式文档组织与检索系统

海量异构文档的快速检索和精细颗粒度权限控制的文档存取是面向行业应用的文档管理系统中的关键。在Oracle Text全文检索技术的基础上,基于B/S架构设计并实现了一个密级文档组织与检索系统,实现了对海量异构文档数据的快速检索,并实现了文档数据的逐文档按角色分等级权限管理。     

基于iMeMex数据模型的数据空间索引方法研究

目前,个人和组织的信息呈现急剧增长趋势,且非结构化数据所占比重在不断增加,这些属于某个主体的海量、分布、异构和共存的数据构成了一个异构数据空间,如何为用户提供高效、便捷和多样化的搜索查询服务是数据空间面临的巨大挑战,为数据空间中异构数据构建高效的索引方法是解决这一问题的基础。对iMeMex数据模型的特点和数据空间中查询方法进行了分析,在此基础上通过扩展倒排列表方法,提出了一种基于iMeMex数据模型的索引方法,来提高对数据空间中异构数据的搜索查询效率。新的索引方法通过扩展倒排列表的关键字列和链表节点信息索引资源视图,来支持和提高关键字查询、谓词查询和路径查询的处理效率。实验结果表明,该索引方法能够有效、可行地解决数据空间中异构数据索引和查询效率问题。     

基于语义的网络大数据组织与搜索

随着信息技术的飞速发展,网络空间中出现海量异构的数据资源,网络大数据逐渐引起了人们的关注.从网络大数据中发现并获取用户所需的数据资源,需要对网络大数据进行有效地组织管理并进行基于数据语义的相似搜索.为此,需要从网络数据资源中抽取其特征/属性构造高维语义空间,并将数据资源及用户查询信息抽象为语义空间中的特征向量或高维点,进而通过比较特征向量间夹角余弦值或高维点之间的距离来衡量语义相似性.高维索引技术可以对高维语义空间中的数据资源进行有效组织管理,实现基于数据语义的相似性搜索;而降维技术可以消除语义空间维数过高所引发的“维灾”影响.文中对现有的高维数据索引及降维技术进行了系统的综述,然后介绍了现有的基于分布式技术实现高维数据语义相似性搜索的研究工作,最后并展望了未来工作.     

基于时序挖掘的异构网络多源目标数据融合方法研究

异构网络存在多源目标数据,因此需要融合其中的重复性数据、同属性数据,但由于传统方法构建的模型跟踪效果较差,导致挖掘技术遗失了部分数据特征,影响多源目标数据融合,因此研究基于时序挖掘的异构网络多源目标数据融合方法.该方法利用构建的跟踪模型,搜索异构网络全局多源目标;并对搜索结果进行标准化处理后,规约标准数据;采用时序挖掘...     

改进的云存储系统数据分布策略

针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足,提出一种高效的数据分布策略。一方面,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点进行存储资源分配;另一方面,该策略采用了一种基于节点容量感知的负载均衡方法,有效地优化了系统性能,提高了系统可扩展性。通过实验分析,不管在同构还是异构的云存储架构中,该策略改善了存储资源负载均衡程度,有效优化了系统整体性能。     

多核机群上数据密集型应用并行程序性能优化

在异构多核机群系统上利用数据任务块的动态调度策略和全锁定技术,给出一种面向数据密集型应用的结点内主存和可用的共享二级缓存大小中动态调度数据块的多进程级和多线程级并行编程机制,给出了优化数据密集型应用并行程序性能的策略和技术。在多核计算机组成的异构机群上并行求解随机序列多关键字查找的实验结果表明,所给出的多核并行程序设计机制和性能优化方法可行和高效。     

基于分布式文件电力异构数据存储综述

随着国网公司信息化建设的不断推进,在整个电网的运检和管理的过程中都会产生海量的数据,这些数据中包含各场景产生的视频、图片、传感器数据和一些企业档案信息等非结构（异构）化数据.在面对如此大规模非结构化的数据存储要求时,传统关系型数据库已经表现的力不从心了.如何对此类数据进行高效地、廉价地和安全可靠地存储,并且可以快速检索与分析,是当下研究的重要热点课题之一.本文首先分析了电网大数据的产生及特征,然后综述了工业界大数据分布式文件存储技术,最后分析适合国网非结构化数据的分布式文件存储策略.     

网格环境下分布式并行数据挖掘研究

随着信息技术的持续发展和广泛使用,大量的数据不断被收集和存储,对分布的目标数据进行数据挖掘处理任务的规模越来越大,而传统的数据挖掘无法解决分布式海量数据挖掘的问题,分布式系统很难解决异构的操作系统和协议问题.网格技术的发展成熟,使得利用网格环境下强大的资源共享异构虚拟组织实现协同并行数据挖掘成为网格技术应用的一个研究重点.本文提出基于网格环境的Agent技术、多线程和集中表决技术的关联规则并行挖掘方案,并在GT4下实验验证,实现对大规模数据的网格环境分布式并行数据挖掘.     

基于预分区策略的装备数据分布式存储方法

随着传感器技术和计算机技术的发展,装备在研制生产过程中会产生大量的数据,这些数据是海量的、多源的和异构的,企业需要考虑如何将数据进行快速处理和存储管理,进而利用加工后的数据提升装备生产制造能力。对卫星、飞机等典型装备数据进行了研究,提出了一种基于预分区策略的分布式数据存储方法。该方法研究HBase的预分区机制和装备数据模型特点,研究装备数据快速存储的影响因子,并给出了数据快速存储算法,使海量装备数据可以负载均衡地、快速地存储在HBase数据库里。最后,对模型的数据存储性能、负载均衡性、各类装备的适用性进行了评估试验。试验结果表明,该方法可以覆盖多种类型的装备数据,并在数据存储效率上有良好的表现。     

使用OpenCL技术的影像快速畸变纠正方法在异构平台上的应用分析

针对海量遥感数据应用中日益显著的处理效率低下和计算瓶颈问题,基于通用计算机图形处理单元的编程开发使用OpenCL并行处理技术对遥感数据处理及其过程进行加速,旨在为遥感影像大数据处理提供一条更为高效的途径。在不同显卡平台上对影像畸变纠正实施并行处理,结果表明,OpenCL技术在提高影像畸变纠正的速度方面作用显著,可取得29.1倍的最高加速效果;与CUDA并行处理技术的交叉验证进一步凸显了OpenCL技术在异构平台上实施并行处理时所具有的通用性的优势。     

基于Nginx的DRC集群动态负载均衡策略

面向数据的体系架构(DOA)为海量异构数据流通共享提供了新的有效解决方案。而数据注册中心(DRC)作为DOA的核心部件,它的访问性能尤为关键。针对高并发访问带来的DRC集群服务过载问题,采用Nginx反向代理负载均衡技术处理高并发访问。对Nginx的负载策略进行分析优化,提出一种由动态配置、负载收集、算法调度组成的动态负载均衡策略,并在负载调度模块对Nginx加权最小连接调度算法(WLC)进行改进,通过自适应权值不断调度下一个周期内性能最优的节点来处理请求。通过高并发性能测试验证了所提出的负载均衡策略在DRC集群中能更有效处理大流量的访问需求,提高集群的资源利用率和缩短请求响应时间。     

一种基于本体的垂直搜索引擎系统模型

由于互联网上异构数据的爆炸性增长,目前依靠关键词技术的垂直搜索引擎遇到发展的瓶颈。本文引入本体论及相关技术,构建基于本体的垂直搜索引擎系统模型。模型中对抓取的异构信息进行本体化描述,在此基础上进行概念相似度计算,实现语义相关的本体查询,大大改善了目前垂直搜索引擎的查全率与查准率。     

基于大数据分析的互联网公开情报发现技术及系统研究

从网络空间的海量信息中发现公开情报信息,对于维护国家安全和社会稳定具有重要意义。文章通过开发的“大数据网络公开情报发现系统”,研究多源异构数据的采集、融合、分析及展示;通过设计网络空间对象关联分析系统来分析处理海量信息,从而能够支持不良信息的溯源、重点关注用户账号的关联、网络嫌疑人身份信息的协同搜索等。