企业非结构化数据检索研究

随着信息化的高速发展,企业内部各业务系统中非结构化数据的数据量急剧膨胀,使得信息的搜索工作变得极为繁琐。建设该企业级非结构化数据检索平台,在Linux计算机集群上部署Hadoop开发框架以及Solr全文检索系统,将各业务系统中的非结构化数据进行集中式的存储、管理,并且提供统一的搜索服务。介绍了Solr的原理,并使用它搭建非结构化数据的中文搜索引擎,通过测试证明了该搜索引擎具有良好的搜索性能。通过检索平台,用户能够快速而高效地获取精确的搜索结果。     

面向大数据的数据服务中心设计与应用研究

大数据管理对传统的基于关系数据库管理系统为核心的数据管理服务平台提出了挑战,研究开发支持结构化和非结构化数据统一管理的数据管理与服务中心成为一项非常迫切并且重要的任务,汇总分析出大数据服务中心四项关键技术,采用可配置泛化表模型等技术,设计了基于Hadoop平台的数据服务中心系统原型BIG-DMS和基于BIG-DMS的数据综合服务平台应用方案,支持结构化和非结构化数据的统一存储、管理和访问服务。     

基于天擎·湖南的一体化平台云化改造关键技术

湖南气象灾害预警服务一体化平台是基层气象灾害预警服务不可或缺的重要工具.本文研究基于气象大数据云平台("天擎·湖南")的一体化平台,通过利用PostgreSQL数据库进行空间地理数据管理,Redis数据库进行用户登录缓存信息管理,虚谷数据库进行业务相关数据管理,NAS存储对图片、文档等非结构化数据进行存储管理,Dock...     

数据仓库与大数据融合的探讨

针对传统企业对非结构化数据缺乏有效利用的问题,探讨了基于数据仓库与大数据融合的企业大数据解决方案.根据数据仓库建设理论和下一代企业级数据仓库架构,利用Hadoop技术进行非结构化数据的收集、处理及存储,通过与传统数据仓库和BI工具共同协作,解决企业大数据应用困难的问题.数据仓库与大数据技术的融合解决了传统企业数据处理的障碍,从而推动大数据项目的实施.     

一种基于位置的数据产品管理工具

旨在解决信息系统临时用户数据访问很难有效管理的问题,提出了一种基于位置的数据产品管理工具设计方案。以企业非结构化文档资料为数据管理对象,设计了主站服务端、移动服务端、临时用户终端的三层数据管理结构,为企业数据的临时共享提供了一种规范有效的途径。在研究位置服务相关工作基础上,对基于位置的数据产品管理工具研究工作进行了展望。     

内容知识库数据模型研究

在Web应用环境下,如何有效管理大量的非结构化数据(也称内容数据)成为应用的重点。内容知识库作为内容管理系统的底层架构,不仅为内容管理提供了统一管理异构数据的平台支持,还为内容管理平台提供了更强的鲁棒性、移植性和通用性。当前的内容知识库模型基本都是采取关系数据库和分布式文件系统相结合的方式,系统功能较差,直接影响了内容管理系统的发展和应用前景。通过对已有非结构化数据管理模型的研究,提出和论证了新的内容知识库模型及其表达能力。不仅为当前内容知识库的建立提供模型支持,也为以后的工作指明了方向。     

一种非结构化元数据的分级存储设计

针对各种数据呈几何级数爆炸式增长促使数据存储容量面对巨大压力的问题,本研究致力于开发设计一种面向非结构化元数据的分布式分级存储管理系统。通过在Client端和Server端分别组织Java jar和逻辑节点实现非结构化元数据管理平台的功能调用,并采用Mongodb数据库构建了自研元数据管理组件的文档数据库。将策略配置存放在Client端的Zookeeper中,并在Server端中实现非结构化元数据的分级存储。通过性能测试结果显示:相比传统的LRU存储方式,采用高低层Server端服务器对非结构化元数据分级存储过程中,平均响应时间下降了45.2%和36.7%,字节命中率分别提升了3.0%和2.6%。因此,本研究提出的分布式分级存储原理可以提升非结构化元数据存储效率。     

有线电视网络运营商企业级大数据平台建设研究

根据企业实际业务需求,梳理大数据平台所需具备的能力以及具体建设目标,按照满足海量数据存储、高性能计算、应用丰富等企业级大数据平台能力要求,从数据采集与预处理、计算与存储、平台运维和管理等方面构建企业级大数据平台的功能架构及其配套的硬件架构,为建设企业级大数据平台提供参考。     

大数据及云计算技术在智慧校园中的应用研究

所谓"智慧校园",即以物联网为基础的智慧化的校园工作、学习和生活一体化的环境,它往往以应用服务系统为载体,最终实现校园教学、科研及生活进行充分融合。目前智慧校园正在成为教育行业信息化建设的方向,而其智慧的体现就在于对于信息的整合与处理。这些无不与大数据及云计算技术的特征相吻合,何况物联网和云计算等新技术的应用使得结构化数据管理方式已无法充分体现数据价值,是以大数据与云计算技术对于结构化、半结构化和非结构化数据的管理及提供决策支持具有天然的优势。由此可见,大数据与云计算技术必然会成为智慧校园体系中数据价值最大化的体现。文章将对大数据及云计算技术的概念进行阐述、对智慧校园的信息平台网络体系架构进行分析,并以此为基础对大数据及云计算技术在智慧校园中的应用进行探究,以此为智慧校园的发展提供理论参考。     

企业级移动应用数据安全防护技术研究

通过对企业级移动智能终端应用过程中普遍存在的数据安全问题进行调查与分析,以及对现有企业级移动应用平台架构方案进行研究,提出基于Android操作系统的企业级智能终端应用平台的数据安全防护技术的解决方案,最终完成该方案在企业管控一体化系统中的实现和应用。     

Hadoop平台下的数据迁移设计与实现

为解决持续增长的海量数据的存储压力,提出了由在线存储平台和大数据存储平台组成的分层存储系统,并对分层存储系统中结构化、非结构化数据迁移的设计和实现进行了详细描述,同时介绍了系统实际使用情况及优缺点。     

首秦实时数据库系统建设与实施

钢铁企业生产的快速发展要求信息系统提供基于企业级实时数据库服务平台的实时数据库系统。本文通过描述首秦数据管理平台的需求,说明了实时数据库系统在企业信息系统中的重要性,并进一步阐述了Agilor实时数据库系统在首秦的建设与实施的情况。     

大数据将引发金融行业重要变革

IDC研究显示,当前,数据是重要资产的理念已经在中国金融行业形成共识,数据的真正价值在于能够洞察企业内部规律,数据的洞察力成为金融企业的核心竞争力。在中国金融行业信息化建设中,与信息加工密切相关的大数据管理正逐渐成为与核心业务系统建设、渠道建设和前置建设同等重要的领域。经过多年的发展与积累,目前中国的大型商业银行和保险公司的数据量已经达到100TB以上级别,并且非结构化数据量在迅速增长。基于IDC对大数据的定     

面向大数据的分布式系统设计关键技术研究

随着云计算、物联网等信息技术的飞速发展,异构数据源越来越多,数据信息量在飞速增长,数据的类型也复杂多样,不仅使得信息系统规模日益庞大,也导致海量非结构化数据管理复杂、异构数据存储利用率低下、资源不易扩展等问题。     

电信运营商企业级大数据运营探讨

基于电信运营商企业级大数据平台多年的建设、运维实践经验,从大数据平台架构、平台运营管理、系统运维监控、跨部门协作等方面探索出创新性解决方案和优化改进措施,有效解决上述问题,并形成一套企业级大数据平台运营规范和体系,为建设高效协同、规范运营的企业级大数据平台提供了有力保障。     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

基于自然语言的云数据库非结构化数据提取

以非结构化数据高精度提取为目的，利用改进K-均值算法聚类云数据库非结构化数据，对分类后非结构化数据进行归一化预处理；通过基于自然语言语义的数据库目标检索模型，对预处理后的多种云数据库非结构化数据，按照用户需求实时提取。经测试：所提方法在不同数据集中，对多种类型的云数据库非结构化数据提取结果存在可信度，最大偏差为1个，偏差极小，在可接受范围内，可高精度提取云数据库非结构化数据。     

基于多源异构数据融合的路网管控平台设计

本文提出了一种基于多源异构数据融合的路网管控平台,将高速公路运营数据包括结构化、非结构化、半结构化数据进行融合,建立全时域全路网“可视、可测、可控、可服务”的路网管控平台,实现跨地域、跨系统、跨部门、跨业务的协同管理和精准运营。     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

主数据管理系统在煤炭企业的设计与实现

主数据管理的目的是确保企业主数据的高质量、统一性和流通的便利性。鉴于主数据管理的目的和所处理数据分散的特点,主数据管理需要重复数据的识别和数据的匹配合并工作。本文通过在晋能集团建立主数据管理平台对下属各矿主数据进行集中管理和维护,利用数据整合技术与各类同构、异构业务系统进行数据同步,使得晋能集团下属各矿业务系统可以使用整个企业范围内统一、规范的主数据进行业务操作。