基于.NET预算业务文档库设计与实现

在设计和开发预算业务系统时,要求对业务文档文件的实现电子化的存储、管理、查询和展现,同时要求系统具有高并发性能和易用性。基于.NET技术、Oracle数据库Secure Files技术和分布式SOA技术,提供了一种业务文档库系统的技术设计方案,实现了业务文档的非结构化和结构化数据的统一存储管理。同时,保障了业务文档上传、下载和展现的高并发性、高稳定性。     

电力企业的非结构化数据检索研究

电网公司多年来建设了很多业务系统,各业务系统相互孤立应用.随着企业信息化建设的深入,业务系统中数据特别是非结构化数据的数据量急剧增长,人员查找数据信息极为不便.建设面向整个电网公司的分布式非结构化数据检索平台,该平台在Linux计算机集群上部署Hadoop开发框架以及Solr分布式全文检索系统,将各业务系统中的非结构化数据进行集中式的存储、管理,并且提供统一的搜索服务,使得企业相关人员能够高效、便捷地检索出所需的数据.实现知识服务无处不在,为员工工作提供帮助,为企业提供决策支持.     

基于数据湖的高校大数据管理体系和处理机制研究

针对高校本身业务系统带来的不同结构海量数据的存储管理和高效利用问题,通过比较新兴的数据湖技术和传统的数据仓库的区别,构建了基于数据湖的高校数据管理体系和数据处理机制,为高校的数据治理提供了数据层的存储支持,为使用机器学习方法进行大数据分析提供了非结构化数据来源。     

Notes数据库与关系型数据库之间的整合在办公自动化系统中的应用

本文在基于LotusDomino／Notes平台开发的办公自动化系统基础之上,介绍了非结构化数据的特点及非结构化数据库在办公自动化系统中的作用,对非结构化数据库与传统关系型数据库的存储机制和访问机制进行了详细的分析探讨,提出了Notes数据库与关系型数据库整合的技术方式,其目．的是实现企业信息系统中Notes数据库与关系型数据库信息交互。以利用Notes平台提供的良好性能共享信息数据。     

基于等保2.0的铁路敏感数据安全关键技术及研究

本文以等保2.0对铁路货运数据的安全要求及货运数据规则为基础,结合铁路业务系统,从"数据安全使用"的角度,对以主动防护为手段的安全保护技术进行深入研究,包括数据的分类分级、敏感数据的自动识别、敏感数据的脱敏存储和使用,设计开发出铁路敏感数据自动识别与动静态脱敏于一体的大数据平台,可在大数据环境下准确高效地对多源非结构化数据源进行自动分类分级和脱敏操作。     

输变电设备运维知识图谱的构建及应用

针对电网公司在开展输变电设备运维检修过程中存在的非结构化文本数据难以利用、全口径数据难以深度融合、数据应用手段仍处于简单统计状态等难题,本文研究设计了基于知识图谱的输变电设备运维知识问答系统的总体框架,以打破传统信息获取方式的局限性。首先,从多源输变电设备数据中提取出实体、关系、属性等元素,涵盖的数据既有结构化也有非结构化的数据。在此过程中,使用不同的技术和方法来提取这些元素。其次,利用图形数据库Neo4j将这些元素组合在一起,构建一个完整的输电变电设备运维知识图谱,从而将不同类型和业务数据整合并形成一个连贯统一的知识网络。最后,基于Neo4j +Python平台搭建输变电设备运维知识问答系统,为运维人员提供一种新的方法。     

沂沭泗流域防汛会商系统建设与应用

为提高沂沭泗流域防汛会商决策的时效性与科学性,建设沂沭泗流域防汛会商系统。在已建相关业务应用系统及多种结构化和非结构化信息的基础上,对已建相关系统进行有效集成,构建相关业务组件,以Web方式开发满足目前汛期防汛会商所需的各种功能模块,达到信息、数据与应用资源的共享及服务的便捷应用。防汛会商系统能够快速收集准备相关汛情具体情况、工程详细信息等资料,为防汛会商决策提供支撑,确保防汛会商决策科学、及时、高效。     

非结构化数据迁移工具的设计与实现

国内大型企业开展内容管理平台的搭建,有效的整合了各个业务应用系统生成的非结构化数据,合理的实现了数据从分散存储到集中存储的巨大跨越,但是对于现有业务应用系统中海量历史非结构化数据迁移至内容管理平台的问题有待解决。保证业务应用系统和内容管理平台的安全稳定运行前提下,文中提出了通过第三方数据迁移工具和标准的数据迁移方案,从而保障各个业务应用系统非结构化数据的迁移工作有序的开展,并对迁移的历史数据的完整性和一致性进行校验,确保历史数据迁移后能够正常访问。     

一种基于XML的数据转换方法的设计与实现

交互式电子技术手册是综合保障领域的一次技术革命,在分析非结构化数据和结构化数据分类的基础上,采取"非结构化数据-XML-结构化数据"的转换方式,将非结构化技术资料的元数据信息转换为可存储在公共源数据库(CSDB)中的结构化数据,为IETM数据录入问题提供解决方法。     

非结构化数据的信息服务系统设计方法

１概述 信息服务系统是指在 Ｉｎｔｅｒｎｅｔ上,以 Ｉｎｔｅｍｅｔ／Ｉｎｔｒａｎｅｔ技术为基础,向广大用户提供丰富而实用的信息的网络服务系统。它以信息内容为中心,以提供完善的信息服务为宗旨,通过网络来满足用户的信息需求。 信息服务系统是以信息内容为中心,表现为一大批各种各样文档和数据。在没有使用数据库的信息服务系统中,只有非结构化的数据存在。它的设计过程如图１所示。下面以海事信息网站的部分数据为例,说明非结构化数据的信息服务系统的设计过程。２超文本概念设计 超文本概念设计的目标是描述应用领域的信息内…     

Share Nothing分布式气象数据存储处理系统的设计与实现

随着气象观测、预报和服务业务的快速发展，气象资料的种类和数据量日益增多，数据写入频率越来越高，对气象数据存储处理系统提出极大挑战，进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储处理系统动态扩展能力不足、吞吐与并行计算效率低下的问题，采用一系列Share Nothing分布式集群设计，包括Share Nothing分布式架构、分布式数据库、NAS存储技术等搭建可动态扩展的Share Nothing分布式气象数据存储处理系统。实践证明，该方案设计能够满足当今气象结构化数据和非结构化数据对存储能力、并发响应能力的需求，通过动态扩展可便捷适应未来气象业务发展对数据存储和应用等服务能力不断增加的需求，具备气象现代发展进程中气象数据存储处理系统高吞吐量、可动态横向扩展、高稳定性、高可靠性的特性。     

Web Dynpro概览

SAP于2003年推出了集成化技术平台解决方案NetWeaver,它为SAP所有的企业应用提供了一个公共的底层技术平台,该平台提供了对J2EE/ ABAP应用服务器的支持、能够进行结构化数据和非结构化数据的存取,并且支持各种系统之间互操作。NetWeaver包含了许多的企业级功能,包括了在人员、信息、流程方面提供集成的服务,如门户(EP)、流程集成(P1)、主数据管理(MDM)、移动架构(MI)等组件。NetWeaver把企业应用最常用的IT技术整合成一个基础的企业应用平台,提供了大量的配置管理工具、实施方法以及最佳业务实践。同时NetWeaver包括了一整套的开发体系和开发方法论,并提供了各种基于Java和ABAP开放的软件开发环境和工具。图1是NetWeaver的体系结构图。     

人身保险知识图谱的构建与应用

辅助投保人了解保险产品的条款是保险应用关注的热点问题之一, 借助知识图谱技术辅助人身保险业务开展是一种可行的方法. 本文首先从多源数据中提取并构建人身保险知识图谱LIKG. 具体而言, 构建BERT-IDCNN-BiLSTM-CRF模型提取非结构化文本数据的实体, 通过多种短文本相似度算法以及集成排序算法完成实体对齐; 设计并使用Bootstrapping和分类预测两阶段抽取方法对保险产品进行属性填充. 然后, 根据构建的LIKG, 设计开发原型系统, 该系统使用实体抽取和属性抽取算法提供知识获取功能、设计CF-IIF指标提供属性推荐功能以及实现可视化界面帮助用户快速掌握人身保险产品的信息, 展示LIKG的应用价值.     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

典型大数据仓库-飞行试验数据仓库设计

在现代数据仓库技术思想的指导下,围绕试飞数据的非结构化大数据的特点,面向型号工程对试飞数据的统一管理和高效处理需求,分别针对试飞大数据的粒度描述和综合管理,设计了飞行试验元数据标准和特有的基于二进制文件的数据库管理服务,解决了飞行试验数据仓库设计中结构化与非结构化大数据的统一维度建模和数据关系维护的关键技术问题,为基于数据仓库的试飞大数据在线管理与分析系统的建立提供了基础,满足了型号工程对试飞数据的高效分析需求.     

MyBUD自适应分布式存储管理的设计与实现

面对日益增长的非结构化数据管理需求,实现了基于"自由表"数据模型和BUD(bank of unstructured data)参考体系模型的非结构化数据管理平台MyBUD系统。提出了一种能够根据非结构化数据的类型和访问特点自适应地选择分布式存储子系统的方法,同时也对MyBUD进行了TPCC测试和非结构化数据存取实验。结果表明,这种自适应的数据存储方法为MyBUD系统提供了高效的可扩展存储层,为采用数据库方法实现对结构化和非结构化数据统一管理的进一步研究工作奠定了基础。     

基于元数据的油气信息管理系统

非结构化数据在信息总量中所占的比例远大于结构化数据,是油气信息管理过程中的宝贵数据资产,如何对这些非结构化数据有效管理和应用是新型油气信息管理系统建设的重要内容之一。为了实现对油气信息资源中包括非结构化数据在内的综合数据高效管理与集成应用,从应用元数据技术角度,一方面对非结构化数据进行定义和详细描述,另一方面以数据库元数据为核心对系统框架进行构建,从而设计了一种新型的油气信息管理系统。系统实现了油气信息综合数据的存储与管理,而且可以对异构数据源进行有效集成应用,有良好的灵活性和扩展性。     

一种高效的大数据实时性解决方案

大数据计算是物联网和云计算的研究热点之一.针对大数据中的结构化和非结构化数据,Hadoop技术在实时性要求不高的场景中应用效果较好,但在实时性要求高的场景中不能满足需求.针对这一问题,论文利用对象化并行计算提出了一种高效的实时性解决方案.对象化并行计算融合了对象化、Hadoop、内存计算等技术.在方案中,业务数据格式化成对象并分布式存储到集群计算机内存中,任务拆分成子任务通过并行计算来完成.对象化并行计算系统应用在国家电网公司电网资产质量监督管理系统中,应用效果表明该方案可大幅度提升系统性能,满足实时性需求.     

基于流形学习方法的大数据分析技术在检验检疫行业中应用探讨

在大数据时代背景下,数据分析技术广泛应用于提取海量数据中的有效信息。检验检疫行业形成了以CIQ2000综合业务管理系统为基础,以电子申报、电子监管、电子放行为主要内容的中国电子检验检疫建设格局,积累了大量来源不同、类型不同、时间周期不同、用途不同的结构化和非结构化数据。针对检验检疫业务数据的非线性特征,介绍了基于流形学习方法的大数据分析技术,探讨了其在检验检疫业务中应用的可能性。     

非结构化补充业务数据中心的设计与实现

该文首先介绍GSM非结构化补充业务数据(USSD)的原理,然后介绍了非结构化补充业务数据中心(USSDC)的组网方式及对外接口,最后通过介绍USSDC的物理结构和逻辑结构,提出了USSDC的设计思路和实现方案。