OA系统的数据分布策略与透明复制技术

信息技术的进步推动了OA系统特别是远程OA系统的应用，网络流量的限制使Internet日益变成了OA系统的瓶颈。针对Internet瓶颈问题提出了OA系统的数据分布策略，对数据复制操作进行了研究，分析了数据复制的原理及冲突解决策略，最后设计了一种基于Agent的透明复制模型并进行了实际应用。     

互动电视边缘资源管理系统的设计与实现

设计并实现一个互动电视业务边缘资源管理系统。采用轮播服务组信息的方式,实现终端的开机定位。对边缘IPQAM资源进行动态分配、回收,充分利用IPQAM资源。使用超时检测机制,保证资源的有效回收。运用数据缓存与限制最大等待请求队列长度的策略进行系统优化,将业务逻辑操作与数据库操作分离。性能分析结果表明,该系统经过数据缓存优化后,并发响应速率明显提升,响应时延降低。     

基于Spark的空间范围查询索引研究

由于传统的数据处理系统的数据存储与数据处理能力有限,不能满足处理大量数据的需求。为了发挥数据的价值,高效、高性能地处理大量数据集,提出基于Spark系统结合SIMBA的思路共同建立的大数据分析处理系统,基于Spark SQL的查询方式进行检索;在Spark中嵌入索引管理机制,将其封装在RDD内,用于提高查询效率;通过建立线段树存储数据的方式提高数据检索的效率。对于数据预处理时采用Range Partitioner分区策略的方式对数据进行分区,基于全局过滤和局部索引进行查询。保证该系统在进行查询操作时能够保持高吞吐量和低延迟特性,提高查询效率。     

论OLAP的三种实现技术

OLAP（On—Line Analytical Processing）是数据仓库系统的主要应用，它支持复杂的分析操作，侧重决策支持。文章从数据的存储方式，钻取操作，数据更新，和性能上研究了OLAP的三种实现技术ROLAP（Kehtional OLAP），MOLAP（Multidimensional OLAP）HOLAP（Hybrid OLAP）的不同和三种实现技术的适用范围。     

公路信息系统中海量数据的存储与管理

分析了公路数据库应用系统的特点,提出了一种适用于计算机联网处理海量数据存储与管理的策略,并着重对该系统的基本构成、物理设计与逻辑设计进行了描述。针对本系统中所采用的集群并行数据库系统,还提出了计算机并行事务处理操作的设计原则。     

EIR：具有超级结点的非结构化P2P中多维数据搜索框架研究

在具有超级结点的非结构化P2P系统中，研究了复杂多维数据的查询搜索策略，提出了一个应用于具有超级结点的非结构化P2P网络的综合框架，在该框架中，能够实现对多维数据共享、索引以及查询等操作的处理。以R^＊-tree索引树为基础，提出了一种能够应用于P2P的扩展R^＊-tree索引树，即EIR-tree树，研究了系统中集群信息的收集与维护、EIR-tree树的构建与维护等方法和措施。     

可扩展和可交互的数据清洗系统

可扩展性和可交互性是数据清洗系统的主要特征。为了说明此系统的特点，列举产生异常数据的原因，用系统框架图来解释各个功能模块，提出用统计学等方法检测异常数据，针对不同类型的异常数据提出相应的清洗策略，并说明如何评估算法的优良性和数据准确性，最后用流程图来说明整个系统。人口数据清洗结果显示人口数据质量大幅度提高了，同时也证明此系统有很高的执行效率。     

通用高速数据库访问优化研究

在数据库应用程序中，数据访问性能的好坏是制约整个应用程序的一个重要方面，特别是在B／S和C／S结构中，这一点就显得尤为重要。但是现今的很多数据库应用程序所使用的数据库访问操作的代码运行效率并不高，造成了各种宝贵资源的浪费，也降低了整个应用程序的性能。本文从比较通用的角度出发，分析各种访问方式的一些通用数据库操作，提出一些适用于各种访问方式的优化方法扣策略。     

支持大数据管理的NoSQL系统研究综述

针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统。针对基于key-value数据模型的 NoSQL 数据库的相关研究进行综述。首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望。     

电能表系统数据存储的研究

为了解决电能表系统数据现场升级程序容易出现数据混乱的问题,分析了目前电能表系统数据存储的方式,针对目前电能表系统数据存储的问题提出了改善方案。通过数据链表创造出一个可以自由伸缩的数据存储系统,形成了以数据块为存储单元的存储模式,解决了电能表系统中新增加数据会导致现有数据地址改变的问题。文章先从目前电能表系统数据存储的问题说起,随后提出了新的数据存储模型,并一一介绍了新数据存储模型的创建、读取、写入及删除等操作,并在电能表上成功实现了新数据存储模型。     

大规模网络存储系统中面向可靠性的数据布局算法

如何有效地在大规模的网络存储系统中存放数据是一个具有挑战性的问题.深入研究如何在满足存储的公平、冗余和自适应性的情况下,基于存储设备不同的可靠性能,充分考虑存储数据的重要性进行数据布局.用整数规划的形式描述了面向不同可靠性等级的存储设备进行数据布局的优化问题,并说明了这个问题是NP难的.提出了一种块级别的面向可靠性的数据分级布局算法,保证了布局算法的公平、冗余以及自适应性,并分析了数据布局算法的合理性和可行性.     

X-TM：一种基于XML的信任管理框架

在分析现有信任管理的基础上,结合科学数据网格项目需求,提出了一种基于XML的信任管理框架X-TM。该框架包含了一种基于XML的统一信任证和策略语言,以及完成验证TrustTicket与一致性验证器的信任管理执行器,其主要创新点为可扩展的策略语言和支持TrustTicket与策略缓存的信任管理执行器,具有灵活性和良好的可扩展性等特点。     

基于延迟时间的实时降载策略

降载可以有效地解决数据流流速的突变所引发的系统的过载问题。为此,分析现有降载策略在实时性方面的不足,不仅考虑系统的处理能力,同时结合数据的处理延迟,提出基于延迟时间的降载策略(DSP)。实验结果表明,DSP可以有效地解决系统的过载,同时具有较高的实时性。     

分布式信息系统内部监控审计平台设计与实现

为解决信息系统的内部安全管理问题,提出了一种基于分布式业务系统的内部安全管理解决方案.通过内部监控审计平台建设,实现对系统核心业务应用、数据库和系统日志3个级别的监控审计功能;根据规则库配置策略对监控审计数据进行采集、过滤、转换和存储,并通过数据交换平台汇聚到安全管理中心,从而实现对分布式业务系统的集中监控管理、统计分析和预警.结合具体应用,验证了该设计方案的有效性和准确性.     

基于区块链的可溯源政务大数据共享方法研究

政务服务跨域协作是政府数字化转型和跨域治理相结合所催生的新型治理模式,是政务服务治理的价值目标。由于政府各部门的具体业务和功能不同,各部门都有一套独立的数据管理系统,且各信息化系统存储多样、数据格式复杂、业务流程各异。如何安全可靠地实现各个部门之间的数据共享已成为一项研究难点。传统政务数据共享通常采用集中式共享模式,该模式容易引发数据隐私泄露、部门权限混乱、单点故障等一系列问题。为解决上述问题,该文提出了一种属性基加密与区块链结合的政务数据共享方案。首先,由数据拥有者制定访问控制策略,对数据请求者的属性进行限制;然后,利用子集覆盖技术,实现数据安全共享中的细粒度访问控制及密钥更新,结合线性秘密共享,以实现访问策略的完全隐藏,采用星际文件系统分布式网络存储对称加密后的密文,以缓解区块链系统的存储压力;最后,利用 Keccak 算法对检索数据密文的哈希值进行重加密,实现数据的完整性验证。通过安全性分析和相关实验可知,该文所提方案在安全性和效率方面均能满足政务数据安全共享的需求,可实现政务数据的高效、安全和可溯源共享。     

Data access in distributed data base management systems

A software organization which provides for data definition and manipulation in a distributed data base system is presented by describing the functions and interrelations of the component processes; with its methodology for access, the physical location of the data is transparent to the user program. The concepts of distributed data bases are discussed and current research is summarized as a means of establishing a method for the data placement and location mechanism. Procedures for the movement of data in a distributed data base system are presented, along with the data manipulation procedures, in terms of their performance and integrity effects. Enhancements to the mechanisms are suggested.     

科技政策库的系统集成与建设

为了满足科技政策研究需要,中国科协设计并实现了一种科技政策库系统.本文首先介绍了科技政策库的总体设计方案、系统工作流程;然后详细介绍了系统组成,整个系统由数据采集子系统、数据清洗子系统、数据分析子系统3个子系统组成.数据采集子系统基于网络爬虫框架Scrapy软件针对大量异构站点设计了可管理的网络爬虫,并基于ABBYY FineReader软件（俄罗斯软件公司ABBYY发行的一款文档识别软件）实现了历史文献OCR识别（Optical Character Recognition,光学字符识别）和入库.数据清洗子系统基于机器学习算法实现了数据去重、非相关数据识别、数据属性缺陷识别等功能.数据分析子系统则对有效入库的科技政策进一步进行了文本分类、关联关系分析、全文检索.从2018年10月上线以来,该系统从226个数据源采集564 749条数据,经过数据清洗之后入库404 083条数据,能够有力地支撑科技政策研究工作.     

策略驱动的数据交换模型

针对数据交换应用存在数据交换来源多样、交换需求多变的特点,结合策略独立于实现等特点,提出将策略应用到数据交换领域的观点,解决现有数据交换系统的不足。从应用策略最成熟的网络管理和网络安全领域出发,通过对比已有策略建模方法的优缺点和数据交换特点,确立数据交换策略模型,建立策略驱动的数据交换模型的实现框架。     

基于访问和更新历史的WebView管理方法

介绍一种名为MED（Materialize on accEss and upDate hIstory）的混合方法，它在用户查询时产生WebView并进行物化存储，但基础数据变化时这并不一定立刻变化，而是参考核WebView以前的更新历史， 然后采取相应的对策和方法，实验数据表明，MEDI算法对于更新和访问都比较频繁的Web环境具有有较好的适应性，性能优于纯虚拟或物化算法。     

活动多实例工作流中数据流的建模与调度

根据数据流模型的特点定义了数据流元模型,创建了能够准确描述活动问细粒度接口数据交互的数据流二步建模法,并为其提供了一种图形表示;扩展传统工作流引擎,提出了活动多实例工作流中数据流的调度策略,以及根据数据一致性验证准则实现了数据准备、数据提交等关键调度算法,进而提出的虚拟活动实例概念解决了活动实例数据多版本的管理问题．最后通过应用实例对文中的理论进行了验证．