公路信息系统中海量数据的存储与管理

分析了公路数据库应用系统的特点,提出了一种适用于计算机联网处理海量数据存储与管理的策略,并着重对该系统的基本构成、物理设计与逻辑设计进行了描述。针对本系统中所采用的集群并行数据库系统,还提出了计算机并行事务处理操作的设计原则。     

基于XML的异构数据集成技术在联网审计中的应用

随着计算机技术的发展和企业中ERP系统的引入,联网审计作为一种崭新的计算机审计理论、技术和方式被提出并应用。它满足网络时代对审计的需求,同时对异构数据集成等技术也提出要求。基于这个要求,提出一种基于XML的异构数据集成模型,并给出该模型的框架设计、关键技术以及主要环节的实现。     

面向电子政务环境的联网审计模式与支撑平台研究

联网审计是当前电子政务环境下政府审计的一种新型模式,是政府审计的未来发展方向。本文在分析目前常见的联网审计模式的基础上,提出了一种面向电子政务环境的基于平台的联网审计模式,在此基础上,设计了一种支持面向电子政务环境联网审计模式的联网审计支撑平台,详细分析了联网审计支撑平台的体系结构和系统构成。最后,对实现联网审计支撑平台的联网审计分析模型构建、审计信息安全等关键技术进行了研究。     

追赶审计信息化30年差距

我国的计算机审计同国外相比起步比较晚,可以说,与起步早的国家有30年的差距,我们正在采取各种手段弥补这种差距。目前,金审工程的应用系统主要分两大类,一类是审计实施系统,一类是审计管理系统。此前国内的计算机审计软件至少几十个,有审计系统自己开发,也有和其他公司联合开发的。2001年国家审计署对所有软件做了评审,最终通过评审的软件有10多个,按照应用系统整合的思路,最终确定为两大系统。从审计实施系统看,包括现场审计实施系统和联网审计实施系统。其中实施现场审计的单位有188万个,实施联网审计的包括一级预算联网单位,如税务、海…     

基于以太网的多串口数据采集系统及应用

提出了一种基于工业以太网的多串口现场数据采集系统.该系统核心是由微处理器MCF5307控制的具有多个RS232接口和一个RJ45以太网接口的数据采集板,它能够通过串行口对数个监控对象进行并行数据采集,同时提供了以太网联网能力,实现了计算机远程监控.也介绍了处理器和通讯芯片的硬件连接设计和基本软件执行流程.     

支持审计与取证联动的日志系统设计

目前国内外缺乏综合数据提炼能力的日志搜索和分析系统,也还没有专门同时为安全审计与计算机取证目的设计的日志保护和分析工具,针对这一现状,分析并提出了一种日志综合分析平台,以支持网络审计与计算机取证.描述了这种安全日志文件系统的构建,采集、管理和保护,可以做到审计与取证的联动分析,形成了一个高可信审计与取证能力的基本通用模型.最后给出了系统实现的界面和系统的性能分析.     

一种基于数据匹配技术的审计证据获取方法

联网审计是目前计算机辅助审计领域中的一个研究前沿问题.本文针对我国目前研究的联网审计的特点,以及常用审计方法的不足,提出了一种基于数据匹配技术的审计证据获取方法.该方法通过对两个数据源中的被审计数据进行数据匹配,查找相似重复实体,发现审计线索,获得审计证据.此外,采用模拟数据从定量的角度对该方法的审计风险进行了分析.最后,以一个实例验证了该方法的有效性及实用价值.研究表明:和常用的审计方法相比,该方法对业务知识依赖少,易发现被审计数据中的隐藏信息,并提高了审计效率.     

财政核心业务安全审计平台的设计

随着我国“金审工程”的发展,计算机审计正受到越来越多的关注。该文首先简述了计算机审计的含义和发展现状,说明了开展计算机审计的必要性和紧迫性。然后,对计算机审计技术在财政信息系统中的应用进行了探索,并针对财政系统提出了一个财政安全审计系统的设计思路。     

数据库安全审计取证模型的实现

安全审计系统能为审查计算机犯罪提供直接、可采信的电子证据.其效能直接影响到数据库的安全操作.本文提出了一个基于访问模式的数据库安全审计取证模型,采用智能挖掘算法抽象出用户行为模式,通过模式匹配来发现数据库操作中的非法行为,并可提供可呈堂的电子证据.     

金审一期含6大内容——应用系统是建设核心

金审工程一期包括网络系统,应用系统(含信息资源),安全系统,机房设施,人员培训5个内容。后来又根据工程建设的需要,将分散于各个系统的标准规范单列出来,成为第6个建设内容。任何一个信息化系统,应用都是核心。金审工程一期的建设中,应用系统始终是建设的重点。应用系统建设主要内容 金审工程应用系统划分为审计管理和审计实施两大分系统。 审计管理分系统按照“整合资源,集成信息,强化对审计事务管理和质量控制的技术支持与支撑,构筑信息化环境下的审计工作平台”的思路构建。由“行政事务管理”、“人力资源管理”和“审计业务管理”三大子系统组成。目前审计管理分系统完成的主要软件是《机关辅助办公系统》。 审计实施分系统按照“构建统一平台、整合开发软件、实施审计查证”的思路构建,是一个集多功能于一体的审计操作平台。从长远看,它既可以审计算机管理的数据,也可以审管理数据的计算机。审计实施的方式有两种,一种是现场审计,一种是联网审计。 在金审工程一期中,初步完成的《现场审计子系统》只是一个用于现场,审计数据的操作平台。按照设计方案,它将安装在审计人员笔记本计算机上,带至审计现场使用,软件中包含了审计作业必要的工具,就像是审计师随身的办公室,我们形象地将它称之为“AO”--“审计师办公室”的英文缩写。 同时,在金审一期,还在不同网络、不同数据量、不同组网方式的条件下,对联网审计进行了试点。已经在被审计单位端数据采集、数据传输、审计端数据处理等方面取得了部分经验,为金审二期全面开展联网宙计子系统建设奠定了基出。     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

基于数据库集群的海量 RDF 数据联合查询系统的研究与实现

随着语义网的快速发展,为了实现科学数据的共享,越来越多的科学数据被加工发布为关联数据,进而应用于关联查询和关联发现。针对大规模关联数据的管理,本文通过构建 RDF 数据库集群来存储海量数据,设计了基于 SPARQL 端点的联合查询系统来解决用户跨机器透明查询的问题,分析了存储策略和联合查询系统的查询处理相关技术。实际运行表明,本平台易于集成使用,可以实现大规模 RDF 数据的可扩展性存储和有效查询。     

基于OBS的分布并行海量地形数据服务系统

海量地形数据的存储与管理是大规模地形实时漫游系统的关键。该文提出一种基于对象存储的分布式并行地形数据服务系统(DPTSS),采用自治的存储对象存储和管理地形块数据,实现了控制路径和数据路径分离。通过元数据集群提供高效率和高可用的元数据服务,以及基于对象的存储集群实现并行的地形数据块传输服务,提供高吞吐率和高带宽的地形数据服务。对比实验表明,DPTSS在较低的TCO情况下能提供高性能的地形数据服务。     

基于Hadoop的智能电网状态监测数据存储研究

智能电网需要收集海量设备状态监测数据,这对数据存储与查询提出了更高的要求。为处理这些海量数据,设计并实现了基于Hadoop技术的数据存储系统,包括Hadoop集群、存储客户端和查询客户端。通过基准测试、存储结果验证和查询性能分析,验证了该系统具有分布式海量存储及高效查询的优势,适合智能电网环境下设备状态监测数据的存储。     

基于Hadoop的电力运维审计系统的设计

国家电网公司信息化程度越来越高，单机运维审计系统产生的数据量日益增多，对海量数据高效率存储分析性能严重下降，系统稳定性降低。为满足国家电网当前对运维审计系统数据存储分析以及系统稳定性的需求，在Hadoop开源架构的基础上，本文提出基于Hadoop集群的海量数据分布式存储方法和基于Heartbeat的心跳检测技术，实现基于Hadoop的电力运维审计系统。〖JP2〗实验测试结果表明，基于Hadoop的电力运维审计系统相比单机系统可用性提高了8.42%，大大提升了存储分析海量数据的性能，具有系统工作稳定和服务不间断等优势。     

HMSST+:基于分布式内存数据库的HMSST算法优化

为了解决HMSST(HashMapSelectivityStrategyTree)算法在集中式环境下受限于有限内存的问题,提出了一种新的分布式SPARQL查询优化算法HMSST+。该算法基于Redis提出了一种分布式存储方案,通过平行扩展存储节点和分布式调度,使得海量RDF数据的查询得以在分布集群的内存中实现。采用LUBM1000所大学的测试数据集对查询策略进行了实验,结果表明提出的方法与HMSST算法相比具有更好的扩展能力,与现有的分布式查询方案相比也具有更好的查询效率。     

MAP-Vis:基于MAP模型的时空点状大数据可视化方案

目的 对于大数据挖掘，可视分析是一种非常重要的研究手段，有助于快速、直观地理解分析大数据蕴含的价值信息。但因其海量、时空、高维等特征，大数据可视化存在内存消耗大、渲染延迟高、可视效果差等问题。针对上述问题，以海量时空点数据为例，采用预处理可视化方案，设计并实现了一套高可扩展的分布式可视分析框架。方法 借鉴瓦片金字塔模型提出一种多维度聚合金字塔模型（MAP），将瓦片金字塔的2D空间层级聚合扩展到时间/空间/属性多维度，同时支持时间、空间、属性的多维层级聚合。进而以Spark集群作为并行预处理工具，以HBase分布式数据库持久化存储MAP模型数据，实现了一套开源的分布式可视化框架（MAP-Vis）。结果 以纽约出租车数据集为例，本研究实验证明能够支持时间/空间/属性多尺度、多维度联动的交互式可视化，同时具有高可扩展的预处理能力和存储能力。结论 在分布式处理能力支持下，系统能实现亚秒级的查询响应，达到良好的交互式可视化效果，证明MAP-Vis是一种有效的大数据交互式可视化方案。     

海量RDF数据的分布式存储研究

介绍海量KDF数据分布式存储的一种解决方案.R39F数据是按照主题-谓词-对象三元组进行存储的,重要的RDF数据还存储了额外的信息,例如版本信息、临时查询信息等.学习和研究当前流行的几种分布式存储框架,依托于开源框架HBase,在Linux集群上实现高效、协作地存储海量RDF数据.     

海量结构化数据存储检索系统

Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.     

基于GlusterFS的分布式数据完整性验证系统

云存储为用户提供了弹性而可靠的数据存储方案,使得用户可以在任何时刻通过网络访问云服务器存取数据,大大降低了用户自己维护数据的成本,但也引发了一系列安全问题。对于云存储而言,采取审计措施用于检查数据的完整性至关重要,但已有的大多数云数据完整性审计机制只是通过模拟实验证明了方案具有高效性,并未结合具体云存储场景进行分析实验。针对上述问题,文章结合GlusterFS分布式文件系统与BLS短签名机制设计了一种分布式并行数据审计方案。利用GlusterFS的多个存储节点并行计算数据块所对应的标签,通过验证数据块对应标签的完整性来验证数据块的完整性,实现数据的单块审计、多块审计、多用户审计和异步审计,且不会泄露用户的隐私信息。此外,还进行了安全性分析。实验结果表明,文章方案可实现多块数据的高效并行审计,且并发量随节点的增加而线性增长。