分布式海量矢量地理数据共享研究

地理空间数据的应用应用范围迅速扩大,实现空间数据的共享,充分有效利用已有数据,可节约用户成本,栅格数据的共享方式在多媒体领域有较多研究,而矢量数据研究得不多,本文讨论了分布式海量矢量地理空间数据共享的几个问题－海量空间数据的管理,传输,可视化及空间数据共享的安全问题。     

基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。     

基于数据元的数据模型语义映射技术研究

各企业在进行数据共享之前,首要考虑的是数据模型的数据映射关系,然而数据模型在不断的更替与升级,给数据集成带来了很大困难。文中设计了一种对数据源结构进行统一描述的数据字典元模型,利用数据元来规范数据项,将编辑距离算法思想应用其中,实现数据项与数据元字典中数据元的相似度匹配。应用语义树的表示方法来描述数据元结构,利用语义相似度算法进行数据元间的相似性、一致性检查,寻找数据元间的关联关系,间接地定位数据项间的语义关系,为数据映射奠定良好基础。以中石化标准数据元规范油田企业搜索引擎数据项,确保研究的实用价值。     

面向生产管控的多源数据处理技术

为了解决流程型生产车间数据种类多、数据质量参差不齐影响生产管控的问题, 提出了面向多源数据的数据分类处理技术, 采用数据分类与滑动窗口相结合的方式进行数据处理. 首先, 根据生产数据特点建立数据模型, 然后进行数据分类. 主要分为状态数据、开关数据、逻辑数据 3类, 不同类型的数据使用不同处理算法; 同时采用滑动窗口解决不同任务对数据实时性和完整性要求不同的难点. 最后, 该数据分类处理模型在实际生产环境投入使用, 验证了对生产数据处理的准确性和实时性. 结果表明, 将处理后的数据应用于生产管控, 管控误差率降低至不足1%.     

一个基于XML数据仓库系统的设计与实现

黄土高原数据仓库系统以分布式数据仓库为核心,包含多个异质数据源。系统采用中间件技术不仅提供多层次资源查询服务,并且还使用数据挖掘技术和信息检索技术对资源数据进行深加工,能够主动地为用户提供黄土高原生态环境咨询、评测、预测与决策支持服务。论文重点介绍了一种基于XML的统一模式查询语言———XUSQL,用以解决多数据源中多模式数据融合问题。XUSQL使得在数据仓库中的查询与数据源模式无关,把数据源和数据仓库隔离开,从而有利于构造分布式数据仓库,便于异质数据源之间数据融合以及数据源本身的结构调整。     

基于WinPcap的远程网络微型数据堆叠式采集仿真

采用当前方法采集远程网络中存在的数据时,数据在远程网络中的信噪比较低,采集数据的时间开销较高,存在数据重构精度低和数据采集效率低的问题。将WinPcap运行机制应用到数据堆叠式采集过程中,提出基于WinPcap的远程网络微型数据堆叠式采集方法,对本地网络监控端中存在的数据进行预处理,在压缩感知的基础上通过WinPcap运行机制对本地数据进行随机采样,并对随机采集到的数据进行压缩处理,将压缩处理后的数据传送到远程网络的处理端中,根据节间点存在的社会关系估计没有传送到处理端的数据,通过压缩感知算法重构数据,实现远程网络微型数据的堆叠式采集。仿真结果表明,所提方法的数据重构精度高、数据采集效率高。     

基于改进全卷积神经网络的医疗数据表面重建算法

为了实现对医疗数据的快速检测和分类识别,需要对医疗数据进行表面重建设计,首先,提出一种基于改进全卷积神经网络的医疗数据表面重建算法.采用无线射频识别技术进行医疗数据的大数据采样,对RFID采集的医疗数据进行信息融合处理,采用多元回归分析方法提取医疗数据的相关性统计特征量,然后,针对医疗数据中的冗余特征采用匹配滤波检测器进行冗余滤波处理,对提纯后的医疗数据采用相空间重构技术实现医疗数据重构,最后,对重构数据采用改进全卷积神经网络分类器进行分类识别,实现医疗数据的表面重建和自动识别.仿真结果表明,所提方法的医疗数据冗余特征处理效果较好,数据分类精度可高达90%以上,且医疗数据重建误差小,耗时少.     

网络测量中的性能数据空间分析

如何从巨量性能数据提取出特征数据是网络测量中的一项非常困难的工作。首先定义了性能数据的特征，按指标类型、获取方式或流动特性将其划分成不同的数据集，并建立了性能数据空间。通过对数据的深入分析，将复杂的性能数据分析过程分为完备化和抽象化两个阶段，提高了数据分析的效率。最后根据性能数据空间和数据集的分析，设计和实施了一个分布式数据分析体系结构。     

无线传感器网络中的分频数据分发协议

从数据源到数据接收者的数据分发是无线传感器网络的重要功能．本文提出了分频数据分发协议，该协议通过多棵分发树对数据接收者进行数据分发，从而最大限度地重用数据传输路径．实验表明，在数据接收者较多的情况下，分频数据分发协议比现有最好的数据分发协议SEAD的加权路径长度要短15％左右，从而有效节省了分发数据的能量消耗，延长了系统生命期．     

An integrated data preparation scheme for neural network data analysis

Data preparation is an important and critical step in neural network modeling for complex data analysis and it has a huge impact on the success of a wide variety of complex data analysis tasks, such as data mining and knowledge discovery. Although data preparation in neural network data analysis is important, some existing literature about the neural network data preparation are scattered, and there is no systematic study about data preparation for neural network data analysis. In this study, we first propose an integrated data preparation scheme as a systematic study for neural network data analysis. In the integrated scheme, a survey of data preparation, focusing on problems with the data and corresponding processing techniques, is then provided. Meantime, some intelligent data preparation solution to some important issues and dilemmas with the integrated scheme are discussed in detail. Subsequently, a cost-benefit analysis framework for this integrated scheme is presented to analyze the effect of data preparation on complex data analysis. Finally, a typical example of complex data analysis from the financial domain is provided in order to show the application of data preparation techniques and to demonstrate the impact of data preparation on complex data analysis.     

分级可逆的关系数据水印方案

关系数据可逆水印技术是保护数据版权的方法之一.它克服了传统的关系数据数字水印技术的缺点,不仅可以声明版权,而且可以恢复原始数据.现有方法在恢复原始数据时不能控制数据恢复的程度,无法调节数据的可用性.提出了一种分级可逆的关系数据水印方案,定义了数据质量等级来反映水印嵌入对数据可用性的影响,设计了用于实现分级可逆水印的分区嵌入、等级检测、水印检测以及等级提升算法.数据所有者在数据分发前预先设定若干数据质量等级,以数据分区为单位嵌入水印.每个数据分区使用独立的密钥控制水印信息的位置和取值.如果数据使用者希望提升当前数据的可用性,可向数据所有者申请或购买相关密钥,提升当前数据的数据质量等级.对于任意数据质量等级的数据,其中的数字水印均可用于证明版权.采用分区的辅助数据,实现了灵活的水印逆操作.设计了有效的哈希表冲突解决方法,降低了计算和存储开销,提高了该方案的实用性.实验结果显示,方案具有良好的计算性能以及鲁棒性,可满足现实应用场景的需求.     

一种评估数据仓库设计质量的方法

数据仓库（Data Warehouse,DW）是支持决策管理过程的、面向主题的、集成的、随时间而变的、持久的数据集合,它集成了源数据库（Database,DB）和其他平面文件系统的相关数据,以支持决策管理活动。数据仓库结构是一个多维模型,主要分星形、雪花星和星座形三种。有别于传统关系型数据库的设计,数据库仓库的设计往往以数据作为驱动,其设计的好坏,直接影响了数据仓库系统的建设与应用。文中提出了一种评估数据仓库设计质量的定量分析方法,主要是量化了和数据仓库有血缘关系的数据源的相关质量指标,就是通过分析所选取的表和属性两方面的数据质量（Data Quality,DQ）指标,最终联合这些指标以计算数据仓库设计质量的评估值。其中,分析数据源相关质量指标的过程,也可以支持数据库仓库的设计。     

基于核函数-主成分维数约减的离群点检测

为了提高高维数据集合离群数据挖掘效率,该文分析传统的离群数据挖掘算法,提出一种离群点检测算法。该算法将非线性问题转化为高维特征空间中的线性问题,利用核函数-主成分进行维数约减,逐个扫描数据对象的投影分量,判断数据点是否为离群点,适用于线性可分数据集的离群点、线性不可分数据集的离群点的检测。实验表明了该算法的优越性。     

一种改进的加权随机抽样算法

为了构建传感器网络流数据的概要数据,给出一种改进的加权随机抽样算法：IWRS算法。该算法根据流数据变化的快慢程度,动态的对流数据加权,将权值做为数据项的键值,根据键值大小、skipping因子、退避因子对流数据进行抽样,解决了现有的抽样算法生成的概要数据与原始数据偏离大小不确定以及数据稳定度低的时候生成概要数据效率不高问题。并将该算法应用到深海平台监测系统中,与其他抽样算法相比,该算法在数据变化稳定的情况下能快速的生成概要数据,当监测到数据变化剧烈时,动态改变抽样方式,抽取的概要数据精确性高。     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题。从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤。     

基于差分扩展的高效数字图像嵌入算法研究

针对某些特殊情况需要将数据进行安全可靠传输的问题,本文提出一种基于差分扩展的将数据嵌入数字图像的算法。即将数字图像作为待传输数据的载体,按照差分扩展原理将待传数据嵌入到数字图像后进行发送,再由接收方按照与之相逆的方法进行数据恢复。经过实验表明,该算法与其它算法比较,在保证图像有很低的失真率的同时还确保更高的数据嵌入率     

On the equivalence of data base schemas—a semantic approach to data translation

A notion of the equivalence of data is the basis for deriving a correct translation of data bases. The equivalence of data base states and data base schemas is defined. Since this definition can only be given with respect to the semantics of data, a short discussion of data base semantics is given. It is shown, how a semantic data model and data definition language (LDDL) can be used to construct a correct specification of a translation function. Finally, an example of the translation of a CODASYL data base schema to a relational data base schema is given.     

一种串口中断数据帧拼接现象处理研究

在某型以FPGA+C8051单片机架构的控制模块内,采用串行通信总线RS232实现FPGA与单片机之间的数据交互。为实现单片机因外部高优先级的中断触发串口接收中断关闭,导致串口接收再次打开后,出现数据帧错位、数据帧拼接现象的异常问题的解决方案。对单片机接收一帧完整的数据帧时长、接收一帧数据的处理机制、接收数据帧拼接的机制等进行研究处理,并在程序内设置监测点对串口数据帧被外部中断触发中断的关闭时长、中断发生的频次等进行监测; 证实了本次串口数据帧拼接、数据帧错误问题引起的因素为单片机串口接收开启后,受到外部高优先级中断触发串口中断关闭,在执行高优先级中断的同时,FPGA控制软件端并未停止串口数据帧的发送,在单片机串口中断重新开启后,新的串口数据帧与单片机关闭中断前接收的部分数据帧进行拼接,出现数据帧拼接异常现象;且在拼接数据帧中含有与通信协议中数据帧帧尾一致的数据时,该帧数据就会被判读为正常数据帧,从而出现数据解析时,数据帧有拼接、错位的异常问题。采用在通信数据错位异常的软件中增加监测信号及相应的测试用例对串口接收中断关闭时间捕获,实现了对串口数据帧拼接的结果分析和试验验证。对通信数据错位异常采取减小串口中断关闭时间等更改措施后,确保了串口数据帧接收时,因串口关闭时间过长而导致的通信数据数据拼接、错位的异常现象。有效地解决了因串口关闭时间过长带了的数据拼接问题,保证了该控制模块的FPGA与单片机之间通信数据的正常。     

基于Delphi连续大容量数据采集与处理的编程实现

在当今信号处理与分析过程中,要求数据采集的容量大又要连续采集存盘不丢点,并且同时还要进行数据处理;对这方面数据采集的编程有诸多的语言如VB、VC 、Delphi和LabVEIW等。介绍了基于PCI总线的数据采集卡的硬件结构和软件编程;以Delphi语言实现在Windows环境下多任务多线程高速数据采集、存储与数据处理的软件设计方法,采用半满中断方式实现数据采集传输,多线程技术使数据采集与数据处理相独立,数据缓冲队列技术实现了连续大容量存盘和数据处理。以实例验证了软件编程实现的效果。     

面向云数据安全存储的分段融合模糊聚类算法

为了提高云数据的安全存储性能,需要对数据进行优化属性聚类归集。针对传统方法采用模糊C均值聚类进行云数据存储归类设计具有对初始聚类中心敏感、容易陷入局部收敛的问题,提出一种基于分段融合模糊聚类的云数据安全存储模型构建方法。建立云数据安全存储的网格分布结构模型并进行数据结构分析,进行云数据属性集的向量量化特征分解,对海量的云存储数据流采用分段匹配检测方法进行特征压缩,实现冗余数据自适应归集合并,挖掘云数据信息流的高阶谱特征。在模糊C均值聚类算法的基础上采用分段数据融合进行数据分簇模糊聚类,提高数据存储的安全性,同时降低云数据存储的负荷。仿真结果表明,采用该方法进行云数据聚类和优化存储设计,能降低数据聚类的误分率,提高云数据存储的吞吐量,确保云数据的安全存储。