数据溯源技术综述

系统介绍数据溯源的定义,并从数据溯源的方法、模型和应用等三个方面进行了总结.概述了7种数据溯源模型:流溯源信息模型、时间-值中心溯源模型、四维溯源模型、开放的数据溯源模型OPM、Provenir数据溯源模型、数据溯源安全模型和PrInt数据溯源模型,总结出异构数据的溯源模型.并对目前最为广泛的几种溯源方法进行分析和比较,在此基础上,为达到节省存储空间的目的,提出标注信息列存储的思想.本文分别从数据库领域、工作流领域和其它应用领域三个方面描述了数据溯源的应用,并结合典型的实例加以说明.最后展望了数据溯源的研究热点以及发展方向.     

一种基于RBAC的数据权限模型的设计与实现

分析基于角色的访问控制模型,提出一种基于RBAC模型的数据权限模型,数据权限模型加强了对数据权限的管理,使得数据权限管理具有更好的扩展性和实用性。本文给出了数据权限模型的设计和实现方法,对于具有多层次数据权限管理需求的系统软件权限管理的设计和开发具有参考价值。     

基于数据敏感性的大数据访问控制模型研究

最近大数据的增长正在引发安全和隐私问题,传统的访问控制模型难以对海量数据提供动态的访问控制。针对Hadoop云平台的数据安全问题,提出了一个基于数据敏感性的Hadoop大数据访问控制模型。模型利用数据内容、使用模式和数据敏感性来强化访问控制策略,在评估数据敏感性上用户干预最小,能根据数据集的增加和删除所引起的数据敏感性变化来调整访问控制策略。实验结果表明,该模型能够以较少的开销增强对非多媒体数据集的访问控制,解决了现有Hadoop平台中访问控制模型安全性的不足。     

大数据环境下基于元模型控制的数据质量保障技术研究

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型,并对数据集成过程中的各种映射规则进行了详细的定义,通过将抽取、转换、加载环节的元模型和映射机制相结合,能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析,验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。     

基于BiLSTM-XGBoost混合模型的储层岩性识别

储层岩性分类是地质研究基础, 基于数据驱动的机器学习模型虽然能较好地识别储层岩性, 但由于测井数据是特殊的序列数据, 模型很难有效提取数据的空间相关性, 造成模型对储层识别仍存在不足. 针对此问题, 本文结合双向长短期循环神经网络(bidirectional long short-term memory, BiLSTM)和极端梯度提升决策树(extreme gradient boosting decision tree, XGBoost), 提出双向记忆极端梯度提升(BiLSTM-XGBoost, BiXGB)模型预测储层岩性. 该模型在传统XGBoost基础上融入了BiLSTM, 大大增强了模型对测井数据的特征提取能力. BiXGB模型使用BiLSTM对测井数据进行特征提取, 将提取到的特征传递给XGBoost分类模型进行训练和预测. 将BiXGB模型应用于储层岩性数据集时, 模型预测的总体精度达到了91%. 为了进一步验证模型的准确性和稳定性, 将模型应用于UCI公开的Occupancy序列数据集, 结果显示模型的预测总体精度也高达93%. 相较于其他机器学习模型, BiXGB模型能准确地对序列数据进行分类, 提高了储层岩性的识别精度, 满足了油气勘探的实际需要, 为储层岩性识别提供了新的方法.     

异构数据库数据类型转换模型

近年来,异构数据的转换和集成是企业应用集成（EAI）一个重要部分.对异构数据库之间的数据转换和共享也成为其主要研究方向之一.在参考了其他数据转换模型的基础上,提出了基于XML文件的数据转换模型DCMHD（Data Conversion Model of HeterogeneousDatabase）.通过模型自定义数据类型,数据库和数据库之间的数据转换可以简化为数据库与系统之间的数据转换,显著提高了系统的稳定性和可扩展性;并且采用XML作为传输介质,易于异构数据的传输和共享,最后给出了模型的主要实现.     

炼化企业生产数据集成应用平台的设计与实现

智能炼厂建设的核心是对生产过程的智能管控,建立生产计划优化模型和各类装置的模拟优化模型是其中的重要内容。这些模型的建立和应用涉及到企业多个应用系统中的大量数据,收集、整合各类数据是智能优化工作中重要而繁琐的工作,针对某炼化企业智能优化工作的需求,开发了生产数据集成应用平台。数据集成应用平台的开发采用了先进的B/S技术、数据库技术,通过定时对各类生产数据进行采集整理,生成完善的模型支撑数据库,实现了各类装置数据的快速、方便查询;所具有的数据处理功能多层次展示数据变化趋势,方便用户筛选有效数据;数据应用模版的建立,提高了优化模型建模的便利性和建模数据的可靠性。数据集成应用平台运行稳定,界面友好,效率高,系统响应速度小于15秒,为计划优化模型和过程模拟优化模型的建模及应用提供了及时、准确的数据支撑,为进一步的企业生产优化和智能炼厂建设奠定了数据基础。     

基于领域本体的数据--知识转换模型研究

在分析数据——知识转换机制的基础上,引入本体的概念,根据本体的分类,基于领域本体提出了数据——知识转换模型。结合领域本体的定义,对数据——知识转换模型从领域知识基本描述、概念集合和关系集合三个角度加以分析,实现了相关的子模型,从而得出了完整的数据——知识转换模型,并基于该模型给出了具体的数据——知识转换文本(片断)。     

联合科学数据中心的在线水文模型服务研究

在线水文或陆面过程模型服务可以为广泛的网络用户提供数据分析、预报预警和决策支持等功能。随着科学数据共享环境发展的日趋成熟,如何便捷地利用丰富的在线数据资源成为在线模型的新挑战。当前的在线模型服务研究对于复杂多样的模型数据和参数需求的标准化不足,且缺少与科学数据中心的紧密协作。建立了一个模型服务器、数据服务器、客户端三方紧密协作的在线模型服务方案。结合一般性工作流程,基于标准化的服务接口来构建在线的水文和陆面过程模型和数据服务,重点介绍了在线服务架构、主要接口及实现的关键技术,包括模型数据和参数的传递和格式转换、数据服务器数据查询的实现和模拟结果的返回。这套方案充分利用了模型服务器的计算优势和科学数据中心的资源,可以被复制和扩展到其他类似应用。     

基于扩展数据对象Petri网的工作流模型的研究

通过对当前工作流模型研究现状的总结分析,发现针对工作流中的数据信息的建模方法还存在局限性。因此,通过结合过程模型和数据对象模型,提出了一种扩展数据对象工作流Petri网模型,并给出了模型的形式化定义。     

基于网络分布式文件系统设计与实现路径

设计了一款网络分布式文件系统。该系统基于软件定义网络,通过充分应用其底层网络动态数据资源完成实时数据传输最佳路径的获取,使分布式文件系统的性能通过有效导引分布式文件系统中的大数据流而得以显著提高。通过构建的分布式文件系统原型对文件读写及修复操作进行测试,同传统网络环境相比,基于软件定义网络环境的分布式文件系统的读写及修复能力均得以显著提升,更适用于网络数据流量大且异构明显的情况。     

一种基于目录数据分离存储的文件存储方法的研究与实现简

针对现有文件系统安全存储的问题设计了一种目录数据分离存储的文件存储方法。打破以往文件存储的固有模式,将文件存储拆分为目录数据存储与文件数据存储两部分,将两部分数据采取单独存储分别管理的方法,提高了文件存储的安全性,并且节省了文件存储的空间。通过编程将这种文件的存储方法进行了设计实现     

基于文件过滤驱动的文本数字水印研究与实现

电子文档易于编辑,存储和传输,在提高办公效率的同时也具有数据安全隐患。为了对文件实施加解密保护,防止加密文件被泄露,提出了一种基于文件过滤驱动和数字水印的文件保护方案。首先研究了Minifilter技术的在内核层的加解密原理并使用这项技术开发出微过滤驱动程序。通过对文件I/O请求进行拦截,添加保护功能,对文件数据实施加密保护。接着,结合高级加密标准（AES）算法和海明码编码技术,使用Minifilter技术对无格式文本中的数据进行水印信息的嵌入。最后,实现了基于文件过滤驱动的文本数字水印系统,通过测试表明这个系统可以加强文件数据的安全性,为文本数据提供了更全面的保护,提出的文本水印算法在保证足够水印容量的前提下具有良好的不可见性和鲁棒性。     

Design and implementation of a file system with on‐the‐fly data compression for GNU/Linux

Data compression techniques have long been assisting in making effective use of disk, network and other resources. Most compression utilities require explicit user action for compressing and decompressing of file data. However, there are some systems in which compression and decompression of file data is done transparently by the operating system. A compressed file requires fewer sectors for storage on the disk. Hence, incorporating data compression techniques into a file system gives the advantage of a larger effective disk space. At the same time, the additional time needed for compression and decompression of file data gets compensated for to a large extent by the time gained because of fewer disk accesses. In this paper we describe the design and implementation of a file system for the Linux kernel, with the feature of on‐the‐fly data compression and decompression in a fashion that is transparent to the user. We also present some experimental results which show that the performance of our file system is comparable to that of Ext2fs, the native file system for Linux. Copyright © 1999 John Wiley & Sons, Ltd.     

多处理机环境下UNIX文件系统的设计和实现

本文论述了在多处理机环境下UNIX 文件系统的设计和实现,以保证文件系统运行的正确性和极大限度地开发信息处理的并发性。文中提出多处理机UNIX 文件系统的模型、结构及特点。着重论述多处理机UNIX 文件系统主要数据结构低层缓冲区和内部其他数据结构的组织和管理。最后论述了多处理机环境中出现的数据一致性问题。     

一种基于Linux的flash文件系统存储策略

随着嵌入式系统的广泛应用,嵌入式系统中的数据存储和数据管理显得日益重要.本文主要介绍flash存储器的存储特点,Linux文件系统的两类存储策略:块式存储和线性存储,并在此基础上提出了一种改进的简单日志文件系统的存储策略.     

基于数据挖掘的文件元数据预取探究

在文件存储系统中,文件系统整体性能的提升对于保证文件的安全性和可靠性具有重要意义,而在此过程中,元数据访问性能与文件系统性能有密切关系,要想进一步满足大规模文件存储系统需要,就必须建立相应的文件元数据预取模型。本文通过对基于数据挖掘的文件元数据预取进行分析,以期满足文件数据的大量存取访问需求。     

A unified framework for designing high performance in-memory and hybrid memory file systems

The emerging non-volatile memory technologies provide a new choice for storing persistent data in memory. Therefore, file system structure needs re-studying and re-designing. Our goal is to design a framework that gives high-performance in-memory file accesses and allows a file whose data can be stored across memory and block device. This paper presents a novel unified framework for in-memory and hybrid memory file systems based on the concept that each file has a contiguous “File Virtual Address Space”. Within this framework, the file access for in-memory data can be efficiently handled by address translation hardware and the virtual address space of file. The file accesses for data in block devices are handled by a dedicated page fault handler for file system. A file system called Hybrid Memory File System (HMFS) is implemented based on this framework. Experimental results show that the throughput of HMFS approaches the memory bus bandwidth in best cases. Compared with in-memory file systems, HMFS reaches 5 times, 2.1 times, and 1.6 times faster than EXT4 on Ramdisk, RAMFS, and PMFS, respectively. Compared with EXT4 on SSD and EXT4 using page cache, HMFS also achieves 100 times and tens of times performance improvement, respectively.     

Windows NTFS下数据恢复的研究与实现

针对由主观或客观因素造成计算机中数据丢失的情况,提出一种Windows NTFS文件系统下数据恢复的实现方案.介绍了NTFS文件系统在磁盘上的结构,重点分析了NTFS文件系统的核心--主文件表MFT,文件记录的结构和文件的几个关键属性.通过分析文件删除前后文件记录中属性值的变化,详细阐述了数据恢复的具体实现.     

基于Nand Flash的嵌入式文件系统设计

随着嵌入式系统越来越广泛的应用,嵌入式系统中的数据存储和数据管理已经成为一个重要的研究课题.文中克服了Nand Flash存储介质的固有的缺点,在FAT16文件系统的基本原理之上提出了改进方案,较好地解决了以扇区为单位的文件系统和以块为单位的Flash之间的矛盾,使FAT16成为适合嵌入式系统应用的文件系统.文中采用缓存技术,实现了基于Nand Flash K9F2808的嵌入式FAT16文件系统,对外提供了对文件和文件目录操作的各种API函数.本文件系统已应用在嵌入式医疗血液检测设备上,速度性和稳定性都满足应用要求,表明本文件系统的设计的合理性.