基于数据世系的微博信息管理与检索算法研究

在微博平台中用户的消息以流的形式按照时间顺序到达系统,对微博数据流的有效管理可以及时地响应用户的查询操作。基于数据库的数据世系思想,提出了一种基于数据世系的微博信息管理方法。首先,根据事件的产生、发展以及变化,将同一社会事件包含的消息定义为数据世系;其次,将微博消息流划分为不同的数据世系,并根据新消息动态地维护数据世系集合;最后,应用数据世系中的文本消息响应用户的查询。实验表明,基于数据世系的微博信息管理方法使用的内存少,运行效率高,可用于微博消息流的实时处理及查询响应工作。     

不确定性数据管理技术研究综述

随着数据采集和处理技术的进步,人们对数据的不确定性的认识也逐步深入,在诸如经济、军事、物流、金融、电信等领域的具体应用中,数据的不确定性普遍存在,不确定性数据的表现形式多种多样,它们可以以关系型数据、半结构化数据、流数据或移动对象数据等形式出现,目前,根据应用特点与数据形式差异,研究者已经提出了多种针对不确定数据的数据模型,这些不确定性数据模型的核心思想都源自于可能世界模型,可能世界模型从一个或多个不确定的数据源演化出诸多确定的数据库实例,称为可能世界实例,而且所有实例的概率之和等于1.尽管可以首先分别为各个实例计算查询结果,然后合并中间结果以生成最终查询结果,但由于可能世界实例的数量远大于不确定性数据库的规模,这种方法并不可行,因此,必须运用排序、剪枝等肩发式技术设计新型算法,以提高效率.文中介绍了不确定性数据管理技术的概念、特点与挑战,综述了数据模型、数据预处理与集成、存储与索引、查询处理等方面的工作.     

一种基于概率图模型的不确定性数据世系表示方法

不确定性数据的世系分析是基于数据产生和演变的过程来跟踪数据不确定性的来源.为了有效地描述数据间复杂的相关性及不确定性,并从理论上保证世系分析中概率计算的正确性,文中研究了基于贝叶斯网这一重要的概率图模型的不确定性数据世系表示方法.以世系的布尔公式和不确定性数据本身为出发点,提出了将布尔公式等价转换为贝叶斯网的方法,并讨...     

面向RFID数据流冰川查询的世系追踪模型

为了获得RFID数据流中热门元素以及相关起源的信息,需要对RFID数据流进行带起源信息的冰川查询。以RFID数据流中单个数据对象的世系追踪为研究对象,分析在海量RFID数据流基础上返回极少查询结果的冰山查询执行机理,初步建立一个面向RFID数据流冰山查询的数据流世系跟踪原型模型。     

基于模式映射的查询计划生成算法

因特网的迅速发展使得多数据源综合集成日益重要.但是，不同数据源之间数据结构和语义的异构性导致数据集成是相当困难的.本文提出了一种基于模式映射的查询计划生成算法.该算法在正确定义映射规则的前提下，根据不同的查询条件和不同的数据源模式，自动构造查询计划，并保证结果数据满足目标模式结构与引用完整性要求.     

基于轻映射的数据集成系统

数据集成系统提供了一个针对多数据源的统一查询接口。GAV和LAV两种集成映射方法均难以适应数据源和全局视图变化频繁的情况。对此,文章提出一种基于轻映射的数据集成方法来解决这一问题。首先定义了最小视图作为映射的基础,利用函数依赖关系把关系模型分解为最小视图集合,从而把关系映射转换为基本属性的映射。基于该方法,构造了查询重构算法,把基于全局模式的查询转换到基于数据源模式的查询,并通过一些实例加以说明。     

基于数据世系的网络协同入侵检测系统

目前还没有很好的入侵检测方法可以直接对网络复合攻击进行关联分析并获得较好的超报警规则.针对此问题,提出一种基于数据世系的网络协同入侵检测新方法:采用SYSLOG机制设置日志服务器,通过PERM重写技术获得日志世系数据库;利用where世系定位复合攻击者,why世系重构攻击过程,并获得攻击链的信息和超报警规则.数据世系理论和实验证明新方法是可行和有效的.     

基于事件流数据世系的恶意网络行为检测方法

目前网络攻击呈现高隐蔽性、长期持续性等特点,极大限制了恶意网络行为检测对网络攻击识别、分析与防御的支撑。针对该问题,提出了一种基于事件流数据世系的恶意网络行为检测方法,采用事件流刻画系统与用户及其他系统间的网络交互行为,构建数据驱动的事件流数据世系模型,建立面向事件流数据世系相关性的异常检测算法,从交互数据流角度分析和检测恶意网络行为事件,并基于事件流数据世系追溯恶意网络行为组合,为网络攻击分析提供聚焦的关联性威胁信息。最后通过模拟中间人和跨站脚本组合式网络渗透攻击实验验证了方法的有效性。     

Web数据空间技术研究

基于数据空间的概念,提出了一种新的Web数据管理方法:Web数据空间。阐述了Web数据空间概念及其特性。在此基础上,进一步从数据源的发现、模式匹配、数据模型、数据查询、数据演化、世系管理、群体协作与存储索引几个方面对Web数据空间相关研究工作进行了总结分析。最后讨论了Web数据空间研究面临的挑战与未来的研究工作。     

基于XML的VMO数据集成系统的构想与实现

针对虚拟制造组织(VMO)环境下数据源分散、分布和异构等特点,提出了一种符合中间件标准的数据集成系统解决方案.系统通过SOAP管理器和异构数据源包装器的封装来解决数据源的分散性和分布性,运用XML全局数据模式技术来解决数据源的异构异质,同时利用虚拟数据库、查询优化等技术来提高整个系统的性能和效率.举例说明了网络化制造信息服务平台中查询操作的流程实现.     

科学数据溯源描述模型及规范设计与思考

数据溯源技术对保证数据密集型科研的再现、验证和重用具有极为重要的作用。本文结合科学数据管理的特点和需求,在现有溯源技术的基础上,重点对溯源描述模型及规范进行了研究设计。其中对溯源内容构成模型进行完善,提出了 W7+R3 模型,并基于此细化设计了溯源内容元数据规范;同时对现有溯源表达模型进行了优化,设计了一种实用轻量级的溯源表达模型。文章最后对科研过程中溯源管理的发展提出了建设性的建议和思考。希望本文的研究对于规范科学数据溯源管理具有一定的基础性参考和指导价值。     

数据起源安全研究综述*

数据起源是描述数据来源及其所经历处理过程的元数据。数据起源常用于数据错误溯源、数据重建和数据可信性验证。起源安全是制约起源技术大规模应用的关键瓶颈。为推动起源安全研究,本文首先从完整性、机密性和可用性三方面分析了起源安全的内涵;然后介绍了目前广受关注的起源安全机制：起源过滤和起源感知的访问控制,分别分析了这两类起源安全机制的主要特征,并对比了现有工作的优点和不足;最后指出了起源安全研究的发展方向。     

ProGen:海量数据的出处数据库生成器

出处对于研究人员,特别是对科学家判断数据和实验的正确性和时效性尤其重要。随着数据库视图实体化技术和数据标注/修订技术的广泛应用,出处的研究正逐渐成为一个新的研究热点。合适的出处数据集是测试出处管理的新技术/算法的功能准确性和性能的基础之一,而在获得真实数据之前能够生成尽可能真实的模拟出处数据,对验证和改进算法同样具有关键作用。给出了一个新的出处数据库生成器ProGen,能够根据数据出处所使用的关系模式和出处上的标注约束来生成所需规模的出处数据库,实验表明所给出的实现是高效、可伸缩的。     

基于原语的通用起源过滤框架

现有起源过滤机制的通用性差,一个过滤机制仅能过滤某一特定类型的敏感元素,处理包含多种类型敏感元素的综合性起源过滤需求仍然非常困难,为此提出了一种基于原语的通用起源过滤框架。首先,介绍了起源过滤涉及的敏感元素类型以及过滤约束;其次,深入分析已有过滤机制改造起源图的基本操作和过程,形式地定义了一系列起源过滤原语,描述针对起源图的最小改造操作,将起源过滤过程划分为隐藏敏感元素、恢复有用依赖和验证过滤约束三个阶段,提出了一种基于原语组装的分阶段过滤策略空间构造方法;最后设计并实现了基于原语的通用过滤算法,并在公开数据集上验证了该算法的可行性。     

Nonintrusive collection and management of data provenance in scientific workflows

In this paper, we introduce an efficient mechanism to collect, store, and retrieve data provenance information in workflows of multiphysics simulations. Using notifications, we enable the nonintrusive collection of information about workflow events during workflow execution. Combining these events with workflow structure information, constant for every execution of a workflow, we obtain the data provenance information for the specific run of the workflow. Data provenance information is structured into a graph that represents workflow events on the basis of their causal dependency. We use a graph database to store this graph and utilize the traversal framework provided, to efficiently retrieve data provenance information from the graph by traversing backwards from a data object to every workflow event that is part of its provenance. Finally, we integrate data provenance information with semantics of workflow services to provide complete and meaningful data provenance information. Copyright © 2012 John Wiley & Sons, Ltd.     

数据起源技术发展研究综述*

在总结国内外相关文献基础上,系统介绍了数据起源的概念、内容及其主要应用,介绍了数据起源的基础研究和开放环境下两个典型的形式化模型,然后介绍了其在数据库和工作流及其他领域的应用,对现有成熟的起源管理系统进行了分析和比较,最后展望了数据起源技术的发展方向。     

数据起源技术发展研究综述*

在总结国内外相关文献基础上,系统介绍了数据起源的概念、内容及其主要应用,介绍了数据起源的基础研究和开放环境下两个典型的形式化模型,然后介绍了其在数据库和工作流及其他领域的应用,对现有成熟的起源管理系统进行了分析和比较,最后展望了数据起源技术的发展方向。     

支持起源回溯的最小化标识属性传播

数据起源主要描述数据的来源及随时间演化的过程。最小化查询数据表的标识属性传播是一个亟待解决的问题。通过构建等值传播链表EPL描述查询中的等值连接及其传递性,并基于EPL给出朴素标识属性传播方法实现高效溯源信息传播。然而标识属性通过等值连接可以识别非标识属性数值,简单地传播数据表的标识属性数值导致起源数据冗余传播。为避免溯源信息冗余,提出完全标识属性传播格及其剪枝策略,给出基于格剪枝的最优标识属性传播方法,实现溯源信息的最小代价传播。基于TPC-H Benchmark和人造数据集IAP-DB的实验结果验证了提出的基于标识属性传播的溯源方法可以高效实现数据起源信息传播。     

一种基于UML模型的起源感知访问控制策略分析方法

起源(Provenance)是记录数据演变历史的元数据。最近研究者提出起源感知的访问控制,通过追溯和分析访问者或被访问对象的起源来决定允许或拒绝访问请求。由于起源通常由系统在运行时记录并呈现为复杂的有向图,识别、规约和管理起源感知的访问控制策略非常困难。为此,提出了一个基于UML模型的起源感知访问控制策略分析方法,包括对复杂起源图的抽象建模技术以及一个在面向对象的软件开发过程中系统地建立起源模型、规约起源感知访问控制策略的参考过程指南。最后结合企业在线培训系统案例说明如何应用所提出的方法。