一种扩展条件函数依赖的发现算法

扩展条件函数依赖(extended conditional functional dependency,eCFD)是一种描述数据一致性的语义规则,是条件函数依赖(conditional functional dependency,CFD)的扩展.相比于CFD,eCFD能够描述更多的模式从而表达更丰富的语义信息.然而,关注eCFD的研究工作并不多.从给定数据中发现eCFD规则是一个重要问题,据笔者所知,目前还没有这方面的工作.该问题的难点在于,给定数据中所有合法的eCFD规则之间存在不一致的情况,且包含大量冗余,而CFD和传统的函数依赖规则并没有这样的问题.为避免不一致,同时尽可能地消除冗余,定义了“强合法eCFD”和“近似无冗余eCFD”.基于这些概念给出了eCFD发现问题的形式化定义,并给出了MeCFD算法.利用划分属性的方法,MeCFD首先生成所有的基本eCFD,然后,通过合并基本eCFD来构造“组合eCFD”.使用先深序来搜索候选空间,使得MeCFD仅用常数的存储空间来维护数据划分,节省了大量的空间开销,有效的剪枝策略被用来改进MeCFD的性能.真实数据集上的实验结果显示出MeCFD良好的可扩展性以及剪枝策略和优化方法的有效性.     

SAJ:以最小化空间代价为目标的F&B索引构建算法

F&B索引及其相关技术是XML结构化索引研究方面的热点问题.利用树模型XML文档特有的结构性质,以最小化空间代价为目标,提出了一种新的F&B索引创建算法.该算法以后根顺序遍历XML文档,通过合并节点构建F&B索引,避免了将整个文档读入内存,极大地减少了构建索引需要的空间.理论分析和实验结果表明,该算法在创建索引过程中拥有很好的时空性能,有利于F&B索引的广泛应用.     

实体识别问题的相关研究

随着信息技术的发展,信息时代已经全面到来了。在信息"量"爆炸性增长的同时,近年来,"质"的问题也已经引起了产业界和研究人员的关注。"劣质"数据极大地降低了信息的可用性,提供给用户不精确的、缺失的、冗余的、陈旧的甚至是错误的信息,无法给用户带来正确的知识,并可能误导用户做出错误的决策,从而给用户造成损失。数据质量有六个主要维度:精确性、完整性、时效性、一致性、相关性和实体同一性。综述了数据质量中实体同一性方面的相关工作,并针对特定的技术展开讨论。     

大数据的一个重要方面:数据可用性

随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也随之而来,数据可用性受到严重影响,对信息社会形成严重威胁,引起了学术界和工业界的共同关注.近年来,学术界和工业界开始研究数据可用性问题,取得了一些的研究成果,但是针对大数据可用性问题的研究工作还很少.介绍了大数据可用性的基本概念,讨论大数据可用性的挑战,探讨大数据可用性方面的研究问题,并综述数据可用性方面的研究成果.     

基于键规则的XML实体抽取方法

XML上实体抽取问题的任务是要从XML数据中抽取出描述现实世界某个物理实体的数据实体.利用XML查询提供实体的表示方法,基于键规则中有关实体的语义信息,给出了求解XML上实体抽取问题的基于键规则的实体抽取(key-based entity extraction,KEE)方法.KEE方法利用查询松弛技术,自动地生成抽取实体的候选查询集合,基于相似性测度,从候选查询中选取适用于抽取实体的查询集合.作为KEE方法的一个具体实现,SharingEE算法利用标准化的查询松弛技术,减少了候选查询中的冗余,利用基于自动机的查询处理技术,在多个候选查询之间共享中间结果,从而减少计算开销.在真实和模拟数据上运行的实验验证了算法的效率和有效性.实验结果表明,KEE方法可以很好地解决实体抽取问题,并可以扩展到大规模数据上.