大规模语料中频繁模式增量发现算法

提出一种适用于大规模语料的频繁模式增量发现算法。统计局部区域提取的字符串频度,对局部相对低频字符串进行剪枝。利用多模式串匹配算法,统计剪枝后局部相对高频字符串在整个语料中的频度,得到频度大于阈值的频繁模式。实验结果表明,该算法具有较低的空间复杂度和时间复杂度,内存消耗为基于后缀数组的频繁模式发现算法的20%左右。     

一种支持通道信息关联的多媒体数据流过滤模型

多媒体数据流包含多种数据形态(文本、图片、音视频)和多种通道信息(地址信息、链接信息、时间和会话信息等)。多媒体数据流通道之间具有一定的内容相关性。以往对多媒体过滤的相关工作局限于单一的数据模态,不支持不同模态信息的融合过滤和不同数据通道间的关联过滤。提出了一个新的支持多模态融合过滤和多通道联合过滤的多媒体数据流过滤模型(简称为MCFMS模型)。在真实多媒体数据流上的实验结果证明,在复杂数据流环境下,MCFMS模型可以有效地进行多模态融合过滤和多通道联合过滤。     

基于聚类的网页有意义串提取算法

Since webpage classification is different from traditional text classification with its irregular words and phrases, massive and unlabeled features, which makes it harder for us to obtain effective feature. To cope with this problem, we propose two scenarios to extract meaningful strings based on document clustering and term clustering with multi-strategies to optimize a Vector Space Model (VSM) in order to improve webpage classification. The results show that document clustering work better than term clustering in coping with document content. However, a better overall performance is obtained by spectral clustering with document clustering. Moreover, owing to image existing in a same webpage with document content, the proposed method is also applied to extract image meaningful terms, and experiment results also show its effectiveness in improving webpage classification.     

一种面向数据流模型的流计数算法

在研究数据流过程中,基于现有的概要数据结构Bloom Filter,给出改进的K Bloom Filter结构,从理论上对假阳性误判进行分析,得出两者具有相同的在误判率f0下表示集合规模的上限n0,因此,K Bloom Filter的误判率在可控范围内。提出基于K Bloom Filter的流计数算法,与基于Bloom Filter的流计数算法相比,在相同的空间复杂度O(m)和插入操作时间复杂度O(k)情况下,该算法降低了统计结果的误差。