基于跳跃频繁模式的中文文本分类

基于频繁模式的文本关联分类方法与基于跳跃显露模式的文本分类方法各具优点与不足。本文集成这两种方法．提出基于频繁跳跃模式和非频繁跳跃模式的分类方法。实验结果表明,该方法的分类精度高于关联分类方法而召回率和分类速度优于基于跳跃显露模式的分类方法。有效弥补了两种分类方法的不足。     

基于选择偏爱度的频繁模式挖掘算法

Web技术迅速地发展,如何从庞杂的信息中获取知识已经成为人们迫切希望解决的问题之一。通过对Web日志文件的挖掘可以发现用户的频繁访问模式,找出用户的偏爱度和满意度,进行个性化服务或者帮助站点管理者进行站点的管理和结构。针对如何发现用户的频繁偏爱模式这个问题,本文综合了用户浏览时间和浏览页面的频度这两个决定因素,提出了基于选择偏爱度的使用模式挖掘算法(SPM算法),该算法在一定程度上提高了使用模式挖掘算法的覆盖率和准确率。     

基于Spark的并行频繁模式挖掘算法

在大数据环境下Apriori频繁模式挖掘算法在数据处理过程具有预先设定最小阈值、时间复杂度高等缺陷, 为此采用多阶段挖掘策略实现并行化频繁模式挖掘算法PTFP-Apriori。首先将预处理数据以模式树的形式存储,通过最为频繁的[k]个模式得到最优阈值。然后根据该值删除预期不能成长为频繁的模式以降低计算规模,并利用弹性分布式数据集RDD完成统计项集支持度计数、候选项集生成的工作。实验分析表明相比于传统的频繁模式挖掘算法,该算法具有更高的效率以及可扩展性。     

Web文本挖掘及特征选择

文章介绍了Web挖掘的有关理论，从Web文本挖掘的定义，Web文本挖掘任务的功能等方面加以阐述，然后重点分析了Web文本挖掘，文本的特征表示，特征选择，将多维文本分析与文本挖掘这两种技术有机地结合起来，快速，有效地挖掘Web上的HTML文档，最后，概述了Web文本挖掘的用途和前景。     

基于信息增益的文本特征选择方法

在类和特征分布不均时,传统信息增益算法的分类性能急剧下降。针对此不足,提出一种基于信息增益的文 本特征选择方法(TDpIU)。首先对数据集按类进行特征选择,以减少数据集不平衡性对特征选取的影响。其次运用 特征出现概率计算信息增益权值,以降低低频词对特征选择的千扰。最后使用离散度分析特征在每类中的信息增益 值,过滤掉高频词中的相对冗余特征,并对选取的特征应用信息增益差值做进一步细化,获取均匀精确的特征子集。 通过对比实验表明,选取的特征具有更好的分类性能。     

基于粗糙集的特征选择方法的研究

文本自动分类是指将文本按照一定的策略归于一个或多个类别中的应用技术。文本分类是文本挖掘的基础,而特征选择又是文本分类中的核心。论文分析了以前特征选择方法中由于特征数目过多而造成分类时间和精度不高的缺点,提出了一种基于粗糙集的特征选择方法,其特点是以特征在文本分类中的重要性对特征进行选择。最后通过实验验证了该算法,证明该方法是可行的。     

一种基于双词关联的文本特征选择模型

向量空间模型(VSM)是一种常用的文本特征表示方法,它是基于特征独立性假设建立起来的,将文本看成是由一个个独立的词所构成,这些词之间互不关联,这种方法丢失了文本中词间的一些重要的关联特征信息。基于双词关联的文本特征选择模型是在VSM的基础上,选择文本中相邻的单词之间的关联信息也作为文本特征,从而能更加充分地表达文本的特征信息。实验表明,这是一种更加有效的文本特征选择方法。     

基于关联分析的文本分类特征选择算法

提出一种在选取特征时考虑特征与特征之间联系的算法。对特征词之间的关联关系进行挖掘,找出那些对类别有重要影响的特征词组,而这些特征词组中的每个单词在传统单独打分策略的特征选择算法中很可能会因分值过低而被丢弃。在Ruters21578、20Newsgroup文本数据集上进行实验,将算法与广泛应用的特征选择算法(信息增益、CHI等)进行对比、分析。实验结果表明该方法是一种有特点、有效的特征选择方法。     

基于频繁词集和k-Means的Web文本聚类混合算法

当前,Web文本聚类主要存在三个挑战：数据规模海量性、高雏空间处理复杂性和聚类结果的可理解性。针对上述挑战,本文提出了一个基于top-k频繁词集和k-means的混合聚类算法topHDC。该算法在生成初始聚簇时避免了高维空间向量处理,k个频繁词集对聚类结果提供了可理解的解释。topHDC避免了已有算法中聚类结果受文档长度干扰的问题。在两个公共数据集上的实验证明,topHDC算法在聚类质量和运行效率上明显优于另外两个具有代表性的聚类算法。     

一种文本特征选择方法的研究

在文本分类中,对高维的特征集进行降维是非常重要的,不但可以提高分类精度和效率,也可以找出富含信息的特征子集.而特征选择是有效降低特征向量维数的一种方法.目前常用的一些特征选择算法仅仅考虑了特征词与类别间的相关性,而忽略了特征词与特征词之间的相关性,从而存在特征冗余,影响了分类效果.为此,在分析了常用的一些特征选择算法之后,提出了一种基于mRMR模型的特征选择方法.实验表明,该特征选择方法有助于提高分类性能.     

基于类间分散度和类内集中度的文本特征选择。

特征选择是文本分类的关键步骤之一,所选特征子集的优劣直接影响文本分类的结果。论文首先定义了两种特征分类能力：一种是特征对类间文档的分散程度,该分散度越大越好;另一种是特征对类内文档的聚集程度,该集中度越大越好。然后把这两种特征影响度有机地结合起来设计了一个新的特征选择方法,该方法能够对所选特征进行综合考虑,从而使获得的特征集具有较好的代表性。仿真实验表明所提特征选择方法在一定程度上能够提高文本分类性能。     

文本多分类中的特征选择研究

特征选择是数据挖掘和机器学习等领域内重要的预处理步骤,近年来得到了广泛的关注。文本数据的高维性往往会影响分类等数据挖掘任务的效率,因此特征选择常被作为文本分类过程中的重要组成部分,以达到降维的目的。随着分类技术的快速发展,类别的日益细化,文本的多类分类问题为特征选择方法提出了更多的挑战。本文面向文本多类分类的应用背景,阐述了目前特征选择方法所面临的主要挑战,给出了多分类特征选择方法的主要种类。本文沿着相关研究的发展路线,由易至难,由浅入深,通过对目前多分类特征选择算法的应用情况进行总结,并进行综述评论,最后对全文进行了概括,提出了未来可能的研究方向。     

基于Agent的频繁模式挖掘

频繁模式挖掘是数据挖掘中的一个重要部分,现有的模型具有各自的优点,但在智能性方面表现较差。对于已经存在的Agent系统,多数都是以语言的形式进行描述,本文对Agent进行形式上的描述,并应用到数据挖掘的模型中,使其智能性得到提高,并有很高的可移植性。     

基于类别区分度和关联性分析的综合特征选择

提出一种基于类别区分度和关联性分析的综合特征选择算法。利用类别区分度提取具有较强类别区分能力的特征词,降低特征空间的稀疏性,通过特征的关联性分析衡量特征与类别的相关性及特征之间的冗余度,选出具有类别代表性且相互之间不存在冗余的特征词。实验结果表明,该算法能有效提高分类器性能。     

一种改进离散度的特征选择方法

降维在机器学习中起着至关重要的作用。而降维的方法主要有两类:特征选择和特征提取。离散度方法是特征选择中常用的一种方法,通过计算每个特征的离散度来选择特征,被选择的特征一般都具有较高的离散度值。但是离散度的计算没有考虑到特征间的相互影响。通过改进离散度的计算,不单考虑到类间相同特征对离散度的影响,还考虑到不同特征之间的离散度影响。在UCI数据集上的实验证明,改进离散度的特征选择具有较好的性能。     

一种基于方差的文本特征选择算法

中文文本分类中传统特征选择算法在低维情况下分类效果不佳。为此,提出一种结合方差思想的评估函数,选出具有较强类别信息的词条,在保证整体分类性能不下降的同时,提高稀有类别的分类精度。采用中心向量分类器,在TanCorpV1.0语料上进行实验,结果表明,该方法在低维空间优势明显,与常用的文档频率、信息增益等9种特征选择算法相比,宏平均值均有较大提高。     

一种基于多数组的频繁模式挖掘算法

提出了一种新颖的频繁模式挖掘算法,该算法与现有的挖掘算法相比具有明显的优点,首先,该算法不需要产生候选项集,其次该算法具有更少的数据库扫描次数,该算法在中小型数据库上挖掘关联规则只需要扫描交易数据库一次,对于大型交易数据库的关联规则挖掘最多也只需要扫描交易数据库两次。因而,该算法与现有的频繁模式挖掘算法相比具有更高的效率。     

面向短文本的特征选择及文本表示

短文本由于其稀疏性、实时性、非标准性等特点,在文本特征选择和文本表示方面存在较多问题,从而影响文本分类精度。针对文本特征选择方面存在较高的特征维数灾难的问题,提出一种二阶段的文本特征选择算法。首先在互信息算法的基础上,引入平衡因子、频度、集中度、词性及词在文本中的位置等5个指标对互信息值进行计算,然后将排序结果靠前的特征集初始化进行遗传算法的训练从而得到最优特征集合。因为TFIDF在计算时针对的是整篇语料而没有考虑类间分布不均的情况,在计算IDF公式时引入方差,并将改进后的TFIDF公式对Word2Vec词向量进行加权表示文本。将改进算法应用在人工构建的百科用途短文本语料集中进行实验,实验结果表明改进的文本特征选择算法和文本表示算法对分类效果有2%~5%的提升。     

基于GPU的文本特征选择与特征加权

通过对GPU通用计算与文本分类的研究,提出了一种基于GPU的文本特征选择与加权方法。首先介绍了文本分类中常用的特征选择方法和特征加权方法,并在GPU上实现了其中的DF(文档频率)方法和TFIDF方法。实验结果显示,利用提出的并行特征选择与加权方法能能有效的提高特征选择与加权过程的速度。