一种四维向量空间模型的Web新闻文本分类方法

文本分类研究逐渐成为网络文本挖掘的研究热点,针对中文文本进行自动分类的研究也在逐渐升温.针对新闻文本的特殊性,在文本分类中经典的向量空间模型的基础上,提出了一套改进的四维向量空间模型及自适应追踪策略,进而提高了新闻文本分类的效果.实验结果表明,算法可以使传统空间向量模型的分类性能由81.5%提高至92.49%,证明算法是有效的.     

基于改进果蝇优化算法的投诉举报文本分类

为解决投诉举报文本分类困难这一问题,提出一种基于改进果蝇优化算法的文本分类方法.针对果蝇优化算法存在的搜索半径相对固定、种群多样性低等问题,对算法进行改进;采用支持向量机建立文本分类模型,利用改进后的果蝇优化算法对支持向量机的参数进行动态寻优,以此提高模型的分类精度.实验结果表明,该文本分类方法的准确率和召回率相比于文...     

基于余弦距离度量学习的伪K近邻文本分类算法

距离度量学习在分类领域有着广泛的应用,将其应用到文本分类时,由于一般采用的向量空间模型(VSM)中的TF*IDF算法在对文本向量表达时向量均是维度相同并且归一化的,这就导致传统距离度量学习过程中采用的欧式距离作为相似度判别标准在文本分类领域往往无法取得预期的效果,在距离度量学习中的LMNN算法的启发下提出一种余弦距离度量学习算法,使其适应于文本分类领域,称之为CS-LMNN.考虑到文本分类领域中样本类偏斜情况比较普遍,提出采用一种伪K近邻分类算法与CS-LMNN结合实现文本分类,该算法首先利用CS-LMNN算法对训练数据进行距离度量学习,根据训练结果对测试数据使用伪K近邻分类算法进行分类,实验结果表明,该算法可以有效的提高分类精度.     

生物医学文本分类方法比较研究

文本分类技术对处理海量的生物医学文献起着重要的作用。TREC(The Text Retrieval Conference)2005 Genomics Track的测评结果显示,支持向量机(Surport Vector Machine,SVM)在生物医学文本分类问题上,比其他模型具有明显的优势。在TREC的测评语料上,使用简单向量距离分类法与SVM进行比较,同时讨论了使用命名实体识别的预处理对不同算法的影响。得出结论:简单向量距离分类法在该领域的效果与SVM不相上下,并且命名实体识别会使结果有一定提高。     

一种快速KNN文本分类算法

KNN(K-Nearest Neighbor)是向量空间模型中最好的文本分类算法之一。但是,当样本集较大以及文本向量维数较多时,KNN算法分类的效率就会大大降低。该文提出了一种提高KNN分类效率的改进算法。算法在训练过程中计算出各类文本的分布范围,在分类过程中,根据待分类文本向量在样本空间中的分布位置,缩小其K最近邻搜索范围。实验表明改进的算法可以在保持KNN分类性能基本不变的情况下,显著提高分类效率。     

一种改进的SVM文本分类算法

在研究基于支持向量机进行文本分类一般步骤的基础上,针对Key-Substring-Group文本分类算法存在非线性支持向量机对核函数和参数C的强依赖的问题,用欧氏距离代替支持向量机训练得到的分类决策面进行分类决策,对文本分类算法进行改进。通过对比试验,发现分类效果不会随着核函数及参数C的变化而有明显的波动。     

基于LSA和SVM的文本分类模型的研究

为了提高文本分类的准确性,研究并设计了一个基于潜在语义分析和支持向量机的多类文本分类模型.利用潜在语义分析进行特征抽取,消除多义词和同义词在文本表示时造成的偏差,并实现文本向量的降维.使用具有良好分类精度和泛化能力的支持向量机进行分类,提出一种改进的一对一多类分类算法,改善不可分问题.实验结果表明,该模型在类别数目较少时具有较好的分类效果.     

KNN文本分类算法研究

KNN(K-NearestNeighbour)是向量空间模型中最好的文本分类算法之一。文中介绍了KNN算法的基本思想,归纳了针对KNN算法的不足而提出的改进算法。对KNN文本分类算法的理论研究和实际应用起了指导作用。     

基于改进PSO的SVM文本分类研究

提出基于改进PSO优化支持向量机的文本分类方法,首先采用向量空间模型对文本特征进行提取,使用互信息对文本特征进行降维,然后提出改进PSO算法,该算法可实现对SVM参数的精确、稳定、快速优化选择,对支持向量机进行训练,使用训练后的分类器对新的文本进行分类,实验结果表明该方法具有良好的分类性能。     

一种基于KNN用户兴趣快速分类算法

用户兴趣的快速分类是个性化检索系统的关键技术,而KNN(K-Nearest Neighbor)是向量空间模型中最好的文本分类算法之一.本文分析了KNN分类法存在的不足,提出了一种用户兴趣快速分类算法,形式化地描述了用户兴趣模型的建立和兴趣更新过程.实验表明改进的算法可以在保持KNN分类性能基本不变的情况下,显著提高分类效率.     

TCBPL:一种高效文本分类新方法

根据模式聚合理论（PA）和隐含语义分析理论（LSA）提出了一种文本分类新方法——TCBPL方法,该方法应用PA理论和LSA理论来构造向量空间模型,大大削减了特征向量的维数,同时增强了稀有词的作用,并在特征向量中引入了语义成分,从而提高了分类的速度和精度。     

一种基于粗糙集的Web文本分类方法

随着Web信息容量迅速膨胀,对Web文本分类已经是目前研究的热点.传统的Web文本分类对网页的预处理基本上没有考虑网页中的大量噪音,因此对分类结果有一定的影响;另一方面,文本的向量空间模型维数过高,对分类效果也存在很大的影响.提出一种基于粗糙集理论的Web文本分类方法,首先对网页进行去噪,然后对向量空间模型进行属性约简,之后构造分类器,实验表明,此方法不仅降低了维数,还提高了分类结果.     

一个结合信息相关性分析的快速文本分类模型

如何准确地实现文本的有序组织，是自然语言处理的一个重要研究方向。本文首先介绍了文本分类的研究现状，讨论了基于向量空间模型的分类法的基本思想。在此基础上，通过对文本识别本质的研究，在向量空间模型的基础上，提出一种新的结合了信息相关性分析的文本分类模型ICFM(Information Correlation based Fast text categorization Model)，并以实验验证了该模型的性能。     

基于模糊决策树的文本分类规则抽取

提出一种合并分枝的模糊决策树文本分类方法对相似文本类进行分类,并可抽取出分类精度较高的模糊分类规则。首先研究改进了的χ²统计量,并根据改进的χ²统计量对文本的特征词条进行聚合,有效地降低了文本向量空间的维数。然后使用一种合并分枝的模糊决策树进行分类,大大减少了抽取的规则数量。从而既保证了决策树分类的精度和速度,又可抽取出可理解的模糊分类规则。     

一种基于向量空间模型的文本分类方法

介绍的文本分类是指在给定分类体系下，根据文本的内容自动确定文本类别的过程。通过分析网页的特点及因特网用户感兴趣的查询信息，提出了一种基于机器学习的、独立于语种的文本分类模型。这一模型的关键算法主要利用字间的相关信息、词频、页面的标记信息以及对用户的查询信息的浅层语义分析，提取网页特征，并计算可调的词频加权参数和增加特征词的可分性信息，然后通过本类和非本类训练，建立预定义类的特征向量空间，进一步对文本进行分类。这种分类方法在相似文本分类中具有明显的优势。     

一种用于大规模文本分类的特征表示方法

随着网络和信息技术的迅猛发展,文本分类成为处理和组织大量文档数据的关键技术。文本的特征表示严重地限制了文本分类性能的提升。以经典的向量空间模型和tf-idf权值计算公式为基础,提出了以应用于文本分类为目的的权值改进公式p-idf公式。在比较了贝叶斯、K近邻、神经网络和支持向量机四种典型的文本分类器的基础上,采用支持向量机分类器搭建了一个文本分类试验系统。经过科学的试验比较了tf-idf、p-idf、LTC三种权值公式在文本分类系统中对分类器性能的影响,证实了所提出的p-idf公式的合理性和有效性。     

基于主动学习支持向量机的文本分类

提出基于主动学习支持向量机的文本分类方法,首先采用向量空间模型（VSM）对文本特征进行提取,使用互信息对文本特征进行降维,然后提出主动学习算法对支持向量机进行训练,使用训练后的分类器对新的文本进行分类,实验结果表明该方法具有良好的分类性能。     

模糊聚类在中文文本分类中的应用研究

将基于等价关系的模糊聚类技术应用于中文文本分类,提出了基于模糊聚类的中文文本分类算法ATCFC。该算法利用基于二级字索引的正向最大匹配算法对文本分词,建立模糊特征向量空间模型,使用贴近度法刻划文本间的相似度。利用算法ATCFC对文本集合进行动态聚类实验,实验结果表明算法ATCFC对于中文文本分类是可行、有效的。     

基于核方法的Web挖掘研究

基于词空间的分类方法很难处理文本的高维特性和捕获文本语义概念．利用核主成分分析和支持向量机。提出一种通过约简文本数据维数抽取语义概念、基于语义概念进行文本分类的新方法．首先将文档映射到高维线性特征空间消除非线性特征，然后在映射空间中通过主成分分析消除变量之间的相关性，实现降维和语义概念抽取，得到文档的语义概念空间，最后在语义概念空间中采用支持向量机进行分类．通过新定义的核函数，不必显式实现到语义概念空间的映射，可在原始文档向量空间中直接实现基于语义概念的分类．利用核化的GHA方法自适应迭代求解核矩阵的特征向量和特征值，适于求解大规模的文本分类问题．试验结果表明该方法对于改进文本分类的性能具有较好的效果．     

结合优化的文档频和PA的特征选择方法*

特征空间的高维特点限制了分类算法的选择,影响了分类器的设计和准确度,降低了分类器的泛化能力,从而出现分类器过拟合的现象,因此需要进行特征选择以避免维数灾难。首先简单分析了几种经典特征选择方法,总结了它们的不足;然后给出了一个优化的文档频方法,并用它过滤掉一些词条以降低文本矩阵的稀疏性;最后应用模式聚合(PA)理论建立文本集的向量空间模型,从分类贡献的角度强化词条的作用,消减原词条矩阵中包含的冗余模式,从而有效地降低了向量空间的维数,提高了文本分类的精度和速度。实验结果表明此种综合性特征选择方法效果良好。