基于CCIPCA和ICA降维的文本分类研究

文本分类中采用向量空间模型来表达文本特征,维数巨大,关键是对高维的特征集进行降维处理,而一般的分解算法无法处理大规模的高维问题。采用CCIPCA与ICA相结合的特征提取方法可以有效地实现文本特征降维。实验结果表明降维提高了分类器的效率和效果。     

基于二维图像矩阵的ICA人脸识别

为了解决传统独立分量分析(ICA)在人脸识别过程中存在的高维小样本问题,同时为了提高识别效率,提出了一种基于二维图像矩阵的独立分量分析(ICA)特征提取方法.该方法将人脸图像矩阵作为训练样本,首先利用主分量分析(PCA)对训练样本进行去二阶相关和降维处理,然后对处理后的样本进行ICA特征提取,由于训练样本维数很小,因此它降低了传统ICA方法中高维小样本问题产生的识别错误率,同时减少了识别时间.在Yale人脸库和ORL人脸库上验证了该算法的有效性.     

基于PSO-ICA的文本分类研究

文本分类在采用向量空间模型（VSM）表达文本特征时,容易出现特征向量高维且稀疏的现象,为了对原始的文本特征向量进行有效简化,提出了一种基于粒子群（PSO）优化独立分量分析（ICA）进行降维的方法,并将其运用到文本分类中。在该算法中,以负熵作为粒子群算法的适应度函数,依据其高斯性原理作为独立性判别标准对分离矩阵进行自适应更新。实验结果表明,相比于传统的特征降维方法,该方法可以解决高维度文本特征向量降维困难的问题,使得文本分类的效率、准确率显著提升。     

基于语义的文本特征加权分类算法

文本分类存在维数灾难、数据集噪声及特征词对分类贡献不同等问题,影响文本分类精度。为提高文本分类精度,在数据处理方面提出一种新方法。该方法首先对数据集进行去噪处理,结合特征提取算法和语义分析方法对数据实现降维,再利用词语语义相关度对文本特征向量中每个特征词赋予不同权重;并利用经过上述处理的文本数据学习分类器。实验结果表明,该文本处理方法能够有效提高文本分类精度。     

中心修正增量主成分分析及其在文本分类中的应用

增量式学习模型是挖掘大规模文本流数据的一种有效的数据处理技术。无偏协方差无关增量主成分分析(Candid Covariance-free Incremental Principal Component Analysis, CCIPCA)是一种增量主成分分析模型,具有收敛速度快和降维效果好的特点。但是,CCIPCA模型要求训练数据是已经中心化或中心向量固定的。在实际的应用中,CCIPCA往往采用一种近似的中心化算法对新样本进行处理,而不会对历史数据进行中心化修正。针对这一问题,该文提出了一种中心修正增量主成分分析模型(Centred Incremental Principal Component Analysis, CIPCA)。CIPCA算法不仅对新样本进行中心化处理,而且会对历史数据进行准确的中心化修正。在文本流数据上的实验结果表明,CIPCA算法的收敛速度和分类性能明显优于CCIPCA算法,特别是在原始数据的内在模型不稳定的情况下,新算法的优势更为明显。     

一种改进的KNN文本分类

在文本分类中,文本特征空间维数巨大以及训练样本分布不均衡等问题影响分类性能。针对这个问题,提出一种改进的KNN分类方法。利用隐含语义分析方法对特征样本空间进行降维处理;利用基于样本密度的改进的KNN分类器进行分类。实验结果表明提出的方法能够收到较好的分类效果。     

一种基于PCA的组合特征提取文本分类方法

为了获得更好的文本分类准确率和更快的执行效率, 研究了多种Web文本的特征提取方法, 通过对互信息(MI)、文档频率(DF)、信息增益(IG)和χ²统计（CHI）算法的研究, 利用其各自的优势互补, 提出一种基于主成分分析(PCA)的多重组合特征提取算法(PCA-CFEA)。通过PCA算法的正交变换快速地将文本特征空间降维, 再通过多重组合特征提取算法在降维后的特征空间中快速提取出更具代表性的特征项, 过滤掉一些代表性较弱的特征项, 最后使用SVM分类器对文本进行分类。实验结果表明, PCA-CFEA能有效地提高文本分类的正确率和执行效率。     

新的CDF文本分类特征提取方法研究

对高维的特征集进行降维是文本分类过程中的一个重要环节。本文在研究了现有的特征降维技术的基础之上,对部分常用的特征提取方法做了简要的分析,之后结合类间集中度、类内分散度和类内平均频度,提出了一个新的特征提取方法,即CDF方法。实验采用K-最近邻分类算法(KNN)来考察CDF方法的有效性。结果表明该方法简单有效,能够取得比传统特征提取方法更优的降维效果。     

文本分类中一种混合型特征降维方法

提出一种基于特征选择和特征抽取的混合型文本特征降维方法,分析基于选择和抽取的特征降维方法各自的特点,借助特征项的类别分布差异信息对特征集进行初步选择。使用一种新的基于PCA的特征抽取方法对剩余特征集进行二次抽取,在最大限度减少信息损失的前提下实现了文本特征的有效降维。对文本的分类实验结果表明,该特征降维方法具有良好的分类效果。     

新的CDF文本分类特征提取方法

对高维的特征集进行降维是文本分类过程中的一个重要环节.在研究了现有的特征降维技术的基础上.对部分常用的特征提取方法做了简要的分析,之后结合类间集中度、类内分散度和类内平均频度,提出了一个新的特征提取方法,即CDF方法.实验采用K-最近邻分类算法(KNN)来考查CDF方法的有效性.结果表明该方法简单有效,能够取得比传统特征提取方法更优的降维效果.     

覆盖算法在文本分类中的应用

介绍了文本分类的基本过程以及朴素贝叶斯和K近邻算法等基本分类方法,给出了基于覆盖的构造性神经网络分类算法,并将其与朴素贝叶斯和KNN作了实验比较。结果表明,该算法具有较好的分类性能,适合于处理大规模的文本分类任务,从而有效地克服了传统文本分类算法的不足。     

基于支持向量机的中文文本自动分类研究

根据文本数据学习的特点，采用线性支持向量机（LSVM）学习算法，实现了一个中文文本自动分类系统，并对该系统进行了针对大规模真实文本的试验测试，结果发现，系统的招回率较低，而准确率较高，该文对此结果进行了分析，并提出一种采用训练中拒识样本信息对分类器输出进行改进的方法，试验表明，该方法有效地提高了系统的性能，取得了令人满意的结果。     

一种基于特征投票的文本分类方法

基于特征投票机制设计一种线性文本分类方法,运用信任机制理论分析文档类别对特征的信任关系,给出具体特征信任度的模型,并在Newsgroup、复旦中文分类语料、Reuters-21578 3个广泛使用且具有不同特性的语料集上与传统方法进行比较。实验结果表明,该方法分类性能优于传统方法且稳定、高效,适用于大规模文本分类任务。     

基于支持向量机的中文文本自动分类研究

首先对文本提取特征向量,再利用词语相似度求出文本特征子集,由支持向量机进行文本分类,实现了一个中文文本自动分类系统,并对该系统进行了针对SVM大规模真实文本的试验测试。试验表明,该方法的系统的招回率较低,而准确率较高,取得了令人满意的结果。     

分布权值调节概率标准差的文本分类方法

针对文本分类问题,基于特征分布评估权值调节特征概率标准差设计了一种无须特征选择的高效的线性文本分类器。该算法的基本思路是使用特征概率标准差量化特征在文档类中的离散度,并作为特征的基础权重,同时以后验概率的Beta分布函数为基础,运用概率确定性密度函数,评估特征在类别中的分布信息得到特征分布权值,将其调节基础权重得到特征权重,实现了线性文本分类器。在20Newsgroup、复旦中文分类语料、Reuters-21578三个语料集进行了比较实验,实验结果表明,新算法分类性能相对传统算法优势显著,且稳定、高效、实用,适于大规模文本分类任务。     

基于核方法的Web挖掘研究

基于词空间的分类方法很难处理文本的高维特性和捕获文本语义概念．利用核主成分分析和支持向量机。提出一种通过约简文本数据维数抽取语义概念、基于语义概念进行文本分类的新方法．首先将文档映射到高维线性特征空间消除非线性特征，然后在映射空间中通过主成分分析消除变量之间的相关性，实现降维和语义概念抽取，得到文档的语义概念空间，最后在语义概念空间中采用支持向量机进行分类．通过新定义的核函数，不必显式实现到语义概念空间的映射，可在原始文档向量空间中直接实现基于语义概念的分类．利用核化的GHA方法自适应迭代求解核矩阵的特征向量和特征值，适于求解大规模的文本分类问题．试验结果表明该方法对于改进文本分类的性能具有较好的效果．     

Automatic textual document categorization based on generalized instance sets and a metamodel

We propose a new approach to text categorization known as generalized instance set (GIS) algorithm under the framework of generalized instance patterns. Our GIS algorithm unifies the strengths of k-NN and linear classifiers and adapts to characteristics of text categorization problems. It focuses on refining the original instances and constructs a set of generalized instances. We also propose a metamodel framework based on category feature characteristics. It has a metalearning phase which discovers a relationship between category feature characteristics and each component algorithm. Extensive experiments have been conducted on two large-scale document corpora for both GIS and the metamodel. The results demonstrate that both approaches generally achieve promising text categorization performance.     

Concept Hierarchy-Based Text Database Categorization

Document categorization as a technique to improve the retrieval of useful documents has been extensively investigated. One important issue in a large-scale metasearch engine is to select text databases that are likely to contain useful documents for a given query. We believe that database categorization can be a potentially effective technique for good database selection, especially in the Internet environment where short queries are usually submitted. In this paper, we propose and evaluate several database categorization algorithms. This study indicates that while some document categorization algorithms could be adopted for database categorization, algorithms that take into consideration the special characteristics of databases may be more effective. Preliminary experimental results are provided to compare the proposed database categorization algorithms. A prototype database categorization system based on one of the proposed algorithms has been developed. Received 9 November 2000 / Revised 15 February 2001 / Accepted in revised form 29 May 2001