Concept Hierarchy-Based Text Database Categorization

Document categorization as a technique to improve the retrieval of useful documents has been extensively investigated. One important issue in a large-scale metasearch engine is to select text databases that are likely to contain useful documents for a given query. We believe that database categorization can be a potentially effective technique for good database selection, especially in the Internet environment where short queries are usually submitted. In this paper, we propose and evaluate several database categorization algorithms. This study indicates that while some document categorization algorithms could be adopted for database categorization, algorithms that take into consideration the special characteristics of databases may be more effective. Preliminary experimental results are provided to compare the proposed database categorization algorithms. A prototype database categorization system based on one of the proposed algorithms has been developed. Received 9 November 2000 / Revised 15 February 2001 / Accepted in revised form 29 May 2001     

Sensory—motor coordination: The metaphor and beyond

Any agent in the real world has to be able to make distinctions between different types of objects, i.e. it must have the competence of categorization. In mobile agents, there is a large variation in proximal sensory stimulation originating from the same object. Therefore, categorization behavior is hard to achieve, and the successes in the past in solving this problem have been limited. In this paper it is proposed that the problem of categorization in the real world is significantly simplified if it is viewed as one of sensory—motor coordination, rather than one of information processing happening “on the input side”. A series of models are presented to illustrate the approach. It is concluded that we should consider replacing the metaphor of information processing for intelligent systems by the one of sensory-motor coordination. However, the principle of sensory-motor coordination is more than a metaphor. It offers concrete mechanisms for putting agents to work in the real world. These ideas are illustrated with a series of experiments.     

基于特征选择及Condensing技术的文本取样

作为一种基于实例的方法,k-近邻(kNN)分类器有大量的计算及存储需求.同时,训练数据分布的不均衡,也会导致kNN分类器的性能下降.针对这些缺陷,文中提出特征选择与Condensing技术相结合的取样方法,以达到下述目的.在减少kNN分类的计算量及存储量的同时,保证分类器的性能.首先由传统的特征选择方法产生训练集里每类训练数据的特征.再根据文档自身的类特征,结合Condensing策略移去多余的训练实例.大量实验表明,用该方法所取得的样本作为训练集,不仅极大减少kNN方法的时空开销,而且降低噪声,提高分类器性能.     

一种面向专利文献数据的文本自动分类方法

中文专利文献自动分类目前尚无成熟适用的方法。分析了文本自动分类的关键技术,并结合专利数据的特点对无词典分词和权重计算进行了改进,提出了一种适用于专利数据分类的层次分类方法,给出了面向专利文献数据的文本自动分类系统的框架模型。实验表明,该系统具有较好的分类精度与效率。     

基于潜在语义分析的中文文本层次分类技术

从网络文本自动分类的需求出发，针对基于VSM模型的分类处理中词条无关假设和词条维度过高等问题，对基于类中心向量的分类方法进行了改进。利用LSA分析中的SVD分解获得Web文档的语义特征向量，并在此基础上进行分类处理，在不损害分类精度的同时提高了分类及其后处理速度，并设计实现了一个原型系统。     

基于改进局部特征分布的图像分类方法

提出一种概率签名的图像分布描述及对应的图像分类算法．算法首先通过高斯混合模型建立图像局部特征分布,然后以混合模型中各个模式的均值为聚类中心,以图像中满足约束条件的局部特征对相应模式的后验概率之和为聚类大小来形成初始的概率签名,最后执行一个压缩过程确定最终的概率签名特征,并通过训练基于Earth Mover's Distance (EMD)核的SVM分类器完成图像分类．概率签名允许一个局部特征对多个聚类做出反映,可以编码更多判别信息以及从视觉感知上捕捉更多的相似性．通过与其它图像分类方法在场景识别和对象分类两项任务上的对比实验,验证了文中提出的分类方法的有效性．     

一种基于粗糙集理论的文本分类方法

在网络这个庞大的虚拟图书馆中，占信息比重最大的文本数据却缺乏结构化、组织化的规整性，大大降低了网络文本信息的利用效率，而文本的自动分类技术则能降低网络的查询时间，提高网络搜索质量。文章提出了一种基于粗糙集理论的文本分类方法。     

利用未标识文档提高中心分类法性能的研究

中心分类法性能高效,但需要大量的训练文档(已标识文档)来训练分类器以保证分类的正确性.而训练文档因需花费大量人力物力来分类而数量有限,同时,网络上存在着很多未标识文档.为此,对中心分类法进行改进,提出了ONUC和0FFUC算法,以弥补当训练文档不足时,中心分类法性能急剧下降的缺陷.考虑到中心分类法易受孤立点的影响,采取了去边处理.实验证明,与普通的中心分类法、其它半监督经典算法比较,在训练文档很少的情况下,该算法能获得较好的性能.     

基于类别概念的特征选择方法

基于中文文本分类的定义和向量空间模型,本文分析了正确分类文本的关键所在.通过对传统的特征选择方法的分析,提出了新的特征选择方法.通过支撑向量机对中等规模语料库的实验,验证了此方法的有效性.     

一种采用聚类技术改进的KNN文本分类方法

KNN算法稳定性好、准确率高,但由于其时间复杂度与样本数量成正比,导致其分类速度慢,难以在大规模海量信息处理中得到有效应用.文中提出一种改进的KNN文本分类方法.其基本思路是,通过文本聚类将样本中的若干相似文档合并成一个中心文档,并用这些中心文档代替原始样本建立分类模型,这样就减少了需要进行相似计算的文档数,从而达到提高分类速度的目的.实验表明,以分类准确率、召回率和F-score为评价指标,文中方法在与经典KNN算法相当的情况下,分类速度得到较大提高.