使用概念基元特征进行自动文本分类

自动文本分类技术是大规模文档数据处理的关键技术,在文本分类过程中通常先进行文本表示,即把文本转化为特征向量,这其中常用的特征有特征词、词频、N-gram等等。论文研究了一种新的特征,即词语的HNC概念符号。词语的HNC概念符号来自于HNC(概念层次网络,HierarchicalNetworkofConcepts)建立的语义网络,以符号表达式的方式表示了词语的语义信息。因此使用HNC概念符号作为特征实际上是以文本中蕴含的语义信息作为特征,和词频等使用文本表层信息的特征有本质的不同。采用最大熵模型的方法建立分类器,以分词和HNC概念符号作为特征进行了研究,并对分类结果进行了比较。结果表明,HNC特征优于分词特征。     

基于句类向量空间模型的自动文本分类研究

向量空间模型是自动文本分类中成熟的文本表示模型,通常以词语或短语作为特征项,但这些特征项通常只能提供较少的局部语义信息。为实现基于内容的文本分类,该文用HNC理论中的句类作为特征项,通过混合句类分解等技术对句类向量空间降维,使用tfc算法对特征项进行权重计算,用KNN算法进行分类。该分类器的平均准确率和召回率都是可接受的,对类别的抽象程度无要求,即抽象度较高和较低的类别可以同时分类。通过使用更好的机器学习算法和其他的HNC语言理解技术,性能可以进一步提高。     

基于示例的文本标题分类机制

文本分类有助于用户有选择地阅读和处理海量文本,给出了基于示例邀请魔王标题分类机制,它以具有确定分类标准的标题分类为应用前景,在计算标题与分类主题词表直接匹配的基础上,利用基于分类树的上位概念匹配机制和基于潜在语义空间的相似度判定,综合评价文本标题与类别的相关关系,其特点是充分利用上下文环境来确定标题与类别相关程度,而不是单纯地依赖于其共现信息。     

基于特征相关性的汉语文本自动分类模型的研究

本文提出一种基于预定义类别与文本特征之间相关性的自动分类算法，并在文中详细阐述了汉语文本自动分类模型的设计与实现过程。为测试分类模型实现性能，建立具有１２类别的分类体系，并构造包含近５００篇汉语新闻语料的测试集。实验结果表明，评价自动分类算法的两个重要指标：查全率和查准率，都比较令人满意。     

基于规则的自动分类在文本分类中的应用

文本自动分类是指将文本按一定的策略归于一个或多个类别中的应用技术。本文首先介绍三种基于统计的自动分类技术(k近邻分类器、支持向量机分类器和朴素贝叶斯分类器),剖析了基于统计的自动分类的优势及不足。基于统计的自动分类的不足主要表现为:当类别之间分类特征的交叉变大时,分类精度呈下降趋势,在多层分类的情况下,此局限尤为突出。针对此局限性,为了提高自动分类的精度,我们引入了基于规则的自动分类来对其进行改进和扩充,并整合两种自动分类技术的优点,设计出了混合分类器系统,从而获得了比较理想的分类效果。     

网页信息抽取及其自动文本分类的实现

Web页面中常包含非主题信息的内容,网页必须剔除这些无用的信息后才能形成有用的文本信息.文本分类对文本信息的进一步加工处理至关重要,是信息搜索领域的另一研究课题.为了剔除网页中的无用信息,提出一种基于HTML自身结构特点的网页正文信息抽取方法,同时结合文章标题信息,实现文本自动分类的简易分类方法.该方法可以提高网页正文提取及其自动文本分类的效率.实验证明,该方法是可行的.     

网页信息抽取及其自动文本分类的实现

Web页面中常包含非主题信息的内容,网页必须剔除这些无用的信息后才能形成有用的文本信息。文本分类对文本信息的进一步加工处理至关重要,是信息搜索领域的另一研究课题。为了剔除网页中的无用信息,提出一种基于HTML自身结构特点的网页正文信息抽取方法,同时结合文章标题信息,实现文本自动分类的简易分类方法。该方法可以提高网页正文提取及其自动文本分类的效率。实验证明,该方法是可行的。     

一种基于模糊聚类的汉语文本自动分类方法

如何快速地整理海量信息，对不同的文本进行有效分类，已成为获取有价值信息的瓶颈。本文提出的中文文本分类方法，较好地解决了信息的实时分类问题，在实践中收到了良好的效果。由于汉语文本的特殊性，在分类器训练前对训练文本进行自动分词和降维预处理。许多文本往往可能归到多个类，因此分类算法采用模糊c-原型算法。实验表明，该方法综合效果较好，可以实现文本的快速分类。     

基于正文和标题文本分类的主题建模

特征稀疏是对传统文本分类的一个巨大的挑战。基于LDA模型,提出一种特征扩展的短文本分类模型。该模型在正文语料的基础上加入标题语料的主题分布,并进行整合,得到每个文本的主题分布。使用SVM分类器进行分类。实验结果表明,与正文语料进行文本分类相比,所提模型对文本分类效果较好。     

基于TAN的文本自动分类框架

介绍一种树状朴素贝叶斯(TAN)文本分类模型,对该模型存在的阈值选取问题进行实验分析,提出不需要进行阈值选取的TAN文本自动分类框架(ATAN)。在中英文非均匀类分布测试集上对基于ATAN的2种算法与手动选取阈值达到最优性能的BL-TAN进行对比,结果表明基于ATAN的算法具有更高性能。     

基于概念树的文本自动分类系统的研究与实现

该文分类是信息处理的重要研究方向,现在应用较多的都是基于统计的分类系统,本文介绍了一种新型的文本分类理念,通过概念符号化,使用数字化的概念而非词汇来组成特征项,能最大限度地保留文本信息,且不需要训练语料,能灵活适应不同的分类体系。接下来详细描述了领域特征信息提取的4个步骤,以及分类体系的选取与设计。最后给出了实验的测试数据,并对影响性能的一些关键因素进行了分析,指出了进一步提高分类性能的途径。     

基于关联规则挖掘的中文文本自动分类

随着电子出版物和互联网文档的飞速增加，自动文档分类工作正变得日渐重要．提出一种基于关联规则的中文文本自动分类方法．该算法将文档视作事务．关键词视作项，利用改进的关联规则挖掘算法挖掘项和类剐间的相关关系．挖掘出的规则形成分类器，可用于类标号未知的文档的区分．实验证明，该算法能较快地获得可理解的规则并且具有较好的召回率和准确率．     

基于质心的文本分类算法

当文本集较分散或出现多峰值时,基于质心的文本分类算法分类效果很差。针对该问题提出一种改进的文本分类算法,与基于质心的经典分类算法相比,其性能较高。在香港慧科讯业公司提供的文本分类语料库上的测试结果表明,该算法的效率和精度满足要求。     

基于Agent的文本分类系统

信息检索的一个核心问题是自动文本分类。基于分类体系的文本分类需要全文抽取主题词、计算权重,再根据分类体系对文献进行分类。文中构建一种基于Agent技术的文本自动分类系统,仅需要对文档头进行信息处理就可以进行快速文本分类,有效地减少了文本分类过程中的时间和空间的消耗。     

可视化文本分类树浏览机制

为了高速度、高质量地浏览网络上的大量中文文本，提出了一种文本凹凸树结构的可视化浏览机制，并给出其彤式描述．通过以关键字和概念词典标注的最小概念集标识结点建立文本分类的层次树结构，为用户快速洲览文本提供有效路径．通过统计方法进行文本摘要抽取，按大纲、逻辑主题词段落和摘要洲览文本内容，提高了搜索查询速度与阅读效率，满足了用户快速、主动浏览文本的需求．     

支持向量机的中文文本分类研究

支持向量机是一种基于统计学习理论的新型机器学习方法,在文本分类领域取得了很好的效果。使用支持向量机进行了文本分类的研究,实现了一个中文文本自动分类系统,并给出了实验结果。     

网络的简监督文本分类方法

传统的基于规则或统计的文本分类方法存在许多问题。本文利用词语相关度网络提供的大量词语语义知识设计一种"简监督"文本分类方法,从理论和技术上解决文本分类问题,以求在认知心理符合程度、人工标注困难等层面上克服传统方法的缺陷。实验证明文章设计的方法计算结果较为准确,具有一定的可行性和应用前景。