基于类别空间模型的文本分类系统的设计与实现

从理论和应用的角度对文本信息的分类方法进行研究,提出类别空间模型的概念,用于描述词语和类别之间的关系,并实现了基于类别空间模型的文本分类系统。通过实验表明,该系统有效地提高了文本分类的正确率。     

一种文本信息抽取技术的研究

文章针对特定领域的中文文本建立了一个信息抽取模型，阐述了根据信息模板和领域特点进行概念分类的方法，介绍了采用隐马尔可夫统计模型进行自动概念标注的过程，提出了运用概念过滤、模板匹配方法进行抽取信息的思路。在模型基础上实现了一个信息抽取实验系统，并通过实验证明了此模型针对特定领域文本是有效的。     

基于KNN算法的医药信息文本分类系统的研究

针对目前医药信息文本分类领域的现状,设计并实现了一种基于KNN算法的医药信息文本分类系统.该系统充分利用了向量空间模型在表示方法上的优势和快速KNN算法的特点,并采用逆向最大匹配分词方法进行分词,可有效提高医药信息分类的准确性和信息处理效率.此外,构建了一个医药信息数据集,该数据集包含582篇医药类文本,其中训练文本433篇,测试文本149篇,并在该数据集上对医药信息文本分类系统进行了测试,得到了74.83%的F1值.实验证明,该系统可以较好地实现医药信息文本分类.     

基于特征相关性的汉语文本自动分类模型的研究

本文提出一种基于预定义类别与文本特征之间相关性的自动分类算法，并在文中详细阐述了汉语文本自动分类模型的设计与实现过程。为测试分类模型实现性能，建立具有１２类别的分类体系，并构造包含近５００篇汉语新闻语料的测试集。实验结果表明，评价自动分类算法的两个重要指标：查全率和查准率，都比较令人满意。     

基于后缀树模型的文本实时分类系统的研究和实现

本文在面向网络内容分析的前提下,提出了一种基于后缀树的文本向量空间模型(VSM) ,并在此模型之上实现了文本分类系统。对比基于词的VSM,该模型利用后缀树的快速匹配,实时获得文本的向量表示,不需要对文本进行分词、特征抽取等复杂计算。同时,该模型能够保证训练集中文本的更改,对分类结果产生实时影响。实验结果和算法分析表明,我们系统的文本预处理的时间复杂度为O(N) ,远远优于分词系统的预处理时间复杂度。此外,由于不需要分词和特征抽取,分类过程与具体语种无关,所以是一种独立语种的分类方法。     

基于n-gram语言模型和链状朴素贝叶斯分类器的中文文本分类系统

本文提出了一个基于n-gram语言模型进行文本表示,采用链状朴素贝叶斯分类器进行分类的中文文本分类系统。介绍了如何用n-gram语言模型进行文本表示,阐述了链状朴素贝叶斯分类器与n-gram语言模型相结合的优势,分析了n-gram语言模型参数的选取,讨论了分类系统的若干重要问题,研究了训练集的规模和质量对分类系统的影响。根据863计划文本分类测评组所提供的测试标准、训练集以及测试集对本文所设计的分类系统进行测试,实验结果表明该分类系统有良好的分类效果。     

基于统计分词的中文文本分类系统

本文阐述了一个中文文本分类系统的设计和实现，对文本分类系统的系统结构、特征提取、训练算法、分类算法等进行了详细介绍。将基于统计的二元分词方法应用于中文文本分类，并提出了一种基于汉语中单字词及二字词统计特性的中文文本分类方法，实现了在事先没有词表的情况下，通过统计构造单字及二字词词表，从而对文本进行分词，然后再进行文本的分类。     

基于自学习向量空间模型文本分类算法的研究与应用

随着网络信息的迅猛发展,信息处理已经成为人们获取有用信息不可缺少的工具。文本自动分类是信息处理的重要研究方向。它是指在给定的分类体系下,根据文本的内容自动判别文本类别的过程。本文对文本分类中所涉及的关键技术,包括向量空间模型,特征提取,机器学习方法等进行了研究和探讨。最后,本文实现了一套基于自学习向量空间模型的文本分类系统,并基于kafka消息队列和storm流计算框架,实时地为文本进行分类。     

基于Hadoop平台的TFIDF算法并行化研究

针对大数据集下文本分类算法在单机上训练和测试过程效率低下的问题,提出了基于Hadoop分布式平台的TFIDF文本分类算法,并给出了算法实现的具体流程。通过MapReduce编程模型实现了考虑到词在文档中位置的并行化TFIDF文本分类算法,并与传统串行算法进行了对比,同时在单机和集群模式下进行了实验。实验表明,使用并行化的TFIDF文本分类算法可实现对海量数据的高速有效分类,并使算法性能得到优化。     

基于N元汉字串模型的文本表示和实时分类的研究与实现

该文提出了一种基于N元汉字串特征的文本向量空间表示模型,用这个表示模型实现了一个文本实时分类系统。对比使用词语做为特征的文本向量空间模型,这种新的模型由于使用快速的多关键词匹配技术,不使用分词等复杂计算,可以实现实时文本分类。由于N元汉字串的文本表示模型中的特征抽取中不需要使用词典分词,从而可以提取出一些非词的短语结构,在特殊的应用背景,如网络有害信息判别中,能自动提取某些更好的特征项。实验结果表明,使用简单的多关键词匹配和使用复杂的分词,对分类系统的效果影响是很小的。该文的研究表明N元汉字串特征和词特征的表示能力在分类问题上基本是相同的,但是N元汉字串特征的分类系统可以比分词系统的性能高出好几倍。该文还描述了使用这种模型的自动文本分类系统,包括分类系统的结构,特征提取,文本相似度计算公式,并给出了评估方法和实验结果。     

BOOSTING算法在多类多标签文本分类中的应用

随着因特网的迅猛发展，如何快捷、准确地识别和获取有用信息显得越来越重要。文本自动分类系统是信息处理的重要研究方向，它是指在给定的分类体系下．根据文本的内容自动判别文本类别的过程。由于一个文本可能属于多个不同的类别．本文应用BOOSTING算法设计实现了一种多类多标签文本分类方法，并着重时迭代次数和判定阚值的选择进行研究。实验表明．该分类器对多类多标签的文本分类是有效的。     

汉语情感倾向自动分类方法的研究

随着kVEB2．0的迅猛发展,汉语情感倾向分类在许多不同的领域取得了广泛的应用。同时,文本情感倾向分类也是当前学术界的热门课题之一。本文旨在探究一种汉语情感倾向分类方法,通过构造一种自动分类系统,对商品评价信息进行正类、负类和中立的三分类。本文采用一个两级分类系统实现三分类,首先第一级将文本分为极性和中立两部分,然后第二级再将极性文本分为正类和负类。在文本分类方法方面,采用了基于情感词、基于规则和TSVM等不同的方法。本文最后组织了分类实验对系统效果加以验证,并对实验结果进行了分析。     

基于Milter实现的中文垃圾邮件过滤系统

提出一种基于内容的中文垃圾邮件实时过滤系统的实现方案，该系统建立在Linux的Sendmail邮件服务器上，通过Milter接口实时提取邮件内容，并结合中文分词及文本分类算法对邮件实施分类和过滤。该系统可嵌入多种文本分类算法，具有良好的可扩展性。通过测试对该系统内嵌入的不同分类算法模型进行了分析和比较。     

一种辅以强规则学习的双层文本分类模型

随着基于机器学习的文本自动分类方法成为主流分类技术，基于机器学习的文本分类方法往往忽视了对规则分类方法的有效运用。该文将基于规则的分类思想和基于机器学习的分类方法有机地结合起来，把规则判别看作一个分量分类器，提出了一种辅以规则补充的双层文本分类模型和一种优化的分类规则学习算法。根据该方法设计并实现了一个基于规则和N-Gram统计分类相结合的双层分类器，进行了双层分类模型与单独的N-Gram分类模型的实验，结果表明辅以规则补充的双层分类器具有更好的分类性能。     

文本自动分类关键技术研究

为了提高文本自动分类的准确率,本文在分析文本分类预处理阶段的中文分词、特征提取、向量空间模型、web结构挖掘技术等基础上,对相关技术进行了的改进,并设计基于支持向量机文本分类器(UJS-Classifier)实现了最终的文本分类.根据测试语料分别对中文分词模块和网页文本分类模块性能进行测试,实验结果表明UJS-Classifier在分词的歧义切分、网页分类的性能及准确率都有一定的提高.     

基于统计分词的中文文本分类系统

本文阐述了一个中文文本分类系统的设计和实现,对文本分类系统的系统结构、特征提取、训练算法、分类算法等进行了详细介绍,将基于统计的二元分词方法应用于中文文本分类,并提出了一种基于汉语中单字词及二字词统计特性的中文文本分类方法,实现了在事先没有词表的情况下,通过统计构造单字及二字词词表,从而对文本进行分词,然后再进行文本的分类。     

几种基于MOOC的文本分类算法的比较与实现

机器学习是人工智能的主要内容之一,文本分类正是机器学习中典型的监督学习场景。而机器学习在在线教育平台中的应用正是现阶段的发展趋势。首先介绍了文本分类的背景及意义,文本分类系统中的文本预处理部分,介绍了信息增益算法、主要成分分析等相关技术;文本分类的分类算法部分,主要介绍了Ada Boost技术。在遵循文本分类流程的基础上,设计了一个3模块文本分类系统:一、中文分词及去停止词模块;二、文本向量化及特征降维模块;三、分类器模块。文本分类系统的具体实现上,全部采用开源工具完成,使用Ansj实现模块一,Weka实现模块二、三。按照文本分类流程,利用文本分类系统进行了实验,并对实验中得到的数据进行了分析和总结。为了提升最后的分类效果,在特征降维这一步中,添加了IG-LSA(信息增益(IG)-潜在语义分析(LSA))的混合降维方法。     

独立于语种的文本分类方法

文本分类是指在给定分类体系下,根据文本的内容自动确定文本类别的过程。本文提出了一个基于机器学习的、独立于语种的文本分类模型,并对模型中的特征抽取、分类器和评价方法进行了详细的介绍。该模型已经在中文和日文两个语种的新闻语料上得到实现,并获得了较好的分类性能。     

基于LSA和SVM的文本分类模型的研究

为了提高文本分类的准确性,研究并设计了一个基于潜在语义分析和支持向量机的多类文本分类模型.利用潜在语义分析进行特征抽取,消除多义词和同义词在文本表示时造成的偏差,并实现文本向量的降维.使用具有良好分类精度和泛化能力的支持向量机进行分类,提出一种改进的一对一多类分类算法,改善不可分问题.实验结果表明,该模型在类别数目较少时具有较好的分类效果.     

一个结合信息相关性分析的快速文本分类模型

如何准确地实现文本的有序组织，是自然语言处理的一个重要研究方向。本文首先介绍了文本分类的研究现状，讨论了基于向量空间模型的分类法的基本思想。在此基础上，通过对文本识别本质的研究，在向量空间模型的基础上，提出一种新的结合了信息相关性分析的文本分类模型ICFM(Information Correlation based Fast text categorization Model)，并以实验验证了该模型的性能。