一个基于字特征的文本分类模型

提出了一种基于字特征的中文文本分类方法。该方法的出发点是变常用的基于表层的匹配为基于概念的匹配,用汉字特征向量作为文本的表示方法。算法根据文本中汉字的特征建立文本表示矩阵和类别表示矩阵,并通过线性最小二乘算法形成分类矩阵。     

可视化文本分类树浏览机制

为了高速度、高质量地浏览网络上的大量中文文本，提出了一种文本凹凸树结构的可视化浏览机制，并给出其彤式描述．通过以关键字和概念词典标注的最小概念集标识结点建立文本分类的层次树结构，为用户快速洲览文本提供有效路径．通过统计方法进行文本摘要抽取，按大纲、逻辑主题词段落和摘要洲览文本内容，提高了搜索查询速度与阅读效率，满足了用户快速、主动浏览文本的需求．     

基于维基百科类别的文本特征表示

该文提出了基于维基百科类别体系的文本特征表示方法,方法是将文本中的词映射到维基百科的类别体系中,使用类别作为特征来对文本进行表示。基于维基类别的文本特征表示方法可以增强文本特征表示能力,降低文本特征空间维数。针对维基百科条目在语料中覆盖度不足的问题,该文提出了一种基于全局信息自学习维基百科类别的方法。该文构造基于维基百科类别为文本表示的分类系统,实验结果证明,基于维基百科类别作为文本表示特征,相对于词袋模型,具有明显的降维效果,在当特征数量较少时(如:<700),分类的F1值提高了5.14%。     

基于类别特征向量表示的中文文本分类算法*

采用一种无须分词的中文文本分类方法,以二元汉字串表示文本特征,与需要利用词典分词的分类模型相比,避免了分词的复杂计算;为提高以bi-gram项表示文本特征的分类算法的准确率,提出了基于类别特征向量表示的中文文本分类算法.通过实验结果及理论分析,验证了该算法的有效性.     

文本层次分析与文本浏览

本文简要描述了文本的物理结构和逻辑结构以及相应的向量空间模型。研制了具有导航机制的文本浏览系统。提出了文本结构分析中的层次分析方法,它采用有序划分层次的方法。并在此基础上,给出了文本结构中各单元的标记信息,由此形成了文本的可视化表示。利用文本、层次、段落的超文本连接,根据浏览的需要,逐级展现文本细节,帮助用户有目的、有选择地浏览文本。最后给出评价的结果。     

基于关系权重的文本表示法

提出一种基于关系权重的文本表示方法.通过优化关系权重,在文本向量中体现了不同特征项在不同类别中重要程度的差异,使得在此权重下不同类别的文本得到更准确的区分.运用SVM分类实验表明,基于关系权重的文本表示方法,较之传统的 TF-IDF 文本表示法,有更高的准确率和召回率.     

基于多重启发式规则的中文文本特征值提取方法

本文根据中文文本的特点，以一种新的同义概念来替代传统的词为单位，并给出了同义概念之间权值的全新计算方法。我们不仅考虑了文本中词汇概率信息，还结合文本语义等多方面来提取文本特征值，从而提出了一种基于多重启发式规则的中文文本特征值提取方法，并给出了特征值提取模型和算法。通过与传统特征值提取方法的比较实验，证证明本文中提出的特征值提取方法能有效地提高文本分类正确率，并达到了有效降低特征向量维数的目的。     

用于形式背景提取的中文文本表示

形式背景需要从实际的数据源中提取。当数据源为无结构的中文文本时,必须选择如何对其进行表示。目前主流的中文文本表示方法主要采用以词语为特征项的向量空间模型（VSM）,其主要缺陷是忽略了自然语言中词语之间的语义联系,无法表达文本的语义信息。讨论了一种改进方法,其特征是：选择知网（Hownet）作为知识库,采用相似词集集合代替单一特征词,建立中文文本的概念向量空间。对于用概念向量空间表示的中文文本,可以方便地根据用户的具体要求提取所需的形式背景。以214篇交通类中文文本为实例阐释了该改进方法的实际应用。     

基于语义概念的海量短信文本聚类

提出一种基于语义概念的海量中文短信文本聚类方法。该方法从短信文本出发,利用《现代汉语语义分类词典》的级类主题词,在短信文本向量集中提取概念元组,形成表示聚类结果的高层概念,基于这些高层概念进行样本划分,从而完成整个聚类过程。实验结果表明,该聚类算法有较好的聚类结果且执行效率较高。     

文本结构分析与基于示例的文本过滤

本文简要介绍了文本过滤的背景和发展,提出了基于示例的中文文本过滤模型．其基本思想是首先对于用户提出的示例文本进行文本结构分析,采用本文提出的文本层次分析方法,提取文本特征,形成主题词表示的用户模版（ｕｓｅｒ ｐｒｏｆｉｌｅ）,然后进行了文本过滤,同时引进段落匹配机制,提高过滤效率．通过用户反馈,改进用户模版．     

基于向量空模型的文本自动分类系统的研究与实现

随着网络信息的迅猛发展,信息处理已经成为人工获取有用信息不可缺少的工具,文本自动分类系统是信息处理的重要研究方向,它是指在给定的分类体系下,根据文本的内容自动判别文本类别的过程。对文本分类中所涉及的关键技术,包括向量空间模型、特征提取、机器学习方法等进行了研究和探讨,并且提出了基于向量空间模型的文本分类系统的结构,并给出了评估方法和实验结果。     

文本特征区域与文本过滤的匹配机制

为了根据用户的信息需求,在因特网上搜索相关文本,该文提出了一种文本过滤的匹配机制,其基本思想是：利用基于词典的概念扩张方法,改进用户模板。计算扩张的用户模板与文本的全局相似度,获取初步的过滤结果;在文本特征区域,进行标题、摘要段、首段和尾段等片断的局部相似度计算,以综合评价文本与用户模板的匹配情况。该方法可操作性强,效果明显。     

可视化中文文本挖掘模型

面对今天浩如烟海的信息,如何帮助人们有效地收集和选择所感兴趣的信息,更关键的是如何帮助用户在日益增多的信息中自动发现新的概念并自动分析它们之间的关系,使之能够真正地做到信息处理的自动化,这已成为信息技术领域的热点问题。在这样的需求驱动下,文本挖掘得到了长足的发展,并取得了相当的成功。由于目前在因特网上大多数的信息表现形式为文本形式,只有通过文本挖掘才能充分地利用信息资源。     

基于合作模式的文本过滤模型

文本过滤为因特网上用户提供信息服务,旨在帮助用户选择和处理自己感兴趣的文本。本文提出了基于合作模式的文本过滤模型。其基本思想是根据用户评注将用户分成若干类别,综合类别内外用户评注影响,给出了文本推荐机制,将相关文本推荐给用户。此外,利用相关反馈进行类别和参数重新调整,可以有效地改善过滤的效率。该方法不仅适用于单纯文本介质,而且还可以应用到其他非文本介质。     

一种基于n—gram短语的文本聚类方法研究

由于文本自身特点使得传统的文档表示模型VSM不能很好地反映文本信息．也让传统数据挖掘聚类算法得不到很好的性能表现。针对传统文本聚类方法中文本表示模型VSM和聚类算法的不足,提出一种基于n—gram短语的文本聚类方法,该方法利用n-gram短语构建短语文档相关模型,将其转换成相关文档模型,在相关文档模型基础上进行文档聚类。实验结果显示,此方法是一种能获得较好聚类结果的有效方法。     

一种基于n-gram短语的文本聚类方法研究

由于文本自身特点使得传统的文档表示模型VSM不能很好地反映文本信息,也让传统数据挖掘聚类算法得不到很好的性能表现。针对传统文本聚类方法中文本表示模型VSM和聚类算法的不足,提出一种基于n-gram短语的文本聚类方法,该方法利用n-gram短语构建短语文档相关模型,将其转换成相关文档模型,在相关文档模型基础上进行文档聚类。实验结果显示,此方法是一种能获得较好聚类结果的有效方法。摘要:     

中英文双语交叉过滤的逻辑模型

文章简要地描述了文本过滤的背景,提出了基于潜在语义索引的中英文双语交叉过滤的逻辑模型。其基本思想是改进双语交叉过滤中基于词汇对译的方法,而是利用双语文本中潜在的语义结构,作为用户模板与文本匹配的基础。将出现的双语词汇和文本映射为语义空间的向量,不必翻译对译词,甚至不需要出现相应的对译词,也能匹配成功,极大地改善了交叉过滤的精度,效果良好。     

基于概念的文本类别特征提取与文本模糊匹配

文本信息特征提取和文本分类是当前智能信息服务系统基础研究的重点。该文给出一种新的类别特征提取与文本匹配方法。首先对术语特征权进行了综合计算,然后基于概念网络术语—概念映射关系,将特征权由术语空间转换到概念空间并做权值限幅处理。在此基础上,通过对概念进行类内和类间的统计分析,得到类别特征的均值与方差两个向量,通过模糊距离计算来对文本进行类别匹配。该文方法克服了传统IDF方法缺点,能有效地从概念上提取文本类特征,提高文本自动分类的准确性。     

Automatic text categorization based on content analysis with cognitive situation models

Text categorization is an important research area of text mining. The original purpose of text categorization is to recognize, understand and organize different types of texts or documents. The general categorization approaches are treated as supervised learning, which infers similarity among a collection of categorized texts for training purposes. The existing categorization approaches are obviously not content-oriented and constrained at single word level.This paper introduces an innovative content-oriented text categorization approach named as CogCate. Inspired by cognitive situation models, CogCate exploits a human cognitive procedure in categorizing texts. In addition to traditional statistical analysis at word level, CogCate also applies lexical/semantical analysis, which ensures the accuracy of categorization. The evaluation experiments have testified the performance of CogCate. Meanwhile, CogCate remarkably reduces the time and effort spent on software training and maintenance of text collections. Our research work attests that interdisciplinary research efforts benefit text categorization.