一种基于粗集的文本数据特征信息的挖掘方法

1.引言随着Internet的飞速发展,人们的信息交流越来越多地依赖于网络,人们在网上发表自己的意见和见解、相互讨论各种问题、交流情感和思想。在网上传输的这些数据中,大量涉及到的是文本数据,网络应用的普及使得文本数据呈现出高速膨胀的态势,面对浩瀚的文本大海,人们迫切需要快速、准确地从需要的文本数据中了解其观点、思想或热点问题等等。例如,在远程教育中,教师可能面对的是成百上千个学生,教师希望快速地从学生的讨论和交谈中寻找学生集中关心的问题,以便及时回答和调整教学。又如,出于国家安全的考虑,需要对类似于BBS的公众论坛的文档进行鉴别,以便进行有效地监督和管理。以上问题所涉及的都需要高效、快捷地对文本数据进行特定的信息挖掘。     

文本分类算法研究

随着Internet等技术的飞速发展,信息处理已经成为人们获取有用信息不可或缺的工具。本文概括性地介绍了文本岔誊箩概今争分誊过程,_昔对几种母掣文本分类算法的基本思想、适用领域、优缺点等进行了介绍。     

文本挖掘中若干关键问题的研究

互联网的普及和飞速发展,使Internet成为世界上最大的信息积聚地,但Internet积聚的信息不同与以往的数据挖掘源,其内容大多是半结构化或非结构化的文本。如何有效的对半结构化或非结构化的文本信息进行挖掘即文本挖掘已成为当今热门的研究方向。     

基于MapReduce编程模型的TFIDF算法研究

随着Internet等技术的飞速发展,信息处理已经成为人们获取有用信息不可或缺的工具,如何在海量信息中高效地获得有用信息至关重要,因此自动文本分类技术尤为重要.现有的文本分类算法在时间复杂性和空间复杂性上遇到瓶颈,不能满足人们的需求,为此提出了基于Hadoop分布式平台的TFIDF算法,给出了算法实现的具体流程,通过MapReduce编程实现了该算法,并在单机和集群模式下进行了对比实验,同时与传统串行算法进行了对比.实验证明,使用TFIDF文本分类算法可实现对海量数据的高速有效分类.     

一种基于粒运算的文本情感分类方法研究

随着Internet的迅猛发展,人们对事件的立场、观点和看法的文本信息每天都会在网上出现,对于这些评论,仅靠人工进行跟踪和分析显然是行不通的,人们开始关注并研究评论文本的主观性情感倾向分析。文本情感分类中,分类器的设计是其中最重要的一个环节。文本评论往往是针对某一个特定领域的产品,评论语句一般都是短短几句,并且词汇量小特征词的交叉比较多,在这种情况下,与那些基于统计方法的分类器比较,基于规则的分类器更具优越性。提出了一种基于粒运算的方法,通过建立粒网络生成分类规则,从而得到评论文本的情感倾向分类。     

超文本的集成分类算法研究

随着Internet技术的发展,万维网上的文档数目成指数级增长。在如此浩瀚的信息库中,用户很难找到自己所需要的信息,如何自动且高效地处理这些海量文档信息成为了目前重要的研究课题。文章通过对抽取到的数据集文档中的标题,超连接和标记等超文本信息,以及文档内容本身分别建立分类模型。然后根据神经网络集成各个分类模型得出判别结果,提出了一种基于元信息的超文本集成分类算法,该算法能更好的综合利用超文本的多元结构化信息。实验结果表明,相对于单独利用某种超文本结构信息进行分类的方法。基于元信息的超文本集成分类算法具有更好的分类性能。     

基于概念空间的文本分类研究

1.引言随着文本信息的快速增长,特别是Internet上在线信息的增加,文本(网页)自动分类已成为一项具有较大实用价值的关键技术,是组织和管理数据的有力手段。文本分类的方法分为两类:一是基于知识的分类方法;二是基于统计的分类方法。基于知识的文本分类系统应用于某一具体领域,需要该领域的知识库作为支撑。由于知识提取、更新、维护以及自我学习等方面存在的种种问题,使得它适用     

如何利用搜索引擎获取信息资源

Internet是世界上最大的信息资源宝库,能为用户提供无所不包的信息。随着其网页数量和信息量的迅猛膨胀,人们越来越感到快速准确获取自己所需信息的重要性。搜索引擎在此具有强大的力量和不可缺少的地位,是快速准确获取网上信息的重要工具。     

基于改进TF-IDF特征的中文文本分类系统

随着Internet技术的发展,人们不仅可以从网络获取信息,也能够在网络上表达个人观点、分享自身体验。自Web2.0以来网络已经由原来的阅读式网络转换成为了当今的交互式网络。而伴随网络发展的是成几何速率增长的网络信息。文本信息是网络信息的重要组成部分,不同文本信息可以分成新闻、娱乐、时评、财经等不同类别。进行中文文本分类不仅能为建立文本语料库提供便利还能够应用到其它数据挖掘领域。论文基于改进TF-IDF特征并结合SVM模型设计了一种自动化的中文文本分类系统。实验证明,对比传统特征提取方式,采用改进TF-IDF特征策略进行文本分类能够获得更高的准确度。     

计算机技术文本分类中的语义分析算法的实践探讨

大数据时代的到来,为人们带来大量的文本信息,而如何在文本信息中搜寻有效信息,成为人们关注重点。文本分类技术是一项以人工技能为基础的新型技术,其能够根据语义分析将计算机技术文本进行科学分类,帮助人们获得其想要的信息,满足群众的需求。对此,文章基于语义分析,探讨了文本分类技术的应用。     

基于归一化向量的文本分类算法

基于归一化思想和矩阵投影运算提出一种文本分类算法。该算法综合考虑单个类别内的文档频率和词频,用于进行矩阵投影运算。将训练样例中表示文本特征的三维空间投影到二维空间上,得到归一化的特征向量,可有效地达到降低特征空间维数、提高分类效率和精度的目的。与kNN算法的对比实验表明,该算法在时间性能和精度上都有较大提高。     

一种基于反向文本频率互信息的文本挖掘算法研究

针对传统的文本分类算法存在着各特征词对分类结果的影响相同,分类准确率较低,同时造成了算法时间复杂度的增加,在分析了文本分类系统的一般模型,以及在应用了互信息量的特征提取方法提取特征项的基础上,提出一种基于反向文本频率互信息熵文本分类算法。该算法首先采用基于向量空间模型(vector spacemodel,VSM)对文本样本向量进行特征提取;然后对文本信息提取关键词集,筛选文本中的关键词,采用互信息来表示并计算词汇与文档分类相关度;最后计算关键词在文档中的权重。实验结果表明了提出的改进算法与传统的分类算法相比,具有较高的运算速度和较强的非线性映射能力,在收敛速度和准确程度上也有更好的分类效果。     

基于标签语义相似的动态多标签文本分类算法

针对标签随着时间变化的动态多标签文本分类问题,提出了一种基于标签语义相似的动态多标签文本分类算法。该算法在训练阶段,首先按照标签固定训练得到一个基于卷积神经网络的多标签文本分类器,然后以该分类器的倒数第二层的输出为文本的特征向量。由于该特征向量是在有标签训练得到的,因而相对于基于字符串即文本内容而言,该特征向量含有标签语义信息。在测试阶段,将测试文档输入训练阶段的多标签文本分类器获取相应的特征向量,然后计算相似性,同时乘以时间衰减因子修正,使得时间越近的文本具有较高的相似性。最后,采用最近邻算法分类。实验结果表明,该算法在处理动态多标签文本分类问题上具有较优的性能。     

融合词语统计特征和语义信息的文本分类方法研究

为了更好地表示文本语义信息,提高文本分类准确率,改进了特征权重计算方法,并融合特征向量与语义向量进行文本表示.首先基于文本复杂网络实现文本特征提取,接着利用网络节点统计特征改进TF-IDF得到特征向量,再基于LSTM抽取语义向量,最后将特征向量与语义向量相融合,使新的文本表示向量信息区分度更高.以网络新闻数据为实验对象的实验结果表明,改进特征权重计算方法,在特征向量中引入了语义和结构信息,并融合特征向量和语义向量,能进一步丰富文本信息,改善文本分类效果.     

基于N层向量空间模型的信息检索算法

N层向量空间模型在传统向量空间模型的基础上提出了的一种新的信息检索算法模型，这种模型将一篇文档从逻辑上划分为N个相对独立的文本段，然后按照文本段的内容建立文本特征向量以及文本权值向量，在此模型的基础上，更为精确地定义了特征值向量和相似度的计算方法，使之能比较好地适应文档集合的动态扩充，理论分析和实验结果表明，基于此模型实现的信息检索算法具有较快的查找速度和较高的查准率。     

基于N-Level VSM在Web信息检索中的研究

分析了传统向量空间检索模型在Web信息检索中的不足,给出了基于N-Level向量空间模型,这种模型是将一篇文档从逻辑上划分为N个相对独立的文本段,然后按照文本段的内容建立文本特征向量以及文本权值向量,在此基础上可以更加精确地定义特征值向量和相似度的计算方法,使之能比较好地适应文档集合的动态扩充。同时进行了两种模型算法时间的复杂度的比较分析。理论分析和实验结果表明,基于此模型实现的信息检索算法具有较快的查找速度和较高的查准率。     

基于类别方差的特征权重算法

特征权重计算是文本分类过程的基础,传统基于概率的特征权重算法,往往只对词频,逆文档频和逆类频等进行统计,忽略了类别之间的相互关系。而对于多分类问题,类别之间的关系对统计又有重要意义。因此,针对这一不足,本文提出了基于类别方差的特征权重算法,通过计算类别文档频率的方差来度量类别之间的联系,并在搜狗新闻数据集上对五种特征权重算法进行分类实验。结果表明,与其他四种特征权重算法相比,本文提出的算法在F1宏平均和F1微平均上都有较大的提高,提升了文本分类的效果。     

基于特征加权的自动图像分类方法

低层特征的选择与提取是自动图像分类的基础,一方面,所选择的图像特征应能代表各种不同的图像属性,利于不同类别图像之间的区分;另一方面,为了提高后续模型的计算效率,需要减少噪声特征、冗余特征.提出了一种基于特征加权的自动图像分类方法.该方法根据图像低层特征分布的离散程度来衡量特征相对于类别的重要性,增加相关度高的特征的权重,降低相关度低的特征权重,从而避免后续模型被弱相关或不相关的特征所支配.所提的特征加权算法主要考察的是特征相对某个具体类别的重要程度,可以为每个类别选择出适合自身的特征权重.然后,将加权特征嵌入到支持向量机算法中用于自动图像分类,在Corel图像数据集上的实验结果表明,基于特征加权的自动图像分类算法可以有效地提高图像分类的准确性.     

面向短文本的特征选择及文本表示

短文本由于其稀疏性、实时性、非标准性等特点,在文本特征选择和文本表示方面存在较多问题,从而影响文本分类精度。针对文本特征选择方面存在较高的特征维数灾难的问题,提出一种二阶段的文本特征选择算法。首先在互信息算法的基础上,引入平衡因子、频度、集中度、词性及词在文本中的位置等5个指标对互信息值进行计算,然后将排序结果靠前的特征集初始化进行遗传算法的训练从而得到最优特征集合。因为TFIDF在计算时针对的是整篇语料而没有考虑类间分布不均的情况,在计算IDF公式时引入方差,并将改进后的TFIDF公式对Word2Vec词向量进行加权表示文本。将改进算法应用在人工构建的百科用途短文本语料集中进行实验,实验结果表明改进的文本特征选择算法和文本表示算法对分类效果有2%~5%的提升。     

基于卡方特征选择和LDA主题模型的中文短文本分类

中文短文本自身包含词汇个数少、描述信息能力弱,常用的文本分类方法对于短文本分类效果不理想。同时传统的文本分类方法在处理大规模文本分类时会出现向量维数很高的情况,造成算法效率低,而且一般用于长文本分类的特征选择方法都是基于数理统计的,忽略了文本中词项之间的语义关系。针对以上问题本文提出基于卡方特征选择和LDA主题模型的中文短文本分类方法,方法使用LDA主题模型的训练结果对传统特征选择方法进行特征扩展,以达到将数理信息和语义信息融入分类算法的目的。对比试验表明,这种方法提高了中文短文本分类效果。