文本主题的自动提取方法研究与实现

在深入分析了当前流行的文本主题提取技术和方法的基础上，将语义方法融入统计算法，提出了一种基于统计的主题提取方法，并描述了它的实现过程。该方法利用文档内句子之间的语义相关性，实现了文本主题的自动生成。首先对文本进行切词和分句处理实现信息分割，再结合文本聚类技术对文本句进行聚类实现信息合并，最后从每类中抽取代表句生成文本主题。实验结果表明，该方法是一个有效、实用的方法。     

一种基于词编码的中文文档格式

分析了汉语自动分词问题产生的根源和面临的困难,针对性地提出了一种基于词的中文编码方法和中文文档新格式,实现了以词作为中文文本的最小信息载体,使中文文本分析可以在词平台上实现,避免了自动分词对中文信息处理带来的障碍.基于中文词的编码方法,以每个词作为一个单位,对词进行编码.此方法避开了中文的自动分词问题,特别是解决了歧义切分的难题,并提出了一种利用文档格式解决未登录词问题的新思路.采用统计分析方法对词平台基础上的关键词自动抽取进行了实验研究,取得良好效果.     

一种新的基于段向量的文本自动摘要方法

文本自动摘要技术在网页搜索和网页内容推荐等多个领域都有着非常广阔的应用前景。经典的文本摘要算法采用统计学的方法来提取文章关键字,进而提取主题句。这种方法在一定程度上忽略了文本的语义和语法信息。近年来,分布式词向量嵌入技术已经应用到文本检索当中,基于该技术提出了一种词向量化的自动文本摘要方法,该方法主要分为4个步骤:词向量生成、基于词向量的段向量生成、关键词提取和主题句抽取,最终实现文本段落的自动摘要。实验结果表明,改进的文本自动摘要方法能够有效提取主题句。     

基于词平台的中文文档实验系统的构建

文章提出一种新的中文文档实验系统,力求建立一个克服束缚中文信息处理发展的自动分词问题的实验研究平台.文章采用一种新的基于中文词的文本编码方法,对每个词进行编码,并使新编码与机内码联系起来.使用这种基于词的编码格式可以使词成为计算机中文处理中的最小信息栽体,无须再进行中文分词.文章使用该方法进行了关键词自动抽取的实验研究.结果显示,基于词编码的中文文档实验系统能很好的解决中文分词问题,并给其它中文文本分析奠定良好基础.     

基于决策树的汉语未登录词识别

未登录词识别是汉语分词处理中的一个难点。在大规模中文文本的自动分词处理中,未登录词是造成分词错识误的一个重要原因。本文首先把未登录词识别问题看成一种分类问题。即分词程序处理后产生的分词碎片分为‘合’(合成未登录词)和‘分’(分为两单字词)两类。然后用决策树的方法来解决这个分类的问题。从语料库及现代汉语语素数据库中共统计出六类知识:前字前位成词概率、后字后位成词概率、前字自由度、后字自由度、互信息、单字词共现概率。用这些知识作为属性构建了训练集。最后用C4.5算法生成了决策树。在分词程序已经识别出一定数量的未登录词而仍有分词碎片情况下使用该方法,开放测试的召回率:69.42%,正确率:40.41%。实验结果表明,基于决策树的未登录词识别是一种值得继续探讨的方法。     

基于k-近似的汉语词类自动判定

生词处理在面向大规模起初文本的自然语言自理各项应用中占有重要位置。词类自动判定就是对说情水知的生词由机器自动赋予一个合适的词类标记。文中提出了一种基于ｋ＝近拟的词类自动判定算法,并在一个１亿字汉语语料库及一个６０万字经过人工分词和词类标注汉语熟语料库的支持下,构造了相应实验。实验结果初步显示,本算法对汉语开放词类－－名词动词开窍词的词类自动判定平均正确率分别为９９．２１％、８４．７３％、７６．５     

汉语自动分词中的歧义处理

歧义处理是影响分词系统切分精度的重要因素，是自动分词系统设计中的一个核心问题。本文介绍了一种新的分词算法，利用汉语句内相邻字之间的互信息及t-信息差这两个统计量，解决汉语自动分词中的歧义字段的切分问题。试验结果表明，该方法可以有效地提高歧义处理的正确率。     

基于汉语句模的中文分词算法

讨论了在汉语信息计算机处理中的中文分词问题。综合考虑可行性和准确性，提出了旨在降低分词难度和提高分词精度的基于汉语句模理论的处理策略。实验表明，该方法是可行的和具有广阔发展空间的。     

一种基于词聚类的中文文本主题抽取方法

提出了一种基于词聚类的中文文本主题抽取方法，该方法利用相关度对词的共现进行分析，建立词之间的语义关联，并生成代表某一主题概念的用种子词表示的词类。对于给定文档，先进行特征词抽取，再借助词类生成该文档的主题因子，最后按权重输出主题因子，作为文本的主题。实验结果表明，该方法具有较高的抽准率。     

不规范文本的无监督观点句抽取

观点往往承载着文本的重要信息,观点句抽取技术旨在抽取文本中包含作者主观观点的句子,其应用越来越广泛。针对网络语言不规范的现象,文章提出了一种对不规范文本的无监督观点句抽取方法,该方法先对语料及其分词结果进行规范化处理,再通过基于词典和基于规则的方法自动构造训练样例,对SVM分类器进行训练,再使用分类器抽取观点句。使用该方法在人工标注的语料以及COAE2011电子产品语料上进行实验,取得了较好的效果。     

基于HTML结构的Web文本主题挖掘研究

随着数据挖掘应用的深入,非结构化和半结构化数据的挖掘,将成为下一个数据挖掘应用的热点。文本挖掘是一种典型的非结构化数据挖掘,而Web挖掘则是典型的半结构化数据挖掘。所以将信息处理技术中的汉语分词、信息抽取、语义分析等技术应用到Web挖掘研究技术是必然的发展趋势。本文根据Web挖掘的特点,运用数据抽取进行数据结构转换并把语义分析技术应用到数据抽取的过程中的思想,以便使数据提取更加准确。     

基于Attention-BIGRU-CRF的中文分词模型

自然语言处理是人工智能发展的重要分支,而中文分词是自然语言处理的第一步,提高中文分词的效率可以提高自然语言处理的结果的准确性。因此提出一种Attention-BIGRU-CRF模型,首先将中文文本通过词向量转换,将文本转换成向量的形式,再利用BIGRU进行序列化学习,随后引入attention机制将BIGRU的输入和输出进行相关性计算获取更精确向量值,最后将该向量值与BIGRU序列化得到的向量值进行拼接作为CRF层的输入并得到标签预测结果。由仿真结果可知,Attention-BIGRU-CRF模型在人民日报2014和MSRA的语料库得到的F1值分别为97.34%和98.25%,处理文本的分词速率为248.1 KB/s。故融合attention机制和BIGRU-CRF网络的模型既能够提高分词准确率,又能提高分词时间和效率。     

基于奇异值分解的新闻标题聚类研究

和导航中应用广泛。文本聚类作为一种无监督学习算法,其依据是聚类假设:同类的文档相似程度大,不同类的文档相似程度小。文中主要研究汉语文本聚类算法在新闻标题类文本中的应用。首先对采集到的若干条新闻标题进行分词和特征提取,将分词后的文本转化为词条矩阵;然后使用TF-IDF技术处理词条矩阵,得到基于分词权重的新的词条矩阵,对新的词条矩阵进行奇异值分解,得到主成分得分矩阵,提取主成分分析文本特征并根据主成分得分矩阵进行K-均值和分层聚类分析;最后将聚类结果用词云图的形式展示出来并评价聚类效果的好坏。实证显示,对词条矩阵的奇异值分解能降低向量空间的维数,提高聚类的精度和运算速度。     

面向铁路文本分类的字符级特征提取方法

铁路文本分类对于我国铁路事业的发展具有重要的实用意义。现有的中文文本特征提取方法依赖于事先对文本的分词处理,然而面向铁路文本数据进行分词的准确率不高,导致铁路文本的特征提取存在语义理解不充分、特征获取不全面等局限性。针对以上问题,提出了一种字符级特征提取方法CLW2V(Character Level-Word2Vec),有效地解决了铁路文本中专业词汇丰富且复杂度高所导致的问题。与基于词汇特征的TF-IDF和Word2Vec方法相比,基于字符特征的CLW2V方法能够提取更为精细的文本特征,解决了传统方法依赖事先分词而导致的特征提取效果不佳的问题。在铁路安监发牌数据集上进行的实验验证表明,面向铁路文本分类的CLW2V特征提取方法优于传统的依赖分词的TF-IDF和Word2Vec方法。     

综合最大匹配和歧义检测的中文分词粗分方法

中文分词是中文文本信息处理的重要预处理。针对目前中文分词中存在的准确率低和粗分结果集大的问题,在最大匹配算法基础上,采用文本切分时的组合歧义检测和交叉歧义检测以及全切分算法,提高了文本粗分的准确率,并减小了粗分结果集的规模,为进一步正确分词奠定基础。通过公共语料库数据集的实验对比,取得很好的效果。     

结合关联置信度与结巴分词的新词发现算法

在中文自然语言处理领域中,分词是非常重要的步骤之一,它是关键词抽取、文本自动摘要、文本聚类的基础,分词结果的好坏直接影响进一步文本处理的准确性.近年来随着微博平台、直播平台、朋友圈等自由舆情平台的兴起,大量不规范使用的舆情文本尤其是不断出现的新词给分词结果的准确性带来了巨大的挑战,新词发现成为分词算法必须解决的问题.为解决在新词发现过程中,新词整体数据体量小、新词用法灵活以及过度合并词语易形成短语块等问题,本文提出了结合关联置信度与结巴分词的新词发现算法,该算法以结巴分词的初步分词结果为基础,通过计算词语与其左右邻接词集中各个词语之间的关联置信度,将被错误拆分的词语合并成候选新词,并通过切分连接词以防止多个词语被连接成短语的情况出现.以微博言论数据进行测试的实验表明,相比于其它基于置信度的分词方法结果,本文提出的算法可以大幅度提升发现新词尤其是命名实体、网络用语的准确率,在确保新词语义完整的前提下降低新词长度,并且在少量测试语料的情境下,本文提出的算法对低频新词依然具有识别能力.     

重复串特征提取算法及其在文本聚类中的应用

针对Web文档的高维问题及网络新语言给现有分词系统带来的挑战，该文提出一种基于重复串的特征提取方法，可以从文本中提取有意义的特征，且对于中文无需分词。实验表明，该方法可以降低特征空间维度，同时能有效改善传统以词为特征的聚类算法的性能。     

傣文自动分词系统的设计与实现

傣文自动分词是傣文信息处理中的基础工作,是后续进行傣文输入法开发、傣文自动机器翻译系统开发、傣文文本信息抽取等傣文信息处理的基础,受限于傣语语料库技术,傣文自然语言处理技术较为薄弱。本文首先对傣文特点进行了分析, 并在此基础上构建了傣文语料库,同时将中文分词方法应用到傣文中,结合傣文自身的特点,设计了一个基于音节序列标注的傣文分词系统,经过实验,该分词系统达到了95.58%的综合评价值。     

基于类别特征向量表示的中文文本分类算法*

采用一种无须分词的中文文本分类方法,以二元汉字串表示文本特征,与需要利用词典分词的分类模型相比,避免了分词的复杂计算;为提高以bi-gram项表示文本特征的分类算法的准确率,提出了基于类别特征向量表示的中文文本分类算法.通过实验结果及理论分析,验证了该算法的有效性.     

中文分词技术在搜索引擎中的应用研究

中文分词作为机器翻译、文本分类、主题词提取以及信息检索的基础环节,近年来得到了广泛的关注。搜索引擎技术的广泛应用和中文信息处理的发展,使得全文检索和中文分词技术的研究逐渐深入,涌现出了众多优秀的中文分词算法。本文结合中文分词算法的研究现状,分析了分词技术与搜索引擎的信息检索相结合需要解决的关键技术问题,并讨论了中文分词技术在搜索引擎中的应用。