基于连词的维吾尔语情感词库扩展研究

极性情感词是准确分析维吾尔文倾向性的基础资源。该文在前期构建的维吾尔语褒贬情感词典基础上进行网络情感词的自动扩展研究。首先分析维吾尔语情感表达的语言特征,总结了连词、程度副词与情感词的搭配规律,并基于此规律设计从情感语料库中获取候选情感词的算法,形成候选情感词库;最后再利用维吾尔语连词的特性,结合已创建的情感词典和维吾尔语反义词词典,以互联网作为超大规模语料库,设计基于搜索引擎的情感词极性判别算法,根据算法得分判别候选情感词的极性,再将其扩展到已构建的褒贬情感词库。实验结果表明,与扩展前的情感词库相比,使用互联网文本语料扩展后的情感词库后进行维吾尔语句子倾向性测评的准确率和召回率均有明显提高。     

具有权重因子的细粒度情感词库构建方法

情感词库在文本情感分析中发挥重要作用,但在分析细粒度情感如人类情绪状态时却无法正确区分。针对该问题,提出一种基于义原相似度计算的细粒度情感词库构建方法。对词语之间的义原相似度进行计算分析,构建7类细粒度情感词库,并在此基础上给出细粒度情感词在词库中的权重计算方法,最终得到7类具有权重值的细粒度情感词库。实验结果表明,应用引入权重的细粒度情感词库后,文本情感倾向判别的准确率可提升5%左右。     

维吾尔文网络查询扩展词的构建研究

为提高维吾尔文网络内容查询的扩展性能,提出一种将维语同义词和互联网资源相结合的扩展词构建算法。利用维吾尔语同义词词典、近义词词典和反义词词典等建立基本候选词库,将互联网作为超大规模语料库,以搜索引擎为工具,使用改进的点互信息对基本扩展词进行相似度评价,选取前N个词形成候选扩展词库1,对包含关键词的互联网语料,基于局部共现和点互信息分析,构建候选扩展词库2,对上述2 种候选扩展词库加权求和,按顺序选择部分词为扩展词。通过搜索引擎实现扩展查询验证,结果表明,与常规查询和同义词查询扩展算法相比,该算法能明显提高查询的准确率。     

基于变系数词性空间权值定义的英文句子相似度算法研究

对短文本中词项按词性进行切分构建词性向量,将词性向量中词项进行归并构建词性空间,首次提出对词性空间的权值进行动态定义.词项在词性空间中映射权值通过词项词频信息和WordNet语义词典得到,短文本之间相似度运算转换为各词性空间相似度协同运算.将改进的文本相似度算法运用于微软研究院释义语料库上,实验结果表明,改进的文本相似度算法使得文本相似度计算的准确率和稳定性有了较大的提高.     

基于二元搭配词的微博情感特征选择

分析和监测微博文本中所包含的情感信息,能够挖掘用户行为,为微博舆情监管提供借鉴。但微博文本具有长度较短、不规范、存在大量变形词和新词等特点,仅以情感词为特征对微博进行分类的方法准确率较低,难以满足实际使用。为此,基于微博语料构建二元搭配词库,并根据PMI-IR算法结合语料库统计信息,提出搭配词组情感权值的计算方法PMI-IR-P。结合情感词典,采用统计方法生成微博情感特征向量,利用机器学习中的C4.5算法构建分类模型,对微博文本进行情感倾向分类。分别使用不同的数据集用于构建搭配词库及分类模型,并与基于情感词典的分类方法以及朴素贝叶斯分类方法进行对比。实验结果表明,提出的情感特征通过运用C4.5算法对微博文本情感分类的准确率达到87%,具有较好的效果。     

基于关键词相似度的短文本分类方法研究

在传统的文本分类中,文本向量空间矩阵存在“维数灾难”和极度稀疏等问题,而提取与类别最相关的关键词作为文本分类的特征有助于解决以上两个问题。针对以上结论进行研究,提出了一种基于关键词相似度的短文本分类框架。该框架首先通过大量语料训练得到word2vec词向量模型;然后通过TextRank获得每一类文本的关键词,在关键词集合中进行去重操作作为特征集合。对于任意特征,通过词向量模型计算短文本中每个词与该特征的相似度,选择最大相似度作为该特征的权重。最后选择K近邻（KNN）和支持向量机（SVM）作为分类器训练算法。实验基于中文新闻标题数据集,与传统的短文本分类方法相比,分类效果约平均提升了6%,从而验证了该框架的有效性。     

基于语义相似度的情感特征向量提取方法

针对现有情感特征在语义表达和领域拓展等方面的不足,提出了一种基于语义相似度的情感特征向量提取方法。利用25万篇sogou新闻语料和50万条微博语料,训练得到Word2vec模型;选择80个情感明显、内容丰富、词性多样化的情感词作为种子词集;通过计算候选情感词与种子词的词向量之间的语义相似度,将情感词映射到高维向量空间,实现了情感词的特征向量表示(Senti2vec)。将Senti2vec应用于情感近义词和反义词相似度分析、情感词极性分类和文本情感分析任务中,实验结果表明Senti2vec能实现情感词的语义表示和情感表示。基于大规模语料的语义相似计算,使得提取的情感特征更具有领域拓展性。     

基于词亲和度的微博词语语义倾向识别算法

准确识别词语语义倾向并构建高质量的情感词典,从而提高微博文本情感分析的准确率,具有重要意义。传统的基于语料库方法对种子词选取敏感,并且不能有效对低频词语语义倾向进行识别。本文提出了一种基于词亲和度的微博词语语义倾向识别算法。利用词性组合模式提取候选词集,选取微博表情符号作为种子词,并构建词亲和度网络,利用同义词词林对低频词进行扩展,计算候选词与种子词之间语义倾向相似度。根据设定阈值判断词语语义倾向。在200万条微博语料上分别将本文算法与传统算法进行对比,实验结果表明本文算法优于传统算法。     

基于藏语句多特征融合的主观题自动评分算法

提出了一种藏语句多特征融合的主观题自动评分算法,构建了关键词词形相似度计算模型、词序相似度计算模型、句子长度相似度计算模型和句子语义相似度计算模型。该算法将计算模型与最大相似度矩阵相结合,计算主观题的标准答案与学生答案之间句子、段落的相似度,最终做出自动评分。实验结果表明,与其他方法比较,该算法能有效降低平均误差值。     

基于二元依存同义词替换隐写算法*

针对在自然语言文本信息隐写术中,采用基于同义词替换方法来嵌入秘密信息时,常由于候选同义词选择不准确,导致替换后文本语句出现明显错误或逻辑歧义等问题,提出了基于二元依存同义词替换隐写算法。该算法先从WordNet词库中得出与目标词词性相同、语义相似的词语,然后对目标语句利用依存句法提取同义词对应的二元依存关系,从大规模语料库中计算二元依存关系的向量距离,得出最佳替换的同义词词集。实验结果表明,该算法生成的隐写文本保持嵌入秘密信息后文本特征属性不变,比目前改进的同义词替换算法更能保证文本语法正确、语义完整,更高效地抵抗同义词结对和相对词频统计分析检测,提高了秘密信息传递的安全性。     

汉语词汇主观性提取研究

为了在情感分析中有效实现汉语词汇主观性提取,提高提取准确率,分析和研究了汉语词汇主观性提取方法,建立了基于二元语法依赖关系的语言模型,由此定义了主观性提取模式,设计了自适应主观性自举算法,利用情感倾向特征和主观性强度特征集合进行特征选择和建模,提高了词汇主观性判断的准确率,使用机器学习方法构造分类器实行主观性判断.实践结果表明,该方法能有效的实现了词汇主观性获取,性能得到了提高,提取准确率达到88.64%.     

唐宋诗中词汇语义相似度的统计分析及应用

基于上下文的词汇向量空间模型可以用来近似地描述词汇的语义。在此基础上定义的词汇相似关系或聚类关系可以应用于词典编纂、智能搜索引擎的开发等许多领域。本研究基于640万字的唐宋诗语料。在进行多字词计算机辅助提取的基础上,定义了相应的词汇语义的统计表达。建立了词汇相似关系的语义网络。开发了具有词义联想功能的面向概念的唐宋诗搜索引擎。实验表明,达到了接近实用的水平。     

融合《知网》和搜索引擎的词汇语义相似度计算

针对当前《知网》的词语语义描述与人们对词汇的主观认知之间存在诸多不匹配的问题,在充分利用丰富的网络知识的背景下,提出了一种融合《知网》和搜索引擎的词汇语义相似度计算方法。首先,考虑了词语与词语义原之间的包含关系,利用改进的概念相似度计算方法得到初步的词语语义相似度结果;然后,利用基于搜索引擎的相关性双重检测算法和点互信息法得出进一步的语义相似度结果;最后,设计了拟合函数并利用批量梯度下降法学习权值参数,融合前两步的相似度计算结果。实验结果表明,与单纯的基于《知网》和基于搜索引擎的改进方法相比,融合方法的斯皮尔曼系数和皮尔逊系数均提升了5%,同时提升了具体词语义描述与人们对词汇的主观认知之间的匹配度,验证了将网络知识背景融入到概念相似度计算方法中能有效提高中文词汇语义相似度的计算性能。     

基于二维坐标映射法的消费情感分类方法

针对中文消费评论的情感分类问题,构建了一种基于语料库的二维坐标映射法的情感分类方法。根据中文语言特点,首先提出了基于语料库的搜索方法,使搜索更有针对性;其次,定义了提取表达情感的中文短语的规则;第三,构造了某领域的最佳种子词选取算法;最后,构造了二维坐标映射算法,通过计算评论句子的坐标值,将其映射到二维直角坐标系中,判断句子的语义倾向性。选取亚马逊网站某商家1200条与牛奶相关的评论(好、差评各600条)进行实验,首先根据最佳种子词选取算法选取“很好漏”作为最佳种子词,再根据二维坐标映射算法判断评论的情感极性,实验的平均F值达到了85%以上。实验结果表明该算法可以对消费评论进行情感分类。     

藏语句子相似度算法的研究

该文提出了一种藏语句子相似度的计算方法,即采用散列单词倒排索引和基于句长相似度粗选的算法,快速从语料库中筛选出候选句子的集合,散列单词倒排索引能够有效提高算法的查找速度;再采用基于词形和连续单词序列相似度的多策略精选算法,可以有效衡量两个藏语句子的相似程度。实验结果证明算法是有效的。     

基于word2vec和SVMperf的中文评论情感分类研究

利用有监督的机器学习的方法来对中文产品评论文本进行情感分类,该方法结合了word2vec和SVMperf两种工具。先由word2vec训练出语料中每个词语的词向量,通过计算相互之间的余弦距离来达到相似概念词语聚类的目的,通过相似特征聚类将高相似度领域词汇扩充到情感词典;再使用word2vec训练出词向量的高维度表示;然后采用主成分分析方法(PCA)对高维度向量进行降低维度处理,形成特征向量;最后使用两种方法抽取有效的情感特征,由SVMperf进行训练和预测,从而完成文本的情感分类。实验结果表明,采用相似概念聚类方法对词典进行扩充任务或情感分类任务都可以获得很好的效果。     

汉语词语情感倾向自动判断研究

汉语词语情感倾向自动判断避免了个人判断的影响,并提高了主观性词典创建效率。 讨论和分析汉语词语情感倾向判断技术,使用情感特征集合进行倾向性描述,建立基于二元语法依赖关系的情感倾向互信息特征模型。采用机器学习方式得到分类器,对词语的情感倾向进行自动判别,并进行比较和优化,性能得以提高,最好的SVM准确率达到95.47%,F值达到93.90%。采用特征集合描述情感倾向性,在建立的互信息特征模型上,使用机器学习方法自动判断词语情感倾向是有效的。     

基于特征检索的中文短评生成

针对从大数据评论语料库中检索出与新闻主题相关且含有情感倾向性的中文评论的研究较少的问题,研究在不同新闻粒度下的特征检索方法,从中文评论语料库中检索生成评论。采用主题特征检索的方法检索出与新闻主题特征相关的评论;采用情感特征融合的检索方法从主题特征检索的结果中生成所需情感倾向性的评论。实验结果表明,在新闻标题粒度下生成评论的主题相关性最高;采用主题特征融合的检索方法和情感特征融合的检索方法比单一检索方法生成准确率更高。     

基于词向量与句法树的中文句子情感分析

随着互联网的快速发展,网络中充斥着海量主观性文本,如何对这些主观性语句进行情感倾向性判断是文本情感分析的关键。本文提出一种基于词向量和句法树的中文句子情感分析方法。针对目前大量网络新词的使用所带来的问题,以已有标注的情感词典为基础,采用词向量的方法判断词语之间的语义相似度,从而得到未知词语的情感极性。针对情感极性转移现象,定义相应的情感判断规则。在此基础上,利用句子的句法树结构,对句子进行情感倾向性分析。实验证明,该方法在一定程度上解决了网络新词的问题,有效提高了句子情感分析的准确率和召回率,且具有领域适用性。