电信大数据文本挖掘算法及应用

电信大数据中包含了大量的非结构化文本数据,无法通过常规的方法进行信息挖掘,在此情况下文本挖掘可以更好地实现对文本数据的分析挖掘。提出了基于文本的新词识别算法和命名实体识别算法,从而有效地分析用户投诉文本内容并判断其所属类别,并且从用户上网文本信息中识别出其终端型号,为电信行业提供更好的用户支撑和用户体验。最后,对模型的实际应用表明,所提方法对电信投诉文本数据的识别是高效的。     

否定信息识别研究综述

自然语言中否定是一个普遍且复杂的现象,其能反转命题的真值、情感及态度的极性、观点的立场等。否定信息识别不仅在信息检索、情感分析、文本挖掘、信息抽取等领域中具有重要意义,也对文本的深层语义理解具有促进作用。对否定信息识别研究进行了深入分析,介绍了否定信息识别的任务框架,并对否定触发词检测、否定覆盖域界定、否定焦点识别三个子任务的解决思路及方法进行了详细阐述,最后总结并指出了否定信息识别研究中存在的问题及新方向。     

基于深度学习的在线健康社区抑郁症用户画像研究

人工智能与深度学习技术为精准识别在线健康社区抑郁症患者奠定了基础.首先构建了基于TCNN-GRU深度学习的抑郁情感分类模型,进行在线健康社区实验数据集进行抑郁情感分类标注后,通过TCNN-GRU模型判别用户的抑郁症倾向;在此基础上,进一步提出抑郁指数的概念,通过对抑郁指数和患者抑郁程度两者关系的深度挖掘,由此建立基于深度学习的在线健康社区抑郁症用户画像模型.实验结果表明,与传统的卷积神经网络模型、循环神经网络模型以及混合模型相比,TCNN-GRU模型在抑郁情感分类上能获得了更优的结果,基于深度学习的在线健康社区抑郁症用户画像模型也能够从文本分析的角度准确识别用户的抑郁情感和抑郁状态.     

细粒度意见挖掘中维吾尔语文本情感分析研究

传统的情感分析研究通过分析, 确定词语、句子或篇章的情感, 但忽略了情感表达的主题。针对这一不足, 该文提出了一种基于双层CRFs模型的细粒度意见挖掘中维吾尔语意见型文本陈述级情感分析方法。第一层模型识别意见型文本中的主题词和意见词, 确定意见陈述的范围, 并将识别结果传递给第二层模型, 将其作为重要特征之一, 用于陈述级情感分析。细粒度意见挖掘中情感分析的目标是构建<意见陈述, 主题词, 意见词, 情感>四元组。该方法用于维吾尔语陈述级情感分析的准确率为77.41%, 召回率为78.51%, 证明了该方法在细粒度意见挖掘中情感分析任务上的有效性。     

卷积神经网络下的Twitter文本情感分析

随着社交网络的日益普及,基于Twitter文本的情感分析成为近年来的研究热点。Twitter文本中蕴含的情感倾向对于挖掘用户需求和对重大事件的预测具有重要意义。但由于Twitter文本短小和用户自身行为存在随意性等特点,再加之现有的情感分类方法大都基于手工制作的文本特征,难以挖掘文本中隐含的深层语义特征,因此难以提高情感分类性能。本文提出了一种基于卷积神经网络的Twitter文本情感分类模型。该模型利用word2vec方法初始化文本词向量,并采用CNN模型学习文本中的深层语义信息,从而挖掘Twitter文本的情感倾向。实验结果表明,采用该模型能够取得82.3%的召回率,比传统分类方法的分类性能有显著提高。     

中文博客多方面话题情感分析研究

博客是Web环境中个人表达观点和情感的一种重要载体,一般涉及较宽泛的话题,蕴含丰富的舆情信息。现有针对有关社会事件的用户产生内容进行情感分析的研究多数以篇章级为处理粒度,尚不能满足博客文本深度情感分析的需求。该文提出一种基于LDA话题模型与Hownet词典的中文博客多方面话题情感分析方法。该方法首先利用数据语料训练LDA话题模型,然后以滑动窗口为基本处理单位,利用训练好的LDA模型对博客文本进行话题识别与划分;在此基础上,基于Hownet词典对划分后的话题段落进行情感倾向计算。该方法有助于同时识别博客文本所涉及的多方面子话题及每个子话题上的情感倾向。实验结果表明,该方法不仅能获得较好的话题划分结果,也有助于改善情感分析的准确率。     

基于词典和规则集的中文微博情感分析

通过对微博文本的特性分析,提取了中文微博情感分析的关键问题：如何识别微博新词并理解其情感含义?如何利用附加信息辅助文本情感分析?如何结合语言特性构造情感计算方法?针对第一个问题,利用统计信息和点间互信息对新词进行挖掘和情感识别,在40万条新浪微博数据中构建了新情感词词典,用于对已有情感词资源的扩充。对于后两个问题,提出了基于词典和规则集的中文微博情感分析方法。根据微博特性,在不同的语言层次上定义了规则,结合情感词典对微博文本进行了从词语到句子的多粒度情感计算,并以表情符号作为情感计算的辅助元素。通过对采集到的原创微博数据集进行实验,验证了该方法的有效性。     

基于情感分析的个性化推荐算法研究

对基于情感分析的个性化推荐算法进行研究。为了推荐用户可能感兴趣的产品，该算法研究了以前的评级数据和用户文本评论中的情感数据，并将其与推荐算法相结合。使用情感词典和情感分类算法对文本评论进行聚类分析，并将情感得分作为评分数据的补充，然后使用基于邻域的协同过滤算法来为用户推荐物品。使用京东评论数据集进行了实验，并与其他基于协同过滤算法进行了比较。实验结果表明，该算法能够显著提高推荐准确度和用户满意度。     

网络意见挖掘、摘要与检索研究综述

网络上带有人的主观感情色彩的评论性文本反映了人们的意见、态度和立场,因而具有很大的利用价值.信息挖掘技术针对这些主观文本进行处理,获得有用的意见、结论和知识.首先介绍了意见挖掘出现的背景和应用意义,然后从词汇情感极性识别、粗粒度的情感分类、细粒度的意见挖掘与摘要、意见检索和相关语言资源与系统5个方面综述了研究历程和现状,最后总结了研究难点与研究趋势.     

聊天机器人中用户就医意图识别方法

传统的聊天机器人中用户意图识别一般采用基于模板匹配或人工特征集合等方法,针对其费时费力而且扩展性不强的问题,并结合医疗领域聊天文本的特点,提出了基于短文本主题模型（BTM）和双向门控循环单元（BiGRU）的意图识别模型。该混合模型将用户就医意图识别看作分类问题,使用主题特征,首先通过BTM对用户聊天文本逐句进行主题挖掘并量化,然后送入BiGRU进行完整上下文学习得到连续语句最终表示,最后通过分类完成用户就医意图识别。对爬取的语料进行实验,BTM-BiGRU方法明显优于传统的支持向量机（SVM）等方法,其F值更是高出目前较好的卷积长短期记忆组合神经网络（CNN-LSTM）近1.5个百分点。实验结果表明,在本任务上该混合模型重点考虑研究对象的特点,能有效提高意图识别的准确率。     

Bert在微博短文本情感分类中的应用与优化

微博短文本是一种典型的用户生成数据(user generate data),蕴含了丰富的用户情感信息,微博短文本情感分类在舆情分析等众多应用中具有较强的实用价值.微博短文本具有简洁不规范、话题性强等特征,现有研究表明基于有监督的深度学习模型能够显著提升分类效果.本文针对广播电视领域微博文本展开情感分类研究,实验对比了多种文本分类模型,结果表明基于Bert的情感分类方法准确率最高.深入分析实验结果发现,Bert模型对于困难样本的分类错误率较高,为此本文引入Focal Loss作为Bert模型的损失函数,提出一种基于Bert与Focal Loss的微博短文本情感分类方法(简称为Bert-FL方法),使得Bert模型能够更容易学习到困难样本的类别边界信息,实验表明Bert-FL方法的分类准确率绝对提升了0.8%,同时对困难样本的分类准确率也有显著提升.     

跨领域文本情感分类研究进展

作为社会媒体文本情感分析的重要研究课题之一，跨领域文本情感分类旨在利用源领域资源或模型迁移地服务于目标领域的文本情感分类任务，其可以有效缓解目标领域中带标签数据不足问题.本文从三个角度对跨领域文本情感分类方法行了归纳总结：（1）按照目标领域中是否有带标签数据，可分为直推式和归纳式情感迁移方法；（2）按照不同情感适应性策略，可分为实例迁移方法、特征迁移方法、模型迁移方法、基于词典的方法、联合情感主题方法以及图模型方法等；（3）按照可用源领域个数，可分为单源和多源跨领域文本情感分类方法.此外，论文还介绍了深度迁移学习方法及其在跨领域文本情感分类的最新应用成果.最后，论文围绕跨领域文本情感分类面临的关键技术问题，对可能的突破方向进行了展望.     

基于情感词属性和云模型的文本情感分类方法

受语言固有的模糊性、随机性以及传统文本特征词权重值计算方法不适用于情感词等因素的影响,文本情感分类的正确率很难达到传统文本主题分类的水平。为此,提出一种基于情感词属性和云模型的情感分类方法。结合情感词属性和简单句法结构以确定情感词的权重值,并利用云模型对情感词进行定性定量表示的转换。实验结果表明,该方法对情感词权重值计算是有效的,召回率最高达到78．8％,且与基于词典的方法相比,其文本情感分类结果更精确,正确率最高达到68．4％,增加了约9％的精度。     

PSO-GP中文文本情感分类方法研究

中文文本的情感倾向分析是网络舆情信息挖掘和分析的关键技术之一。提出了一种粒子群-高斯过程算法(PSO-GP)的中文文本情感倾向分类方法,采用粒子群优化算法(Particle Swarm optimization,PSO)进行高斯过程(Gaussian Process)超参数的最优搜索,解决了传统高斯过程中共轭梯度法迭代次数难确定、对初值依赖性强和易陷入局部极小值等问题。首先采用多线程网络爬虫技术采集文本数据组成语料库,构建特定领域情感词典,然后通过情感词匹配选择最有效的特征,降低数据维度,并利用TF-IDF算法计算特征词的权重以生成特征向量。最终,将测试样本输入PSO-GP分类模型。实验结果表明,与传统GP方法相比,提出的改进高斯过程分类模型的分类准确率提高了近15%。     

基于深度学习的短文本情感倾向分析综述

短文本情感倾向分析是自然语言处理领域的关键研究问题之一。情感倾向分析是用于检测语言所蕴含主观倾向语义的一系列方法、技术和工具,是对文本深层语义理解的关键。短文本数据的随意性、高歧义性以及简短性使得传统基于特征工程和机器学习分类技术的情感倾向分析任务性能有限。随着深度学习技术在自然语言处理中的广泛应用,基于深度学习的短文本情感倾向分析模型取得了新的突破。通过对相关文献的梳理,首先概述和对比了传统方法和深度学习方法,介绍和剖析了近年基于深度学习的短文本情感倾向分析模型,并阐述了模型的联系、区别与优势;其次归纳了深度学习在短文本情感倾向分析中的研究热点和进展思路,介绍了情感倾向分析常用的公开数据集以及评价指标;最后结合深度学习技术特点和任务难点,对深度学习在短文本情感倾向分析方向的应用前景进行预测。     

加入领域先验知识的产生式情感分类模型

情感分类是通过分析数据中的情感信息,来预测数据所传递的情感倾向.其中结合语言学词典与产生式分类器构造带有先验知识的分类模型,是一类重要的研究课题.通过研究情感词的领域性和不同权重的特性,提出了一种新的融入情感先验知识的情感分类方法.通过自动分析构造领域相关的情感词及其权重信息,将其作为情感先验知识,融入到产生式分类模型...     

A survey on sentiment detection of reviews

The sentiment detection of texts has been witnessed a booming interest in recent years, due to the increased availability of online reviews in digital form and the ensuing need to organize them. Till to now, there are mainly four different problems predominating in this research community, namely, subjectivity classification, word sentiment classification, document sentiment classification and opinion extraction. In fact, there are inherent relations between them. Subjectivity classification can prevent the sentiment classifier from considering irrelevant or even potentially misleading text. Document sentiment classification and opinion extraction have often involved word sentiment classification techniques. This survey discusses related issues and main approaches to these problems.     

基于深层注意力的LSTM的特定主题情感分析

目前特定主题情感分析任务中,传统的基于注意力的深度学习模型缺乏对主题特征和情感信息的有效关注。针对该问题,构建了融合主题特征的深层注意力的LSTM模型（deeper attention LSTM with aspect embedding,AE-DATT-LSTM）,通过共享权重的双向LSTM将主题词向量和文本词向量进行训练,得到主题特征和文本特征进行特征融合,经过深层注意力机制的处理,由分类器得到相应主题的情感分类结果。在SemEval-2014 Task4和SemEval-2017 Task4数据集上的实验结果表明,该方法在特定主题情感分析任务中,较之前基于注意力的情感分析模型在准确率和稳定性上有了进一步的提高。主题特征和深层注意力机制的引入,对于基于特定主题的情感分类任务具有重要的意义,为舆情分析、问答系统和文本推理等领域提供了方法的支持。     

维吾尔文情感语料库的构建与分析

针对维吾尔文情感语料库标注体系不规范、语料库规模小、没有合适的标注平台等问题,分析英文和中文比较著名情感语料库的优点,结合维吾尔语文本的特点,建立维吾尔文情感语料标注规范,利用Python语言构建集数据采集与标注为一体的情感标注平台,最后构建在舆情分析和舆情监控中可以应用的维吾尔文情感语料库。实验结果表明,该标注规范具有可扩展性和实用性,标注平台可以有效地减轻标注人员的工作量,提高情感语料库的质量,情感语料库可以用于舆情分析任务。      

用于方面提取的软原型增强自适应损失模型

方面提取是方面级情感分析的一个核心任务,目前方法是用方面提取、观点提取、方面级情感分类间的关系构建多元关系协作学习模型.常用的数据集中存在大多数方面词和上下文词的出现次数较少,缺乏样本暴露量等问题,使序列标注器收敛到一个极差的区域,且由于在计算模型总损失时忽略了不同部分对方面提取效果的差异,导致神经网络模型几乎无法达到最佳性能.因此提出用于方面提取的软原型增强自适应损失模型(SPEAL),通过软检索建立低样本暴露量文本与高样本暴露量文本之间的动态关性,同时根据方面提取、观点提取、方面级情感分类对方面提取的贡献度自适应更新各部分损失的权重.在REST14、RESTI5、LAP14三个数据集上的实验结果表明,SPEAL在加速收敛的同时提升了方面提取的效果.