基于异构二部图的对话情感分析

对话情感分析旨在分析识别一段对话中用户在发言终止时的情绪状态。与传统的文本情感分析不同,对话过程中的上下文语境和用户之间的交互会对用户的情绪产生重要影响,且对话文本的语法结构复杂,多存在较远距离的语法成分的依赖关系,因而是一项十分具有挑战性的任务。为解决上述问题,该文将文本的句法依存关系引入模型中,通过图卷积网络提取句法结构信息,并与文本情感分析模型相结合,提出了两种同时建模语义和句法结构的模型H-BiLSTM+HGCL和BERT+HGCL。在构建的中文对话情感分析数据集上的实验表明,与不采用依存关系的基线模型相比,该文所提出的模型取得了更好的实验性能。     

基于深度学习的对话情绪生成研究综述

情绪生成是人工情感计算研究中的子任务,在对话系统中情绪生成任务旨在生成待回复话语中的情绪类别。对话情绪生成可以推动对话情绪理解和对话表达研究,同时在智能闲聊机器人、情绪安慰、推荐系统和人机情感交互等诸多智能化领域具有重要的理论意义和实际应用价值。得益于深度神经网络在自然语言处理领域的优异表现,基于深度学习的对话系统情绪生成受到越来越多研究人员的关注。总结目前基于深度学习的对话情绪生成相关工作,现阶段利用深度学习的对话系统情绪生成相关研究主要包含三方面内容：情绪感知、情绪预测和情绪决策。简要介绍了一些常用的情绪对话数据集,最后对该任务当前问题进行了归纳概况并展望未来发展趋势。     

人机交互中的智能体情感计算研究

机器的情感是通过融入具有情感能力的智能体实现的,虽然目前在人机交互领域已经有大量研究成果,但有关智能体情感计算方面的研究尚处起步阶段,深入开展这项研究对推动人机交互领域的发展具有重要的科学和应用价值。本文通过检索Scopus数据库选择有代表性的文献,重点关注情感在智能体和用户之间的双向流动,分别从智能体对用户的情绪感知和对用户情绪调节的角度开展分析总结。首先梳理了用户情绪的识别方法,即通过用户的表情、语音、姿态、生理信号和文本信息等多通道信息分析用户的情绪状态,归纳了情绪识别中的一些机器学习方法。其次从用户体验角度分析具有情绪表现力的智能体对用户的影响,总结了智能体的情绪生成和表现技术,指出智能体除了通过表情之外,还可以通过注视、姿态、头部运动和手势等非言语动作来表现情绪。并且梳理了典型的智能体情绪架构,举例说明了强化学习在智能体情绪设计中的作用。同时为了验证模型的准确性,比较了已有的情感评估手段和评价指标。最后指出智能体情感计算急需解决的问题。通过对现有研究的总结,智能体情感计算研究是一个很有前景的研究方向,希望本文能够为深入开展相关研究提供借鉴。     

多轮任务型对话系统研究进展

对话系统旨在实现机器与人类进行信息交流并向其提供个性化服务,具有一定的研究价值。为了及时跟进相关领域的研究,对其目前研究进展进行综述。首先针对对话系统的发展和分类情况进行介绍;其次综述了任务型对话系统的架构,重点梳理基于模块和基于端到端两种框架,并进一步总结归纳所使用模型的优缺点;接下来介绍任务型对话系统的评估方法以及应用领域,包括电商领域、教育领域和医学领域等方面;最后对多轮任务型对话系统面临的问题与挑战进行分析并作出总结。     

融入知识图谱和课程学习的对话情绪识别

对话领域情绪识别是基于对话的情感分类任务,对话数据具有口语化、主题跨度大和标签具有语义相似性的特点.口语化表现为对话中存在隐含常识和语法知识的二义性词语和省略句,导致模型难以准确建模语义信息;主题跨度大表现为不同对话场景下的文本信息丰富度差异大、情绪转移频率差异大,导致模型性能下降.提出CK-ERC模型缓解上述问题,在预训练阶段,抽取结构化数据为模型融入常识和语法知识图谱,帮助模型建模口语化信息;在微调阶段引入监督对比学习任务帮助模型识别相似情绪标签;在训练策略上设计了基于动态阈值的课程学习策略,按照文本丰富度从高到低、情绪转移频率从低到高的策略优化模型. CK-ERC模型在双人对话、多人对话、模拟对话、日常对话等多种对话模式下显著优于其他模型,在MELD和EmoryNLP数据集上获得最佳表现.     

文本情感原因自动提取综述

情感原因提取是情感计算领域研究的一个新方向,是一种细粒度的情感分析,其目的是要找出给定文档中触发情感的那部分文本,是对情感的一种追根溯源.情感原因提取涉及到语言学、心理学等相关的领域知识,具有较高的学术研究价值和广泛的应用场景.尽管情感计算的相关研究大多集中在情感识别、情感预测、情感信息抽取等方面,但近些年不少学者已开始深入到情感背后的原因分析与提取上,并产生了较为丰富的成果.从问题定义、任务类别、研究方法、主流数据集、评测指标等多个角度对基于文本的情感原因自动提取的研究成果进行全面回顾和分析,重点对情感原因提取的方法特别是基于深度学习的方法进行了梳理,最后总结了现有情感原因提取工作的不足及其未来所面临的挑战.     

情感增强的对话文本情绪识别模型

针对现有的许多研究忽略了说话人的情绪和情感的相关性的问题，提出一种情感增强的图网络对话文本情绪识别模型——SBGN。首先，将主题和对话意图融入文本，并微调预训练语言模型RoBERTa以提取重构的文本特征；其次，给出情绪分析的对称学习结构，将重构特征分别输入图神经网络（GNN）情绪分析模型和双向长短时记忆（Bi-LSTM）情感分类模型；最后，融合情绪分析和情感分类模型，将情感分类的损失函数作为惩罚以构建新的损失函数，并通过学习调节得到最优的惩罚因子。在公开数据集DailyDialog上的实验结果表明，相较于DialogueGCN模型与目前最先进的DAG-ERC模型，SBGN模型的微平均F1分别提高16.62与14.81个百分点。可见，SBGN模型能有效提高对话系统情绪分析的性能。     

共情对话研究进展

人工智能驱动的对话是当前研究热点,有着广泛的应用前景。但目前这类对话系统普遍缺乏情感交互能力,限制了其在心理关爱、抑郁症等精神障碍疾病方面的应用。如何让对话系统充分理解用户情绪并生成带有共情的回复是目前对话系统面临的主要挑战之一。首先介绍了共情对话研究中情感感知和共情对话生成两大挑战,并分别调研归纳了相关研究方法。情感感知任务大致可分为基于规则、基于机器学习和基于深度学习三类方法,共情对话生成大致可分为基于检索和基于动态生成两类方法。接着介绍了共情对话的最新发展动向,并总结了共情对话数据集、通用对话数据集和多模态数据集的特点和链接,归纳了当前共情对话研究中不同的评估方法便于后续研究。最后对共情对话的研究工作进行了总结和展望。     

情感对话技术综述

情感对话技术着眼于对话机器人的“情商”,旨在让对话机器人具有像人类一样观察、理解和表达情感的能力.这项技术可以看作是情感计算和对话技术的交叉,兼顾对话机器人的“智商”和“情商”,从而实现对用户的精神陪伴、情感慰藉和心理疏导.结合对话中情感的特点,对情感对话技术进行全面解析:1)规划对话场景下的情感识别、情感管理、情感表达等3个重要的技术点,并拓展多模态场景下的情感对话技术. 2)介绍情感对话4项关键技术的最新研究进展,并总结这些技术面临的主要挑战和可能解决方案. 3)介绍情感对话技术的数据资源. 4)分析情感对话技术的难点,展望其未来发展方向与前景.     

文本情感倾向分析

近年来,文本情感倾向研究受到研究界和企业界越来越多的关注,成为了自然语言处理、信息检索、数据挖掘等领域的研究热点之一。随着研究的不断深入,大量情感倾向分析的新方法、新问题也不断涌现。该文重点对文本情感倾向研究的前沿进展进行概括和分析。首先,结合近年来的研究成果,对文本情感倾向分析的两类主要问题进行了定义,并归纳了不同的倾向性表示方法。接下来,对倾向性分类、倾向性信息抽取、语料库与评测以及倾向性分析应用等方面的研究现状进行介绍。最后,总结了情感倾向性分析技术并对未来的发展进行了展望。由于国内对于文本情感倾向分析的研究起步较早,在一些问题的研究上处于国际前沿水平,已经发表了许多高水平论文,该文也将对此加以介绍。     

E2E-CER:一种基于端到端的对话情感识别分类模型

人机对话中的情感识别对提升人机交互效率具有重要意义.当前,人机对话系统中的情感识别主要由特征提取和回归两步完成.但是,通常这两个步骤是相互独立的,目标并不一致,难以判断提取的特征是否为合适的情感特征.再者,在特征融合方面,传统方法仅将不同模态特征简单拼接,忽略了不同模态对分类结果影响的大小.针对以上问题,本文提出了一种端到端的对话情感识别模型E2E-CER,该模型将情感识别过程整合在一个统一的系统中.此外,还引入了基于注意力机制的多模态融合方法,提高了对上下文语境的学习能力,改善了动态特征融合效果.最后基于公共数据集IEMOCAP进行情了感分类识别实验,实验结果显示,同对话情感识别基线相比,所提模型表现明显高于平均水平,表明其在情感识别上的有效性.     

文本摘要模型的研究进展

随着互联网产生的文本数据越来越多,文本信息过载问题日益严重,对各类文本进行一个“降维”处理显得非常必要,文本摘要便是其中一个重要的手段,也是人工智能领域研究的热点和难点之一。文本摘要旨在将文本或文本集合转换为包含关键信息的简短摘要。近年来语言模型的预处理提高了许多自然语言处理任务的技术水平,包括情感分析、问答、自然语言推理、命名实体识别和文本相似性、文本摘要。本文梳理文本摘要以往的经典方法和近几年的基于预训练的文本摘要方法,并对文本摘要的数据集以及评价方法进行整理,最后总结文本摘要目前面临的挑战与发展趋势。     

深度学习支持下的情感识别探讨

随着人工神经网络技术的发展,深度学习逐渐成为人工智能领域的研究重点。在情感识别领域,深度学习也有着极为强大的理论与技术优势,其能够显著提升情感识别的准确性。同时,深度学习下的情感识别对于智慧化学习环境的营造有着积极意义,所以将之应用到教育教学工作中是切实可行的。本文对深度学习进行了简单介绍,并分析了当前情感识别的研究进展,进而对深度学习支持下的情感识别构建和应用展开探讨。     

Expressing reactive emotion based on multimodal emotion recognition for natural conversation in human–robot interaction*

Human–human interaction consists of various nonverbal behaviors that are often emotion-related. To establish rapport, it is essential that the listener respond to reactive emotion in a way that makes sense given the speaker's emotional state. However, human–robot interactions generally fail in this regard because most spoken dialogue systems play only a question-answer role. Aiming for natural conversation, we examine an emotion processing module that consists of a user emotion recognition function and a reactive emotion expression function for a spoken dialogue system to improve human–robot interaction. For the emotion recognition function, we propose a method that combines valence from prosody and sentiment from text by decision-level fusion, which considerably improves the performance. Moreover, this method reduces fatal recognition errors, thereby improving the user experience. For the reactive emotion expression function, the system's emotion is divided into emotion category and emotion level, which are predicted using the parameters estimated by the recognition function on the basis of distributions inferred from human–human dialogue data. As a result, the emotion processing module can recognize the user's emotion from his/her speech, and expresses a reactive emotion that matches. Evaluation with ten participants demonstrated that the system enhanced by this module is effective to conduct natural conversation.     

基于回复生成的对话意图预测

随着人机对话系统的不断发展,让计算机能够准确理解对话者的对话意图,并根据对话的历史信息对回复进行意图预测,对于人机对话系统有着十分重要的意义。已有研究重点关注根据对话文本和已有标签对回复进行意图预测,但是,在很多场景下回复可能并没有生成。因此,文中提出了一种结合回复生成的对话意图预测模型。在生成部分,使用Seq2Seq结构,根据对话历史信息生成文本,作为对话中未来回复的文本信息;在分类部分,利用LSTM模型,将生成的回复文本与已有的对话信息转变为子句级别的表示,并结合注意力机制突出同一轮次对话句与生成回复的联系。实验结果表明,所提出的模型相比简单基线模型取得了2.54%的F1-score提升,并且联合训练的方式有助于提升模型性能。     

融合敏感词规则和字符级RCNN模型的用户意图识别

用户意图识别是基于用户对话用语识别用户的真实对话意图,是人机对话研究中的一项关键任务。针对现有用户意图识别方法的不足,提出融合敏感词规则和字符级RCNN模型的用户意图识别方法。构建敏感句子与敏感词词典,并通过规则及相似度匹配策略对特征明显的对话进行意图识别。针对类别特征不明显的对话提出深层语义分类模型,该模型以单字符串作为输入序列,利用RCNN模型构建意图分类框架,既可以避免分词结果不准确带来的错误传导问题,同时利用字符的分布向量表示方法还可以获取句子的深层语义信息。实验结果表明,该方法在两个数据集上都取得了较好的结果,明显优于传统的意图识别方法。     

Segment-based emotion recognition from continuous Mandarin Chinese speech

Recognition of emotion in speech has recently matured to one of the key disciplines in speech analysis serving next generation human-machine interaction and communication. However, compared to automatic speech recognition, that emotion recognition from an isolated word or a phrase is inappropriate for conversation. Because a complete emotional expression may stride across several sentences, and may fetch-up on any word in dialogue. In this paper, we present a segment-based emotion recognition approach to continuous Mandarin Chinese speech. In this proposed approach, the unit for recognition is not a phrase or a sentence but an emotional expression in dialogue. To that end, the following procedures are presented: First, we evaluate the performance of several classifiers in short sentence speech emotion recognition architectures. The results of the experiments show that the WD-KNN classifier achieves the best accuracy for the 5-class emotion recognition what among the five classification techniques. We then implemented a continuous Mandarin Chinese speech emotion recognition system with an emotion radar chart which is based on WD-KNN; this system can represent the intensity of each emotion component in speech. This proposed approach shows how emotions can be recognized by speech signals, and in turn how emotional states can be visualized.     

文本风格迁移研究综述

文本风格迁移是近年来自然语言处理领域的热点问题之一,旨在保留文本内容的基础上通过编辑或生成的方式更改文本的特定风格或属性(如情感、时态和性别等).旨在梳理已有的技术,以推进该方向的研究.首先,给出文本风格迁移问题的定义及其面临的挑战;然后,对已有方法进行分类综述,重点介绍基于无监督学习的文本风格迁移方法并将其进一步分为隐式和显式两类方法,对各类方法在实现机制、优势、局限性和性能等方面进行分析和比较;同时,还通过实验比较了几种代表性方法在风格迁移准确率、文本内容保留和困惑度等自动化评价指标上的性能;最后,对文本风格迁移研究进行总结和展望.     

基于神经网络的微博情绪识别与诱因抽取联合模型

情绪诱因抽取作为深层次的文本情绪理解已成为情绪分析任务中的新热点,当前研究通常把诱因抽取和情绪识别看作两个独立的任务,容易导致错误在任务间的传播问题。考虑到情绪识别及诱因抽取是相互作用的,以及微博文本中表情符通常表达文本的情绪,提出了一种基于双向长短期记忆条件随机场（Bi-LSTM-CRF）模型的情绪诱因和表情符情绪识别的联合模型。该模型将情绪诱因抽取以及情绪识别形式化为一个统一的序列标注问题,充分利用了情绪诱因与情绪之间的互相作用,将情绪诱因的抽取和情绪识别同时进行。实验结果表明,该模型在诱因抽取任务中的F值为82.70%,在情绪识别任务中的F值为74.74%,相比串行模型的F值分别提高5.82和17.12个百分点,这个结果表明联合模型能够有效降低任务串行进行时的误差传递,同时提高了诱因抽取和情绪识别的F值。