基于对话者语句交互图神经网络的对话情感分析

对话情感分析任务旨在通过理解人类在对话中表达情绪的方式,结合对话内容及对话者信息,识别对话中的每一个语句的情感分类。不同于其余文本情感分析任务,对话情感分析需要建模对话中的顺序上下文语境。然而,如何更直观有效地建模对话语境,并且充分考虑对话参与者的情绪变化,以提高对话情感分析任务的准确率等问题仍有待探索。因此,本文提出一种基于对话者语句交互图神经网络的对话情感分析模型。首先,通过微调RoBERTa预训练语言模型提取对话文本的语句特征和对话者信息特征;其次,使用Bi-GRU建模对话文本的序列上下文语境,获得上下文语句特征;最后,融合上下文语句特征和对话者信息特征构建对话者语句交互图神经网络模型。在公开数据集MELD上的实验结果表明,与其他基线模型相比,本文所提模型取得了更好的实验性能。     

基于多尺度卷积特征融合的癫痫脑电信号识别

脑电信号(electroencephalography,EEG)已成为医生诊断神经系统疾病最 广泛使用的工具,实现癫痫EEG的自动识别对 于癫痫患者的临床诊断和治疗具有重要意义。为了提高癫痫EEG的识别精度,提出了一 种基于多尺 度卷积特征融合的癫痫EEG自动识别模型。首先采用多尺度卷积特征融合方法提取多粒 度数据特征, 实现卷积神经网络(convolutional neural network,CNN)中不同层次的信息互补;然后经过长短期记忆网络(long short-term memory network,LSTM)提取时间 特征,利用 softmax分类器给出最终的识别结果。为了评估提出方法的识别性能,在波恩大学癫痫病研 究中心数据集 中进行实验,并与CNN-LSTM模型、单一的LSTM等模型的识别性能进行了比较,实验结果表 明,提出 方法的识别精度明显高于其余方法, 平均可达到99.19%。该模型能够 有效识别癫痫EEG类别,具有较高的识别性能和临床应用潜力。     

情绪识别技术在电力智能客服系统中的应用研究

为提升电力系统中智能客服系统的效率,降低人工成本,提出一种基于长短时记忆网络(Long Short Term Meory ,LSTM)的情绪识别方法。首先利用词嵌入(Word Embedding)方法提取出对话内容的特征表示,并根据先验知识添加情感特征,生成具有情绪语义的词向量,基于双向长短时记忆网络训练得到情绪分类模型,将问题解决的需求分为紧急、一般与非紧急三个级别,并可将分类结果用于优先级自动调度决策中,判断是否应立即接入人工服务。在真实的电力客服对话平台数 据集上对算法在准确度和响应时间两个方面进行测试,实验结果表明,算法对情绪的识别准确率达到了较高的水平,且响应时间可以满足系统实时处理的需求,有较高的实用性。     

融合时空上下文的手绘笔画图文分类

在笔式用户界面中,对手绘图形和手写文字的识别通常采用不同的识别算法,因此通过笔画分类将混杂的笔画集自动分离是手绘草图识别中的一个重要研究课题。该文提出一种融合时空上下文的手绘笔画联合分类方法,采用支持向量随机场对时空关联的笔画集进行联合建模,不仅利用笔画自身的特征进行判别分类,还以时空邻域和笔画对特征同时融合了笔画间的时间上下文和空间上下文信息,通过模型环状置信传播(LBP)推断,最终求得最大后验边缘概率准则下的联合分类结果。实验结果表明,该文方法的分类准确率优于基于SVM的单笔画分类方法和基于马尔科夫随机场(MRF)的空间上下文联合分类方法,分类速度能基本满足交互实时性的要求,验证了利用随机场模型融合时空上下文进行笔画分类的可行性和有效性。     

基于CRNN混合神经网络的多语种识别

在语种识别过程中,为提取语音信号中的空间特 征以及时序特征,从而达到提高多语 种识别准确率的目的,提出了一种利用卷积循环神经网络(convolutional recurrent neural network,CRNN)混合神经网络的多语种识别模型。该模型首先提 取语音信号的声学特征;然后将特征输入到卷积神经网络(convolutional neural network,CNN) 提取低维度的空间特征;再通过空 间金字塔池化层(spatial pyramid pooling layer,SPP layer) 对空间特征进行规整,得到固定长度的一维特征;最后将其输入到循环神经 网络(recurrenrt neural network,CNN) 来判别语种信息。为验证模型的鲁棒性,实验分别在3个数据集上进行,结果表明:相 比于传统的CNN和RNN,CRNN混合神经网络对不同数据集的语种识别 准确率均有提高,其中在8语种数据集中时长为5 s的语音上最为明显,分别提高了 5.3% 和6.1%。     

基于语境感知和迁移学习的口语理解方法

口语理解是语言处理中的重要组成部分.在语言翻译中,口语理解可以将自然语言用户的话语解析为语义框架.为了提高口语理解的性能,在多回合对话中可以加入上下文信息.但是收集大规模的人工标记的多轮对话语料库是复杂,昂贵的,且不现实的.所以在此提出了一个上下文编码语言转换器(CLT)模型,以便于利用各种上下文信息.实验结果表明,在...     

面向红色文化的命名实体识别研究

针对通用领域的命名实体识别(Named Entity Recognition, NER)模型在红色文化的实体识别中难以完整准确地进行实体划分的问题，提出了一种基于双向长短期记忆(Bi-directional Long Short-Term Memory, BiLSTM)网络模型结合词汇增强和注意力机制方法的改进算法红色学习双向长短期记忆(Red Learing BiLSTM,RLBiLSTM)网络，用于红色文化的NER。对红色文化数据集中的重要词汇进行数据处理，构建一个包含红色文化特征的词表，将词表信息与BERT底层信息进行融合。使用BiLSTM网络和注意力机制考虑上下文和全局信息，并利用条件随机场进行实体识别。实验表明，将改进的算法应用于RedCulture-1数据集上取得了较好的识别效果，和传统的算法相比具有更高的准确率，有利于解决红色文化的实体识别问题。     

多尺度混合注意力胶囊网络的海洋鱼类识别

针对胶囊网络(capsule network,CapsNet)特 征提取结构单一和数据处理中参数量过大的问题,提出 多尺度混合注意力胶囊网络 模型。首先,在网络初始端添加不同尺度的卷积核来多角度提取 特征,并引 入混合注意力机制,通过聚焦更具分辨性的特征区域来降低复杂背景干扰。其次,采用局部 剪枝算法优 化动态路由,减少参数量,缩短模型训练时间。最后,在海洋鱼类数据集F4K(Fish4Knowled ge)上验证, 结果表明,与传统残差网络(residual network50,ResNet-50)、双线性网络(bilinear convo l utional neural network,B-CNN)、分层精简双线性注意力网络(spatial transformation netw ork and hierarchical compact bilinear pooling,STN-H-CBP)以及CapsNet模型相比,该算法 识别精度为98.65%,比ResNet-50模型提升 了5.92%;训练时间为2.2 h,相比于CapsNet 缩短了近40 min,验证了该算法的可行性。     

基于DnCNN的海面目标一维距离像识别方法

针对低信噪比条件下海面目标分类识别精度差的问题,该文提出了一种基于去噪卷积神经网络(Denoising convolutional neural network,DnCNN)的海面目标高分辨一维距离像(High Resolution Range Profile,HRRP)识别方法。所提方法设计了一个海面目标分类识别模型,该模型通过其中的降噪模块提高信噪比。首先,分析了HRRP和二维图像的相似特性,将HRRP降噪转变为二维图像降噪。其次,利用深层次卷积层与批归一化层相结合的结构,提取图像深层次的噪声特征,最后采用残差学习技术,减轻深层次网络的学习负担的同时重构图像进行分类识别。实验结果表明,该模型可以有效提升低信噪比条件下的海面目标分类识别正确率,在不同信噪比条件下其识别性能均优于对比模型,具有良好的识别性能和鲁棒性。      

一种用于图像分类的语义增强线性编码方法

针对传统编码模型中存在的编码歧义性问题,该文提出一种考虑特征上下文的语义增强线性编码方法。首先,通过学习局部邻域中特征共生关系矩阵来表示上下文信息。然后,在编码过程中同时引入学习而得的上下文信息与特征上下文匹配权重得到语义增强编码模型。由于上下文信息与上下文匹配权重的功能,使得此编码方法不仅丰富了编码的语义信息,还能够有效避免噪声带来的影响。在3个基准数据集(Scene15, Caltech101以及 Caltech256)上充分的实验验证了该方法的有效性。     

基于流感知的复杂网络应用识别模型

传统协议识别技术多以单网络流为识别手段,不能应对复杂网络应用多服务、多协议等特性,因此在面对复杂网络应用识别时严重失效。针对复杂网络应用的识别难题,提出了一种流感知模型,从空间、时间和流量3个维度来刻画复杂网络应用的通信特性,深度分析并挖掘了复杂网络应用的行为和状态特征;基于此模型,提出了一套快速识别复杂网络应用的方法和架构。实验结果表明,流感知模型能有效识别复杂网络应用,具有良好的识别效果。     

基于多层次语义表示学习的电力服务诉求识别

对话中自动识别用户的具体诉求是电力智能服务平台中的一项关键技术。通过诉求识别，可以对海量对话材料进行及时高效的电子建档、信息挖掘，降低人力成本、提升服务质量。针对这一问题，提出一种结合词汇（token），文段（segment）与上下文（context）级别多层次语义信息表示的诉求识别方法，在每个层次上，引入ELMo预训练模型，通过设计不同的语义传递方式训练出表示不同层次语义信息的词向量。在真实的电力服务对话数据集上验证了该方法的有效性。     

基于多种上下文结构与线性融合的特定敏感视频识别

本文中特定敏感视频是指恐怖和暴力视频,现有的特定敏感视频识别算法或是忽略了视频的多种上下文结构信息;或是忽略了各种特征间潜在的依赖关系.因此,本文提出了一种基于多种上下文结构与线性融合的特定敏感视频识别方法,首先针对某种视频提取多种有效特征,并获取镜头间的上下文结构信息;然后,在每一个特征空间中利用上下文结构训练一个SVM分类器;最后,获取不同特征间的依赖关系,采用线性依赖模型融合多个分类器的结果,提高视频的识别率.在特定敏感视频库上的实验结果验证了该方法比现有的其它算法有更好的性能和稳定性.     

融合双层注意力与多流卷积的肌电手势识别记忆网络

针对表面肌电信号(surface electromyography, sEMG)手势识别使用卷积神经网络(convolutional neural network, CNN)提取特征不够充分,且忽略时序信息而导致识别精度不高的问题,本文创新性地提出了一种融合双层注意力与多流卷积神经网络(multi-stream convolutional neural network, MS-CNN)的sEMG手势识别记忆网络模型。首先,利用滑动窗口生成的表面肌电图像作为该模型的输入;然后在MS-CNN中嵌入通道注意力层(channel attention module, CAM),弱化无关信息,使网络能够更加专注sEMG的有效特征;其次,通过长短期记忆网络(long short term memory network, LSTM)对输入的特征进行时序上的激励,关注更多sEMG的时序信息,让网络在时间维度上拥有更强的学习能力;最后,采用时序注意力(time-sequence attention, TSA)层对LSTM的状态进行关注,从而更好地学习重要肌肉信息,提高手势识别精度。在NinaPro数据集上...     

基于RoBERTa改进的多模态情绪识别关键技术研究

针对当前多模态情绪识别技术的识别稳定性差,导致识别精准度低的问题,提出了基于RoBERTa改进的多模态情绪识别关键技术研究。建立了基于RoBERTa改进的多模式情绪识别模型,对输入文本进行量化表示,并采用BIO标注的方法,对RoBERTa模型进行识别。通过计算RoBERTa语言模型学习节点间的相位锁定值,保证识别过程的稳定性,获得相应的连接权值,计算K-阶传播数的结构熵和权值,得到每个节点的排名。融合RoBERTa语言模型拓扑结构和节点排名,利用F-score算法选择融合后特征,以此识别多模态情绪。实验结果表明,该技术与实际结果存在0.005的误差,能够有效提高识别准确率。     

基于自注意力序列模型的唇语识别研究

唇语识别任务本身具有复杂性和多样性,为了应对这些挑战,提出了一种基于自注意力序列模型的唇语识别方法,并在带有上下文信息的单词级唇语识别任务中取得了很好的结果,模型在LRW数据集上的Top1准确率为84.79%,比主流的方法提高了2.75%的准确率。通过多方面详细的分析和比较,证明了自注意力机制能有效提高唇语识别的性能。     

多预测融合的脑电情绪识别迁移方法

针对脑电情绪识别中脑电数据的概率分布会因个体和时间而发生变化的问题,提出一个称为领域对抗多预测融合(Domain-Adversarial Multi-Prediction Fusion,DAMPF)的迁移方法。无需目标域数据参与模型训练,该方法通过领域对抗训练来增强所提取特征的可迁移性,并为每个源域学习一个独立的情绪标签预测器。目标域中每个样本的情绪类别均由一个将所有标签预测器的预测进行平均的融合策略来决定。实验结果表明,所提方法优于传统的领域自适应方法和仅有单一预测器的领域泛化方法,验证了所提方法在脑电情绪识别迁移问题中的有效性。     

基于潜在主题的混合上下文推荐算法

针对单个环境上下文中项目访问记录稀疏的问题,推荐系统难以获取与当前环境上下文关联的用户偏好。该文设计了一种新的上下文关联性推荐(CTRR)算法。CTRR算法通过CTRR_LDA模型求解推荐项目出现在特定环境上下文的概率,并结合上下文后过滤推荐算法,对用户进行推荐。CTRR_LDA模型是在(LDA)模型的基础上,结合环境上下文和项目特征上下文,提出的项目与环境上下文的关联概率模型。该模型将环境上下文划分为多个环境上下文因子,每个环境上下文因子表示为K维的主题分布,挖掘环境上下文因子中项目出现的潜在主题特征。利用LDOS-CoMoDa网站上真实的电影数据集进行实验,验证了算法的可靠性。     

基于RNN和WFST译码的自动语音识别研究

文中利用Eesen框架声学建模简化了现有的自动语音识别(ASR),通过训练单个递归神经网络(RNN)来预测上下文无关的目标(音素或字符)。为了消除对预生成帧标签的需求,采用了连接时间分类(CTC)目标函数来推断语音和标签序列之间的对齐。同时,采用基于加权有限状态换能器(WFST)的广义译码方法,将词汇和语言模型有效地整合到CTC译码中。实验结果表明,与混合HMM/DNN模型相比,所提方法具有较低的误码率(WER),同时显著加快了译码速度。     

基于深度卷积神经网络的多元医学信号多级上下文自编码器

多元医学信号的典型代表有多模态睡眠图和多通道脑电图等，采用无监督深度学习表征多元医学信号是目前健康信息学领域中的一个研究热点。为了解决现有模型没有充分结合医学信号多元时序结构特点的问题，该文提出了一种无监督的多级上下文深度卷积自编码器(mCtx-CAE)。首先改进传统卷积神经网络结构，提出一种多元卷积自编码模块，以提取信号片段内的多元上下文特征；其次，提出采用语义学习技术对信号片段间的时序信息进行自编码，进一步提取时序上下文特征；最后通过共享特征表示设计目标函数，训练端到端的多级上下文自编码器。实验结果表明，该文所提模型在两种应用于不同医疗场景下的多模态和多通道数据集(UCD和CHB-MIT)上表现均优于其它无监督特征学习方法，能有效提高多元医学信号的融合特征表达能力，对提高临床时序数据的分析效率有着重要意义。