面向任务口语理解研究现状综述

口语理解是对话系统重要的功能模块,语义槽填充和意图识别是面向任务口语理解的两个关键子任务。近年来,联合识别方法已经成为解决口语理解中语义槽填充和意图识别任务的主流方法,介绍两个任务由独立建模到联合建模的方法,重点介绍基于深度神经网络的语义槽填充和意图识别联合建模方法,并总结了目前存在的问题以及未来的发展趋势。     

一种基于窗口机制的口语理解异构图网络

口语理解(spoken language understanding, SLU)是面向任务的对话系统的核心组成部分,旨在提取用户查询的语义框架.在对话系统中,口语理解组件(SLU)负责识别用户的请求,并创建总结用户需求的语义框架, SLU通常包括两个子任务:意图检测(intent detection, ID)和槽位填充(slot filling, SF).意图检测是一个语义话语分类问题,在句子层面分析话语的语义;槽位填充是一个序列标注任务,在词级层面分析话语的语义.由于意图和槽之间的密切相关性,主流的工作采用联合模型来利用跨任务的共享知识.但是ID和SF是两个具有强相关性的不同任务,它们分别表征了话语的句级语义信息和词级信息,这意味着两个任务的信息是异构的,同时具有不同的粒度.提出一种用于联合意图检测和槽位填充的异构交互结构,采用自注意力和图注意力网络的联合形式充分地捕捉两个相关任务中异构信息的句级语义信息和词级信息之间的关系.不同于普通的同构结构,所提模型是一个包含不同类型节点和连接的异构图架构,因为异构图涉及更全面的信息和丰富的语义,同时可以更好地交互表征不同粒度节点之间的信息.此外,为了更好地适应槽标签的局部连续性,利用窗口机制来准确地表示词级嵌入表示.同时结合预训练模型(BERT),分析所提出模型应用预训练模型的效果.所提模型在两个公共数据集上的实验结果表明,所提模型在意图检测任务上准确率分别达到了97.98%和99.11%,在槽位填充任务上F1分数分别达到96.10%和96.11%,均优于目前主流的方法.     

基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法

自然语言理解作为医疗对话中的关键组成部分,包含意图识别和槽位填充两个重要的子任务。为建立意图和槽位的相互促进关系,实现语义层次上的建模,提出了基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法。首先,收集医疗信息网站上用户的医疗健康提问文本,基于医学知识归纳总结了24类医疗意图和5种槽位,构建了中文医疗健康咨询数据集（CMISD-UQS）;然后,引入槽位选通机制来建模意图和槽位向量之间的显式关系,设计了意图—槽位注意机制层,构建了意图上下文信息以意图标签向量方式嵌入到槽位的方式。在公共数据集ATIS和SNIPS上与八种代表性算法的对比实验结果表明,所提算法优于所比较的八种算法;在CMISD-UQS数据集上的测试结果表明,所提算法的医疗意图识别准确率、语义槽填充F1值、句子级语义框架准确率分别为78.1%、94.9%和73.2%,均优于其他对比算法。     

基于深度度量学习的强泛化开关仪表识别算法

针对电厂开关检测方法无法应对现实开集环境,对稀有类别识别准确率低的现状,将目标识别问题转化为相似性度量问题,并提出新算法。新算法基于深度度量学习的三元组网络,利用加入 SE Block 的 ResNet-18 提取特征,并利用跨批次挖掘增强学习效果。为评估算法性能,创建了一个包含3 300 张开关图片的数据集,并使用新算法在该数据集上进行了闭集测试、开集测试、小样本测试。结果表明：新算法在闭集状态下具有良好的区分能力,不仅能准确识别训练集中的类别,还能有效区分训练时未遇到的及出现频率较低的状态。由此表明,该算法不仅适用于现实世界的开集环境,而且能显著提升对小样本数据的识别精度。     

基于深度学习的单目标跟踪算法综述

单目标跟踪是计算机视觉领域中的研究热点.传统算法如相关滤波的跟踪速度较快,但由于提取到的颜色、灰度等手工特征较为粗糙,跟踪精度往往不高.近年来随着深度学习理论的发展,使用深度特征的跟踪方法能够在跟踪的精度和速度方面达到很好的平衡.本文首先介绍单目标跟踪的相关背景,接着从相关滤波单目标跟踪、深度学习单目标跟踪两个阶段对单...     

面向工业运维人机对话的意图和语义槽联合识别算法

在工业运维人机对话任务中,为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题,提出一种改进的BERT联合任务算法GP-GraphBERT,利用意图和语义槽识别任务的关联性提升对话性能.首先,由BERT得到隐藏层状态后,通过构建邻接矩阵将其转换为图结构,嵌入加权残差图注意力网络(WRGAT)增强模型的邻居感知能力.其次,改进融合旋转式位置编码(rotary position embedding,RoPE)的全局指针机制(GlobalPointer),使模型能够无差别地识别常规实体和嵌套实体.最后,设计意图识别和语义槽识别任务的联合损失函数,利用两者的关联性提高预测精度,在模型训练过程中引入动态掩码处理,增强模型的鲁棒性和泛化能力.实验结果表明,GP-GraphBERT算法在工业运维人机对话数据集上意图识别和语义槽识别的F.分数达到87.5％和86.4％,相较于原网络JointBERT分别提升9.2和3.0百分点,同时能够满足运维数据嵌套实体识别需求.实验充分验证了算法在联合识别任务中的性能.     

基于图神经网络与深度学习的商品推荐算法

基于图神经网络的推荐算法可以提取传统方法无法提取用户与商品之间的关联关系.目前此类算法大多忽略了用户和商品的评论数据中所存在的一般偏好.针对这一问题,提出了一种方法,在利用图神经网络提取关联关系的同时,利用深度学习提取评论的优势提取用户和商品的一般偏好,并进行特征融合来提升推荐效果.在四组公共数据集中进行了对比实验,使用召回率和归一化折损累计增益作为评价指标,并通过消融实验验证了方法的有效性.实验表明该方法比已有相关算法的效果更好.两种网络的特征融合对推荐效果有提升作用.     

基于深度学习的行人重识别综述

行人重识别(Re-ID)是计算机视觉领域的热点问题,主要研究的是“如何关联位于不同物理位置的不同摄像机捕获到的特定人员的问题”。传统的行人Re-ID方法主要基于底层特征如局部描述符、颜色直方图和人体姿势的提取。近几年,针对行人遮挡和姿势不对齐等传统方法所遗留问题,业内提出了基于区域、注意力机制、姿势和生成对抗性网络(GAN)等深度学习的行人Re-ID方法,实验结果得到较明显的提高。故对深度学习在行人Re-ID中的研究进行了总结和分类,区别于以前的综述,将行人重识别方法分成四大类来讨论。首先,通过区域、注意力、姿势和GAN四类方法来综述基于深度学习的行人Re-ID方法;然后,分析这些方法在主流数据集上的mAP和Rank-1指标性能表现,结果显示基于深度学习的方法可以增强局部特征之间的联系并缩小域间隙,从而减少模型过拟合;最后,展望了行人Re-ID方法研究的发展方向。     

基于深度学习的知识追踪研究综述

随着人工智能与教育的不断发展,知识追踪在智慧教学领域具有广阔的应用前景;深度学习以其强大特征提取能力广泛应用于知识追踪,以深度学习知识追踪模型为起点,其改进模型为主线,全面回顾了知识追踪模型的研究进展,简要介绍了知识追踪领域传统模型的特点及不足,阐述了基于深度学习知识追踪模型的原理及局限性,同时全面整理并分析了针对可解释性问题、缺少学习特征、记忆增强网络、图神经网络、基于注意力机制五个方面的改进模型,梳理了知识追踪领域常用的公开数据集、评价指标及模型性能对比分析,最后总结并探讨了知识追踪在智慧教学方面的应用以及当前该研究领域的研究现状与未来的研究方向。     

唇语识别的深度学习方法综述

随着深度学习的不断发展,唇语识别领域的研究取得了重大进展,涌现了许多唇语识别的深度学习算法。依据识别对象的连续性,将唇语识别分为孤立唇语识别和连续唇语识别,并对各识别任务的深度学习方法进行了详细和深入的分析总结。从孤立唇语识别的深度学习方法和连续唇语识别的深度方法两个方面介绍了主流唇语识别方法,并对各方法的优缺点和性能进行比较;对不同数据集下代表性方法的特点和性能进行比较,对两类方法的优缺点和适用范围进行阐述;讨论了唇语识别方法存在的问题和挑战,并对唇语识别方法的研究趋势进行了展望。     

基于胶囊图卷积的解缠绕会话感知推荐方法

针对会话推荐模型中存在的推荐准确率不高的问题,提出了一种基于胶囊图卷积的解缠绕会话感知推荐方法(CGCD)。具体来说,采用解缠绕学习技术将项目嵌入转换为基于多个子通道的因子嵌入,利用图卷积网络对因子嵌入进行细粒度的学习。然后,利用胶囊动态融合策略聚合不同的因子获得新的项目嵌入。此外,采用多头注意力机制为会话中每个项目分配权重。最后,根据分配的权重将项目嵌入与当前会话中的其他项目进行聚合,进而生成准确的会话表示,实现项目推荐。在两个公开真实数据集上的实验表明,所提模型在推荐的Pre@10,Pre@20,MRR@10和MRR@20上平均提高了5.17%、2.99%、6.56%和2.94%,验证了其有效性与高效性。     

基于槽依赖建模的跨领域槽填充方法

作为任务型对话系统的一个核心部分, 槽填充任务通过识别话语中存在的特定槽实体来服务于后续的下游任务. 但是, 针对一个特定领域, 需要大量有标记的数据作为支撑, 收集成本较高. 在此背景下, 跨领域槽填充任务出现, 该任务通过迁移学习的方式高效地解决了数据稀缺问题. 已有的跨领域槽填充方法都忽视了槽类型之间在话语中存在的依赖, 导致现有的模型在迁移到新领域时性能欠佳. 为了弥补这个缺陷, 提出基于槽依赖建模的跨领域槽填充方法. 基于生成式预训练模型的提示学习方法, 设计一种融入槽依赖信息的提示模板, 该模板建立了不同槽类型之间的隐式依赖关系, 充分挖掘预训练模型的实体预测性能. 此外, 为了进一步提高槽类型和槽实体与话语文本之间的语义依赖, 增加了话语填充子任务, 通过反向填充的方式增强话语与槽实体的内在联系. 通过对多个领域的迁移实验表明, 所提模型在零样本和少样本的设置上取得了较大的性能提升. 此外, 对模型中的主要结构进行了详细地分析和消融实验.     

基于双重注意力的入侵检测系统

在当今互联网飞速发展的时代,人们在网络中信息交互的次数日益增多,使得网络安全显得尤为重要。文章以增强模型检测异常流量的能力为研究目的,提出一种基于注意力机制的胶囊网络模型。在特征提取阶段和动态路由阶段分别融入注意力机制,增强了模型提取关键特征的能力,提升了在入侵检测任务中的准确率。在NSL-KDD数据集和CICDS2017数据集进行实验,结果表明文章所提模型在泛化能力方面高于其他模型,在CICIDS2017的测试集上,准确率达97.56%;在NSL-KDD的测试集上,准确率可达95.88%。相较于其他传统常用的入侵检测模型,效率有显著提升。     

基于深度学习的电影知识智能对话

针对电影知识对话响应中涉及大量的专有名词(如人名、地名等)且一条响应中可能涉及到多条知识的特点,提出了一种新的电影知识智能对话方法。首先,构建电影知识库和电影知识对话数据集;然后,编码器部分采用3-hops记忆神经网络,将历史对话编码成向量;最后,解码器部分将GRU和3-hops记忆神经网络相结合,用GRU的隐藏状态作为3-hops的动态查询向量,指导响应生成。结果显示该电影知识智能对话方法不仅解决了生成无意义响应的问题,又能保证生成响应的多样性。     

基于时域卷积网络的中文句子级唇语识别算法

针对现有中文句子级唇语识别技术存在的视觉歧义、特征提取不充分导致识别准确率偏低的问题,提出了一种基于时域卷积网络,采用三维时空卷积的中文句子级唇语识别算法——3DT-CHLipNet(Chinese LipNet based on 3DCNN,TCN)。首先,针对特征提取不充分的问题,所提算法采用了比长短期记忆网络(LSTM)感受野更大的时域卷积网络(temporal convolutional network, TCN)来提取长时依赖信息;其次,针对中文唇语识别中存在的“同型异义”视觉歧义问题,将自注意力机制应用于中文句子级唇语识别,以更好地捕获上下文信息,提升了句子预测准确率;最后,在数据预处理方面引入了时间掩蔽数据增强策略,进一步降低了算法模型的错误率。在最大的开源汉语普通话句子级数据集CMLR上的实验测试表明,与现有中文句子级唇语识别代表性算法相比,所提算法的识别准确率提高了2.17%至23.99%。     

基于多任务学习的电子病历实体识别方法

中文电子病历NER是医疗信息抽取的难点。本文提出一种多任务学习的实体识别方法,联合实体识别和分词训练模型,使用基于Bi-LSTM的私有层提取专有信息,融合注意力网络作为共享层并增加通用特征增强机制来筛选全局信息,降低过拟合风险并增强模型的泛化能力。此外提出均衡样本过采样方法扩充数据集,有效解决实体类别不平衡所带来的问题。使用CCKS2017/CCKS2020电子病历实体识别语料和Medicine医药分词语料联合训练,实验结果显示本文提出的模型整体性能提升明显,同时也显著提高了Medicine语料的分词实验效果,F1值较基线提升了3个百分点。实验表明本文提出的模型能够有效改善因电子病历中数据不规范、无结构或专有名词等原因造成的实体切分错误等问题。