基于深度语义的三阶段式问题检索模型

随着检索式问答技术的日趋成熟,如何有效利用现有的模型和检索工具,达到问答系统的整体优化,是亟待研究的现实问题.提出了一种基于深度语义的三阶段式问题检索模型(TSFR-RM),用于构筑智能客服问答系统.首先基于深度学习方法计算用户问题和知识库问题的文本表征相似度,锁定top-k候选答案集,同时赋予模型泛化检索的能力;其次针对用户问题与知识库问题答案对,构造多角度语义特征,进行精确比对计算;最后构造状态预测模型返回问题检索精准答案.通过真实文旅机构客服问答数据集实验及实际应用效果表明,该模型相较于其他基于特征和表征的问题检索模型,在精确率(precision)性能指标上最高提升9.3个百分点,提升优化了智能客服检索系统的准确性.     

基于语义强化和特征融合的文本分类

文本分类是信息检索、机器问答的基础性任务,是自然语言理解的一项重要语义任务。本文提出了一种基于语义强化和特征融合的(LAC)分类模型。该模型首先将Word2vec嵌入的词向量输入LSTM进行句子语义的提取,然后将提取的语义特征输入Attention层进行特征的强化,同时用卷积层提取文本的局部特征,其次把强化的语义特征和利用卷积层提取的局部特征进行融合,最后经池化层对特征进行降维,并将经池化后的特征向量输入到全连接层,引入Dropout防止过拟合,得到最终的分类结果。由于CNN提取特征时存在忽略上下文信息的弊端,所以提出用LATM提取上下文信息,然后进行特征的融合的方法;另外,由于LSTM在捕获句子信息时会因为距离过长而出现的信息遗漏现象,所以提出将Attention作用于LSTM。通过实验表明,本文提出的模型比单独的CNN模型、以及先用LSTM提取语义信息,在进行局部特征提取的LSTM-CNN模型的效果更好。     

基于多特征语义匹配的知识库问答系统

知识库问答（KBQA）任务主要目的在于精确地将自然语言问题和知识库（KB）中的三元组进行匹配。传统的KBQA方法通常专注于实体识别和谓语匹配,实体识别的错误会导致错误传播从而无法得到正确的答案。针对上述问题提出一种端到端的解决方案直接匹配问题和三元组,该系统主要包含候选三元组生成和候选三元组排序两个部分来实现精确问答。首先通过BM25算法计算问题和知识库中三元组的相关性生成候选三元组;然后通过多特征语义匹配模型（MFSMM）进行三元组的排序,即用MFSMM分别通过双向长短时记忆网络（Bi-LSTM）和卷积神经网络（CNN）实现语义相似度和字符相似度的计算,并通过融合来对三元组进行排序。该系统在NLPCC-ICCPOL 2016 KBQA数据集上的平均F1为80.35%,接近了现有最好的表现。     

基于相似度的问答社区问答质量评价方法

研究问答社区中回答质量的评价方法,针对具有多个答案的问题,提出一种基于相似度的问答社区中问答质量的评价方法。该方法利用问题与各答案之间的语义关系,通过计算每个答案和问题中语言"单位"之间的相似度和对应的权值,并引入HITS算法模型对权值进行调整,选取出最佳答案。实验结果表明,与仅基于文本特征的方法相比,该方法能够有效地提高回答质量的评估效果。     

基于深度学习与混沌特征融合的滚动轴承故障诊断EI北大核心CSCD

本文针对现有滚动轴承智能故障诊断方法在面向大噪声背景下鲁棒性能差的问题.基于混沌理论,提出采用相空间重构方法还原并丰富轴承振动的动力学特性,通过卷积神经网络(CNN)提取混沌序列中的高级抽象特征,又考虑故障信号具有长程相关性,将低维抽象故障特征引入长短期记忆网络(LSTM),以灰狼算法优化的支持向量机(OSVM)作为分类器,提出CCNN (Chaotic CNN)–LSTM–OSVM智能故障诊断方法.试验结果表明,在处理信噪比为-6 dB信号时,该方法仍具有89.96%的准确率,相比以Softmax作为分类器的CNN–LSTM和CCNN–LSTM方法分别高出15.36%和5.21%,且在收敛速度方面亦有较大优势.     

煤矿安全隐患智能语义采集与智慧决策支持系统

针对现有煤矿安全隐患智能语义采集与决策系统存在欠缺智能语义提取功能和多属性互联检索分析与决策功能、智能化程度不高等问题,设计了一种基于改进卷积神经网络(CNN)和蚁群算法(ACO)的煤矿安全隐患智能语义采集与智慧决策支持系统。该系统采用基于CNN的智能语义采集模型,利用CNN算法匹配出相似度最高的近义关键词,通过映射表关联到标准关键词,解决了相近语义的关键词匹配精度不高的问题;采用基于ACO的智慧检索模型,通过ACO算法负反馈和正向加强的方式标记高频度检索条例,实现了被检索的高频度条例的智能显示。实验与应用结果表明,该系统可实现多属性语义关键词的互联查询、高频度检索条例的智能显示、隐患问题相关数据的实时跟踪、数据统计图的多样化显示、决策分析预警简报的智能生成等功能。     

基于深度学习的问题分类方法研究

问题分类是问答系统中的重要组成部分。但现阶段的问题分类需要人工制定提取特征的策略和不断优化特征规则。深度学习方法在问题分类上具有可行性,通过自我学习特征的方式表示和理解问题,避免人工特征的制定,从而减少人工代价。针对问题分类,改进了长短期记忆人工神经网络(LSTM)和卷积神经网络(CNN)模型,并结合两者的优势组合成为一种新的学习框架(LSTM-MFCNN),加强对词序语义和深度特征的学习。实验结果表明,该方法在不需要制定繁琐的特征规则的条件下,仍然有较好的表现,准确率达到了93.08%。     

融合深度匹配特征的答案选择模型

答案选择是自动问答系统中的关键任务之一,其主要目的是根据问题与候选答案的相似性对候选答案进行排序,并选择出相关性较高的答案返回给用户。可将其看作成一个文本对的匹配问题。该文利用词向量、双向LSTM、2D神经网络等深度学习模型对问题—答案对的语义匹配特征进行了提取,并将其与传统NLP特征相结合,提出一种融合深度匹配特征的答案选择模型。在Qatar Living社区问答数据集上的实验显示,融合深度匹配特征的答案选择模型比基于传统特征的模型MAP值高5%左右。     

基于语义分割的全卷积图像描述模型

为快速生成准确描述图片内容的语句,提出语义分割和卷积神经网络(convolutional neural network, CNN)相结合的图像描述方法。将图像分类模型和语义分割模型结合为编码器,增强对图像语义信息的利用,采用CNN代替长短时记忆网络(long short term memory, LSTM)作为解码器生成完整描述性语句。通过在MSCOCO数据集上与5种主流算法的对比实验可知,以CNN作为解码器能够大幅提高解码速度,语义信息的增强能够有效提高实验精度,验证了该方法的有效性和可行性。     

翻译机器人自动问答交互模块构建

为提升自动问答交互翻译的准确性,在结合机器翻译基础上,提出一种基于注意力改进CNN的机器翻译自动问答系统。具体则是通过注意力机制对CNN进行改进,以提高传统NMT输入中的语义信息特征,然后通过NMT实现目标语言的翻译。最后,搭建机器翻译自动问答交互模块和实验环境,分别对算法和自动问答交互系统进行验证。结果表明,改进方法的性能较高,准确性达92.3%,同时通过性能测试,表现出良好的交互性。     

基于Bi-LSTM的财金文本情感分类研究

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络(Bi-LSTM)模型。利用双向循环长短时记忆神经网络(Bi-LSTM)提取文本的上下文信息;然后,对已提取的上下文特征利用LSTM进行局部语义特征提取;最后,采用语法规则,构建情感分类器。通过与RNN、Bi-LSTM等单一模型对比。实验结果表明,多层LSTM结构相比传统RNN(循环神经网络)的ROUGE(语义恢复度)值更高,具有较好的学习能力。     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

基于CNN和双向LSTM融合的实体关系抽取

实体关系抽取旨在识别网络文本中的实体,并提取出文本中实体之间隐含的关系。研究表明,深度神经网络在实体关系抽取任务上具有可行性,并优于传统关系抽取方法。目前的关系抽取方法大都使用卷积神经网络（CNN）和长短期记忆神经网络（LSTM）,然而CNN只考虑连续词之间的相关性而忽略了非连续词之间的相关性。另外,LSTM虽然考虑了长距离词的相关性,但提取特征不够充分。针对这些问题,提出了一种CNN和LSTM结合的实体关系抽取方法,采用3种结合方法进行了实验,验证了该方法的有效性,在F1值上有一定的提升。     

基于融合式神经网络的微生物生长环境关系抽取

为了构建完整的微生物生长环境关系数据库,提出基于卷积神经网络-长短时记忆(CNN-LSTM)的关系抽取系统.结合卷积神经网络(CNN)和长短时记忆(LSTM),实现对隐含特征的深度学习,提取分布式词向量特征和实体位置特征作为模型的特征输入.对比实验验证加入特征后CNN-LSTM模型的优势,并将CNN模型的特征输出作为LSTM模型的特征输入.在Bio-NLP 2016共享任务发布的BB-event语料集上得到目前最好的结果.     

基于模糊信息粒化与混合神经网络的混沌时间序列预测

为了提高对混沌时间序列预测的精准度,提出了一种基于模糊信息粒化和注意力机制的混合神经网络预测模型。首先对数据进行归一化处理,利用模糊信息粒化对数据的复杂度进行简化;然后将经过相空间重构后的样本输入卷积神经网络(CNN)提取空间特征;再利用长短期记忆神经网络(LSTM)进一步提取时间特征;最后将融合特征传递给注意力机制提取关键特征,得出预测结果。选取Logistic、洛伦兹和太阳黑子混沌时间序列进行实验,并与CNN-LSTM-Att模型、CNN-LSTM模型、FIG-CNN模型、FIG-LSTM模型、CNN模型、LSTM模型、支持向量机(SVM)及误差逆传播(BP)模型进行对比分析。结果表明,所提的预测模型预测精度更高,误差更小。     

结合引导解码和视觉注意力的图像语义描述模型

针对输入的图像视觉信息不能在每一步解码过程中动态调整,同时为了提高图像语义描述模型的精度和泛化能力,提出了一种结合引导解码和视觉注意力机制的双层长短时记忆（long short term memory,LSTM）网络的图像语义描述模型。将提取到的图像的视觉和目标特征通过一个引导网络建模后送入LSTM网络的每一时刻,实现端到端的训练过程;同时设计了基于图像通道特征的视觉注意力机制,提高了模型对图像细节部分的描述。利用MSCOCO和Flickr30k数据集对模型进行了训练和测试,结果显示模型性能在不同的评价指标上都得到了提升。     

VMD和混合深度学习框架融合的短期风速预测

风速预测是影响风电场效率和稳定性的重要因素.文中基于风速的时空特征,融合变分模态分解(VMD)和混合深度学习框架进行短期风速预测,即VHSTN (VMD-based hybrid spatio-temporal network).其中,混合深度学习框架由卷积神经网络(CNN)、长短时记忆网络(LSTM)以及自注意力机制(SAM)组成.该算法对原始数据清洗后,采用VMD将多站点风速的时空数据分解为固有模态函数(intrinsic mode functions, IMF)分量,去除风速数据的不稳定性;然后针对各IMF分量,应用底部的CNN抽取空域特征;再用顶层LSTM提取时域特征,之后用SAM通过自适应加权加强对隐藏特征的提取并得到各分量的预测结果;最后合并获得最终预测风速.在数据集WIND上进行实验,并和相关典型算法对比,实验结果表明了该算法的有效性和优越性.     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于多流CNN-LSTM网络的群体情绪识别

群体情绪识别是人机交互领域的前言课题,针对群体情绪识别准确率的问题,结合卷积神经网络（CNN）与长短期记忆网络（LSTM）,提出一种多流CNN-LSTM网络模型学习群体情绪的静态和动态特征。以视频序列的原始图像、视觉显著图形和叠加的光流图像分别作为三个通道的输入,利用CNN网络对空间特征和局部运动特征进行分析,得到的特征图直接输入LSTM网络,进行全局运动特征的学习。最后连接Softmax分类器,对三个通道的Softmax输出进行加权融合,得到分类结果。实验结果表明,本文模型可有效地识别4种典型的群体情绪,且识别率高于已有算法,准确度（ACC）和宏平均精度（MAP）分别最高可达82.6%、84.1%。     

基于LMD-PE与神经网络的刀具故障诊断方法

针对刀具故障诊断信号信噪比低、诊断结果不准确等问题,采用局域均值分解(LMD)结合排列熵(PE)来处理采集到的刀具加工时的振动信号,然后将提取到的特征向量输入到训练好的长短期记忆神经网络(LSTM)中得到诊断结果,为了提高LSTM的诊断效率,结合卷积神经网络(CNN)对LSTM进行了改造;试验表明,文章提出的方法诊断准确率比BP神经网络提高了将近12%,改进LSTM网络比传统LSTM的诊断时间缩短了50%。