结合注意力机制的CNN-LSTM心电信号识别

心电信号形态复杂多样易导致识别准确率低、适应性差,通常依靠人工诊断,费时费力.为此提出注意力机制与卷积长短时记忆网络(CNN-LSTM)相结合的深度网络模型(Attention-Based CNN-LSTM,A-CNN-LSTM)以实现心电信号自动识别.模型以CNN 为基础架构,引入了注意力机制帮助心电信号内空间特征的提取;LSTM捕捉空间特征内的时间特性,并将其用于信号分类.在MIT-BIH心律不齐数据库上进行实验,结果表明,该模型可对六种不同的心电信号进行分类,识别准确率达到99.23%,具有一定的临床应用意义.     

基于多特征融合的深度视频自然语言描述方法

针对计算机对视频进行自动标注和描述准确率不高的问题,提出一种基于多特征融合的深度视频自然语言描述的方法。该方法提取视频帧序列的空间特征、运动特征、视频特征,进行特征的融合,使用融合的特征训练基于长短期记忆（LSTM）的自然语言描述模型。通过不同的特征组合训练多个自然语言描述模型,在测试时再进行后期融合,即先选择一个模型获取当前输入的多个可能的输出,再使用其他模型计算当前输出的概率,对这些输出的概率进行加权求和,取概率最高的作为输出。此方法中的特征融合的方法包括前期融合：特征的拼接、不同特征对齐加权求和;后期融合：不同特征模型输出的概率的加权融合,使用前期融合的特征对已生成的LSTM模型进行微调。在标准测试集MSVD上进行实验,结果表明：融合不同类型的特征方法能够获得更高评测分值的提升;相同类型的特征融合的评测结果不会高于单个特征的分值;使用特征对预训练好的模型进行微调的方法效果较差。其中使用前期融合与后期融合相结合的方法生成的视频自然语言描述得到的METEOR评测分值为0.302,比目前查到的最高值高1.34%,表明该方法可以提升视频自动描述的准确性。     

基于多层融合神经网络模型的短期电力负荷预测方法

针对传统的短期电力负荷预测模型存在的预测精度不高和滞后性的问题,本文提出一种基于卷积神经网络、长短时记忆网络和注意力机制下的混合神经网络模型来进行预测。利用卷积层对多维的电力数据影响特征进行提取,过滤筛选其非重要影响因子,完成电力数据相关特征的映射变换,再通过长短时记忆网络层的循环,对时序性电力数据特征选择性提取,最后利用注意力机制添加重要特征的权重,经Adam算法优化后输出电力负荷预测的结果。依靠GPU强大的算力支撑来解决预测数据时的实时性问题,凭借多融合神经网络的手段来提高其预测精度。经由算例验证,所提出模型真实可靠,预测质量显著优于其他传统模型。     

基于双通道脑电信号的在线实时睡眠分期系统

当代社会睡眠问题日益突出,及时检测评估睡眠质量有助于诊断睡眠疾病.针对目前市面上睡眠监测类产品发展参差不齐的现状,本文搭建了一个基于双通道脑电信号的在线实时睡眠分期系统,利用第三方接口脑环获取脑电数据,结合CNN-BiLSTM神经网络模型,在PC电脑端实现了在线的实时睡眠分期与音乐调控功能.系统使用基于卷积神经网络CNN和双向长短时记忆神经网络BiLSTM相结合的算法模型对脑电信号进行自动特征提取,CNN能够提取高阶特征, BiLSTM可以捕捉睡眠数据前后的依赖性和关联性,睡眠分期准确率更高.实验结果表明,本文算法模型在Sleep-EDF公共数据集上的四分类任务中取得了92.33%的分期准确率,其Kappa系数为0.84,本系统的实时睡眠分期功能在自采集睡眠数据分期实验中取得79.17%的分期准确率,其Kappa系数为0.70.相比其他睡眠监测类产品,本系统睡眠分期准确率更高,应用场景更多样,实时性和可靠性强,并且可以根据分期结果对用户进行相应的音乐调控,改善用户睡眠质量.     

基于多特征融合的移动流量应用识别

移动应用识别是移动网络安全与管理研究领域的一项关键技术。针对移动应用更新后人工提取特征失效及特征提取不充分等问题,文章提出一种基于流量的移动应用识别模型MAITSF。该模型采用多通道并行架构,利用卷积神经网络（Convolutional Neural Network,CNN）提取移动应用流量的空间特征,使用长短时记忆（Long ShortTerm Memory,LSTM）网络提取移动应用流量的时间特征,并融合各通道提取的特征。在此基础上,引入一个通道注意力模块对每个通道赋予不同权重,使模型能够集中关注神经网络提取的关键特征,增强流量特征的表征能力。文章在公开数据集（CICAAGM2017）和实验室采集的实际数据集上进行对比实验,实验结果表明,MAITSF在两个数据集上的分类准确率均达98%,相较于现有典型模型提高了4%以上。     

融合多跳关系路径信息的关系推理方法

针对目前知识图谱（KG）中存在大量关系的缺失,以及在进行关系推理时没有充分考虑两实体间多跳路径中隐含信息的问题,提出了一种融合多跳关系路径信息的关系推理方法。首先,对于给定的候选关系和两个实体,利用卷积运算将连接两个实体的多跳关系路径编码到低维空间里并提取信息;其次,利用双向长短时记忆（BiLSTM）网络建模以生成关系路径表示向量,并利用注意力机制将其与候选关系表示向量进行组合;最后,采用多步推理方式找到匹配程度最高的关系作为推理结果并判断其精确率。与目前常用的路径排序算法（PRA）、神经网络模型Path-RNN以及强化学习模型MINERVA相比,在使用大型知识图谱数据集NELL995进行实验时,所提算法的平均精确率均值（MAP）分别提高了1.96、8.6和1.6个百分点;在使用小型知识图谱数据集Kinship进行实验时,所提方法的MAP比PRA、MINERVA分别提高了21.3、13和12.1个百分点。实验结果表明,所提算法能更加准确地推理出实体间的关系链接。     

基于多尺度特征和注意力的金融时序预测方法

金融时间序列预测是经济领域中一个非常重要的实际问题,然而,由于金融市场的噪声和波动性,当前存在方法的预测精度尚不能令人满意。为了提高金融时间序列的预测精度,提出了一种融合扩张卷积神经网络（dilated convolutional neural network,DCNN）、长短时记忆神经网络（long short term memory,LSTM）和注意力机制（attention mechanism,AT）的混合预测模型DCNN_LSTM_AT。该模型由两个部分组成：第一部分包含扩张卷积神经网络和基于LSTM的编码器,其功能在于提取原始序列数据中不同时间尺度的有效信息;第二部分由带注意力机制的LSTM解码器构成,其功能在于对第一部分提取的信息进行过滤并利用过滤后的信息进行预测。最后将所提模型在3支股指数据集和3支个股数据集上进行实验,并与其他常见的基准模型进行了对比,实验结果表明该模型相比于其他模型具有更好的预测精度和稳定性。     

多特征融合的MOOC推荐模型

为充分利用MOOC(massive open online course)上下文信息,精确表示学习者和课程特征,提出一种多特征融合的MOOC推荐模型（multi-feature fusion based model for MOOC recommendation,MFF-MOOCREC）。利用文本卷积神经网络和双向长短时记忆网络捕获数据中的文本和时序特征,并设计多级注意力机制提取学习者交互序列、评论文本和课程多元属性中的关键信息;基于前缀投影的模式挖掘和亲和力传播算法对原始课程类别进行关联聚类分析以增加推荐的覆盖率;采用概率矩阵分解训练模型参数,将优化后的学习者隐向量和课程隐向量点乘产生预测评分。实验表明,和现有推荐方法相比,MFF-MOOCREC的命中率、归一化折损累计增益和覆盖率指标在Coursera数据集上平均提高46.86%、41.19%和10.95%,在iCourse数据集上平均提高44.08%、28.79%和9.81%,对于缓解数据稀疏问题,提升推荐质量具有一定优势。     

基于融合式神经网络的微生物生长环境关系抽取

为了构建完整的微生物生长环境关系数据库,提出基于卷积神经网络-长短时记忆(CNN-LSTM)的关系抽取系统.结合卷积神经网络(CNN)和长短时记忆(LSTM),实现对隐含特征的深度学习,提取分布式词向量特征和实体位置特征作为模型的特征输入.对比实验验证加入特征后CNN-LSTM模型的优势,并将CNN模型的特征输出作为LSTM模型的特征输入.在Bio-NLP 2016共享任务发布的BB-event语料集上得到目前最好的结果.     

融合上下文依赖和句子语义的事件线索检测研究

事件线索检测旨在从自由文本中自动抽取触发事件的词或短语。现有的英文事件线索检测方法依赖于特征提取工具,这样会造成错误传递,而且忽略了待测词与上下文的依赖关系和句子的语义信息,这些信息对事件线索检测是很有帮助的。提出一种神经网络方法,利用双向长短时记忆网络(bidirectional long short-term memory,Bi-LSTM)抓取待测词在句子中的上下文依赖,同时使用门控循环神经网络(gated recurrent neural network,GRNN)学习句子的语义表示,融合这两种信息来提高事件线索词的识别能力。在KBP 2015评测语料上的实验结果显示,该方法是有效的,并且性能比baseline方法有显著提高。     

结合注意力机制的CNN-LSTM的视频中双相抑郁症检测方法

双相抑郁症(Bipolar Disorder)会使人们因为严重的情绪问题无法参与正常的社会生活,甚至导致自残和自杀行为。为了准确检测患者当下心理状态以协助医生进行更精准的治疗,提出了一种结合注意力机制的CNN-LSTM网络的混合模型的双相抑郁症检测方法。该方法首先使用在人脸表情数据集上微调的Resnet50模型提取视频帧的空间特征,其次通过结合注意力机制的LSTM网络提取帧之间的时序信息去检测双相抑郁症。在AVEC2018双相抑郁症数据库开发集上,验证了该方法的有效性。     

基于X线的成人OSA计算机辅助诊断综述

阻塞性睡眠呼吸暂停(Obstructive Sleep Apnea,OSA)是成年人较为常见的呼吸类疾病之一,该疾病的特点是睡眠过程中频繁出现上气道完全或部分塌陷,严重影响人们的睡眠质量以及身体健康.阻塞性睡眠呼吸暂停综合征的诊断主要依靠多导睡眠监测,但这种方法无法满足目前大量的诊断需求.随着人工智能的出现及发展,假设...     

基于CNN-LSTM网络的睡眠分期研究

睡眠分期是睡眠数据分析的基础,用自动标定方法来替代人工标定方法可以提高效率,结果也更为客观。不管是人工手动标定还是自动标定都是基于多导睡眠图(Polysomnography,PSG)。采用长短时记忆模型(LSTM-RNN)及长短时记忆模型与卷积神经网络(CNN)相结合的模型(CNN-LSTM)对三个通道信号(EEG、EOG、EMG)的组合进行自动睡眠分期研究。通过对9个受试数据进行分析,LSTM-RNN和CNN-LSTM分别达到了81.9%和83.1%的分类准确率。相对于LSTM-RNN模型,结合卷积神经网络的CNN-LSTM模型获得的分期准确率更高,平均准确率提高了1.2%。     

基于LSTM的刀具数据异常检测方法的研究

刀具状态是机械加工过程中影响产品质量的因素之一,其中刀具异常数据的有效检测将有助于掌握刀具状态,针对这一问题,论文提出了一种基于LSTM的数据异常检测方法。该方法采用LSTM模型对正常刀具数据进行训练预测,预测之后使用正态分布建模方法求均值作为阈值,将实时采集到的刀具数据预测建模求得的值与阈值进行比较,得到异常数据。对比找到适合的神经网络层数和隐藏的神经元个数,最终结果显示,双层神经网络和128个隐藏神经元的结合,预测准确率提高50%;同时将LSTM算法与PCA降维算法在准确度方面进行了比较,准确度提高约20%,验证了LSTM的有效性。     

基于准循环神经网络的语音增强方法

在基于深度学习的语音增强模型中,长短时记忆网络能较好地解决序列语音增强问题,但该模型在处理大规模含噪语音数据时存在训练速度缓慢的问题.为此,提出一种基于准循环神经网络的语音增强方法.利用门函数和记忆单元确保含噪语音序列上下文的相关性,门函数的计算不再依赖上一时刻的输出,且该模型在含噪语音序列的输入和门函数的计算中都引入矩阵的卷积运算,使模型可以同时处理多个时刻的语音序列信息,从而增强模型并行计算的能力.实验结果表明,与长短时记忆网络相比,该方法能在保证语音增强性能的前提下,有效提高网络模型的训练速度.     

多尺度时序特征融合的地铁短时客流预测方法

面向城市地铁进出站客流数据,本文提出了一种融合多尺度时序特征的地铁短时客流预测方法。首先,通过数据分析,构建地铁客流的长期周期性和短期波动性等多尺度时序特征融合机制。其次,提出地铁短时客流预测方法模型来有效提高客流预测精度,既利用了长期预测模型捕捉客流的长期周期性规律,又融合了短期预测模型获取客流的短期波动性趋势。最后,在2020年9月厦门地铁53个站点的客流数据上验证模型的有效性。实验结果表明,与LSTM、GRU等基线方法相比,本文提出的方法在地铁客流预测任务上具有预测精度更高、收敛速率更快等优势。     

基于多特征提取的图像语义描述算法

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络(RNN)产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法.所构建模型由三个部分组成:卷积神经网络(CNN)用于图像特征提取,属性提取模型(ATT)用于图像属性提取,而双向长短时记忆(Bi-LSTM)网络用于单词预测.该模型通过提取图像属性...     

最小窥视孔长短时记忆模型

由于循环神经网络拥有复杂的模型结构,使训练模型达到最优变得困难。因此,提出一种最小窥视孔长短时记忆模型,它只有一个唯一门来更新信息,拥有两个网络层,通过减少一定的模型参数降低模型训练的难度,提高模型性能。实验结果表明,在不同数据集上,该模型性能高于长短期记忆模型,部分高于门循环单元模型,在参数个数、运行时间方面,其远小于长短期记忆模型以及门循环单元模型。     

一种基于LSTM-RNN的喉振传声器语音盲增强算法

喉振传声器以其优良的抗噪声特性已在多种强噪声场景中得到应用,但其产生的语音尚存在着中频成份厚重、高频成份缺失等问题,严重影响了语音的清晰度和可懂度。为改善喉振传声器的语音质量,本文提出了一种基于长短时记忆递归神经网络（Long short term memory recurrent neural networks, LSTM-RNN）的喉振传声器语音盲增强算法。与基于低维的谱包络特征估计算法不同,该算法首先利用LSTM-RNN对喉振传声器语音与空气传导语音的高维对数幅度谱之间的转换关系进行建模,能有效捕捉上下文信息实现语音幅度谱的重构,然后采用非负矩阵分解（Non-negative matrix factorization, NMF）对估计出的语音幅度谱进行处理,有效抑制了过平滑问题,进一步提高了语音质量。仿真实验得到的LLR,LSD,PESQ性能指标表明,该算法可有效改善喉振传声器的语音质量。     

基于CNN-BiLSTM的自动睡眠分期算法

睡眠分期是睡眠数据分析的基础,针对目前睡眠分期存在的依赖人工提取、人工判别效率低、自动睡眠分期准确率不高等问题,本文研究模型是基于卷积神经网络和双向长短时记忆神经网络2个深度学习神经网络相结合的,利用脑电信号来进行自动睡眠分期的模型方法.算法能提取得到原始脑电信号的梅尔频谱,利用卷积神经网络和双向长短时记忆神经网络进行...