应用LSTM和集成学习预测无创机械通气的吸呼气触发

机械通气是一种常用于辅助患者呼吸的治疗手段,但运行与患者呼吸异步时,会导致患者肺损伤等问题。本研究利用气体流量数据预测吸呼气触发,实现自适应地根据患者使用状态进行呼吸同步,并比较分析了长短期记忆网络（Long Short-TermMemory,LSTM）模型和不同集成学习模型的性能。结果表明,随机森林相较于其他研究的方法性能更好,模型预测的加权F1分数达到了0.98。     

面向人体行为识别的深度特征学习方法比较*

针对人体行为识别问题,比较了两种基于智能手机惯性加速度传感器数据的深度特征学习方法。与传统的人工特征提取方法相比,基于深度特征学习方法可以实现端到端训练,网络结构简单直观,避免了繁琐的特征工程,通过深度神经网络模型的学习自动获得特征。本文通过对比深度卷积神经网络、长短期记忆网络两种深度学习方法在公开网站UCI的机器学习知识库的人体行为识别数据集上的识别效果,论证了基于Dropout深度卷积神经网络特征学习方法的有效性。     

注意力机制融合深度神经网络的室内场景识别方法

针对现有室内场景识别方法仅通过关注视觉信息本身,而缺乏考虑图像中所含语义内容,提出一种基于长短期记忆神经网络和卷积神经网络的融合深度神经网络室内场景识别方法.首先使用labelImg工具为Visual Genome数据集图像生成位置描述符,经数据预处理算法处理后通过GloVe模型得到词向量.然后引入带有L2正则化的小批...     

舒尔特方格与LSTM的注意力分级建模

在基于脑电信号的注意力分级研究中,存在两个亟待解决的技术难点。第一不同注意类型的脑电数据采集及标注困难;第二脑电特征提取算法忽视原始脑电信号时序特征。针对以上问题,设计了基于视觉搜索和反应时技术的舒尔特方格范式,实现对不同注意类型脑电数据的采集以及自动标注;设计长短期记忆深度学习网络（LSTM）实现对注意力分级,保存原始脑电信号的时序特征。实验结果表明,注意力分级模型可以很好区分高中低三种注意力水平;对比现有的五种基于EEG信号的注意力分级算法,小波变换（DWT）、近似熵、共空间模式（CSP）、基于相干系数的脑网络和卷积神经网络（CNN）,在相同的EEG数据集上,该注意力分级模型识别准确率最高,高出DWT算法21.49个百分点;高出近似熵算法25.82个百分点;高出CSP算法20.53个百分点;高出基于相干系数的脑网络算法13.32个百分点;高出CNN9.05个百分点。     

基于LSTM的股票价格预测建模与分析

股价波动是一个高度复杂的非线性系统，其股票的调整不是按照均匀的时间过程推进，具有自身的推进过程。结合LSTM（Long Short-Term Memory）递归神经网络的特性和股票市场的特点，对数据进行插值、小波降噪、归一化等预处理操作后，推送到搭建的不同LSTM层数与相同层数下不同隐藏神经元个数的LSTM网络模型中进行训练与测试。对比评价指标与预测效果找到适宜的LSTM层数与隐藏神经元个数，提高了预测准确率约30%。测试结果表明，该模型计算复杂度小，预测准确率有所提高，不仅能在股票投资前对预测股票走势提供有益的参考，还能帮助投资者在对实际股价有了进一步的认知后构建合适的股票投资策略。     

基于改进双重深度Q网络的入侵检测模型

入侵检测技术作为网络安全有效的防御手段,是网络安全体系中的重要组成部分。随着互联网的快速发展,网络数据量快速增加,网络攻击更加趋于复杂化和多元化,目前主流的入侵检测技术无法有效识别各种攻击。针对实际网络环境中正常流量和攻击流量数据不平衡,且对攻击类流量检测率低的问题,基于深度强化学习提出一种基于改进双重深度Q网络的CBL_DDQN网络入侵检测模型。该模型将一维卷积神经网络和双向长短期记忆网络的混合网络模型引入深度强化学习的DDQN框架,并使用深度强化学习中的反馈学习和策略生成机制训练智能体来对不同类别的攻击样本进行分类,在一定程度上减弱了训练模型过程中对数据标签的依赖性。采用Borderline-SMOTE算法降低数据的不平衡度,从而提高稀有攻击的检测率。通过NSL_KDD和UNSW_NB15数据集对模型的性能进行评估,结果表明：该模型在准确率、精确率、召回率这三项指标上均取得了良好的结果,检测效果远优于Adam-BNDNN、KNN、SVM等检测方法,是一种高效的网络入侵检测模型。     

基于深度学习的医药专利标签分类方法

在大数据时代,医药专利数据的有效收集、整理和挖掘分析对医药行业发展愈发重要。当前文本分类神经网络对医药专利标签的分类准确率不够高,为了有效提升专利标签的分类效果,设计了一种基于注意力机制的双向长短时记忆神经网络分类模型。该模型避免了传统循环神经网络的长期依赖问题,并充分利用全局信息,以实现文本信息的权重分布。     

双LSTM的光场图像去雨算法研究

单张图像去雨由于有限的输入信息,会严重影响去雨效果。光场图像不同于普通2D图像,能够记录三维场景的丰富结构信息。针对此类问题并且利用光场图像特点,提出一种基于双LSTM神经网络的光场图像去雨算法。提出的神经网络包括雨条纹检测网络（Rain Streaks Detecting Network,RSDNet）和背景修复网络（Background Restoring Network,BRNet）。所提算法主要包含三个步骤。使用匹配成本量最优化方法计算光场图像子视点的深度图;利用RSDNet提取雨条纹,并利用LSTM结构将雨条纹高频信息传递给BRNet;借助BRNet网络修复背景图像得到无雨子视点图像。为了训练和测试所提算法,构建了一个由真实背景场景光场图像和雨图像合成的有雨图像光场数据集。充分的实验结果表明,提出的算法能够有效地修复光场图像。     

基于深度学习的计算机视觉图像描述研究

计算机视觉图像描述是将图像信息转化为自然语言描述的技术,是近几年的研究热点。文章基于ResNeXt-101网络和压缩-激励（Squeeze-and-Excitation,SE）注意力机制,提出一种生成图像描述的新方式。针对输入图像的特征和感兴趣区域,本研究将SE模块、目标检测器更快的区域卷积神经网络（Faster Region-Convolutional Neural Network,Faster R-CNN）和ResNeXt101网络有机结合构建了编码器,最后通过实验证明该编码器可以增强模型对于图像的描述能力。     

A Recurrent Attention and Interaction Model for Pedestrian Trajectory Prediction

The movement of pedestrians involves temporal continuity, spatial interactivity, and random diversity. As a result, pedestrian trajectory prediction is rather challenging. Most existing trajectory prediction methods tend to focus on just one aspect of these challenges, ignoring the temporal information of the trajectory and making too many assumptions. In this paper, we propose a recurrent attention and interaction (RAI) model to predict pedestrian trajectories. The RAI model consists of a temporal attention module, spatial pooling module, and randomness modeling module. The temporal attention module is proposed to assign different weights to the input sequence of a target, and reduce the speed deviation of different pedestrians. The spatial pooling module is proposed to model not only the social information of neighbors in historical frames, but also the intention of neighbors in the current time. The randomness modeling module is proposed to model the uncertainty and diversity of trajectories by introducing random noise. We conduct extensive experiments on several public datasets. The results demonstrate that our method outperforms many that are state-of-the-art.      

基于LSTM-att的车辆异常驾驶行为识别

车辆的异常行为可能引发交通事故,甚至造成经济损失和人员伤亡.准确识别车辆异常行为可以预防潜在的危险.针对现有研究存在的数据难以保留时间特征等问题,本文提出一种带有注意力层的长短记忆神经网络的识别模型,利用真实交通场景车辆异常轨迹对所提出的模型进行训练和验证.实验结果表明,所提出的模型能够有效的识别车辆异常驾驶行为,准确...     

基于控制输入长短期记忆网络的关系抽取方法——

目前基于传统深度学习的关系抽取方法在复杂语境下抽取较为困难, 且未考虑语境中非目标关系对关系抽取所带来的影响. 针对这一问题, 本文提出了控制输入长短期记忆网络CI-LSTM (control input long short-term memory), 该网络在传统LSTM的基础上增加了由注意力机制和控制门阀单元组成的输入控制单元, 控制门阀单元可依据控制向量进行关键位置上的重点学习, 注意力机制对单个LSTM的输入的不同特征进行计算. 本文通过实验最终选择使用句法依存关系生成控制向量并构建关系抽取模型, 同时使用SemEval-2010 Task8关系数据集以及该数据集中具有复杂语境的样本对所提方法进行实验. 结果表明, 相比于传统的关系抽取方法, 本文所提CI-LSTM在准确率上有进一步提升, 并在复杂语境中具有更好的表现.     

嵌入指针网络的深度循环神经网络模型求解作业车间调度问题

提出了一种数据驱动的作业车间调度算法,训练样本来源于基准实例和部分实际生产数据,通过特征函数来构建样本的特征数据并进行归一化处理,标签数据由调度任务和相应的调度规则的映射关系构成,以LSTM模型为主框架,在模型中嵌入指针网络,将当前序列中概率最大的工件优先进入缓冲区,提高了神经网络的训练速度和质量,采用训练后的模型对新问题进行求解。结果证明了所构建模型的有效性,同时为求解作业车间调度问题提供了新思路。     

一种只利用序列信息预测RNA结合蛋白的深度学习模型

RNA结合蛋白在选择性剪贴、RNA编辑及甲基化等多种生物功能中发挥非常重要的作用,从氨基酸序列预测这些蛋白的功能成为基因组功能注释领域的重要挑战之一. 传统的预测方法往往从序列中提取氨基酸的理化特性作为初始特征,忽略了motif及motif之间的位置信息,同时由于训练数据规模小、噪声大,导致预测的精度及可信度降低. 在此提出了一种从序列预测RNA结合蛋白的深度学习模型. 该模型利用2阶段卷积神经网络探测蛋白质序列的功能域,利用长短期记忆网络获得序列的定长特征表示并且能够学习到功能域之间的长短期依赖关系.预测算法中所用到的特征均是通过“学习”自动获得,克服了传统机器学习中特征选择过程过多的人工干预. 实验结果表明:模型在处理大规模序列数据时具有明显的优势.     

基于注意力机制的多分支LSTM心理负荷评估模型

充分获取脑电信号的有效特征已成为心理负荷评估亟待解决的问题.提出一种多分支LSTM和注意力机制相结合的多分类网络框架.首先,此网络在对脑电信号做切片处理后,采用多分支LSTM网络提取切片中的时间特征;然后,利用注意力机制对所提取的时间特征进行权重参数优化;最后,通过softmax层输出心理负荷评估结果.通过消融实验和对比实验对模型进行验证.结果 表明,此网络无论在二分类任务还是多分类任务中的表现均优于现有先进网络.     

基于深度学习的网络流量异常识别与检测

针对传统的工控网络流量数据在复杂网络环境下特征维度高,特征处理复杂度高,模型检测效率低等问题,本文使用了一种基于随机森林(random forest, RF)和长短期记忆网络(long short-term memory, LSTM)结合的流量异常识别与检测方法.首先使用随机森林算法计算流量特征的重要度评分,筛选出重要特征,剔除冗余特征,然后使用LSTM进行异常流量的识别与检测.为了评估模型的有效性与优越性,本文使用准确率、精确率、召回率和F1-score进行模型评价,并与传统的机器学习方法 Naive Bayes、QDA、KNN算法进行对比.实验结果表明,在公开数据集CIC-IDS-2017中,异常流量识别的总体准确率达99%.与传统的机器学习算法相比,该方法有效地提高了复杂网络环境下异常检测的准确性和效率,在工业控制网络安全和异常检测方面具有实际应用价值.     

一种无源被动室内区域定位方法的研究

室内区域定位在医疗养老、智慧大楼等领域有着广泛的应用.室内区域定位中最突出的问题是无线电信道效应的动态和不可预测性(如多径传播、信道衰落等)对接收信号强度(received signal strength, RSS)的干扰影响.为了降低无线电的干扰,提出了一种新的基于注意力机制的CNN-BiLSTM的室内区域定位模型,该模型通过捕获粗细粒度特征与定位区域的对应关系来减弱RSS序列对信道变化的依赖.首先,利用卷积神经网络(convolutional neural network, CNN)学习捕捉RSS序列的特征来抽取区域中心点的细粒度特征.然后,利用双向长短时记忆(bidirectional long short-term memory, BiLSTM)网络的存储记忆特性,学习当前与过去RSS序列中隐含区域范围的粗粒度特征.最后,利用注意力机制,通过融合粗细粒度特征,建立RSS序列特征与区域位置的映射关系,获取区域位置信息.真实室内环境下区域定位的实验结果表明,与目前定位效果最好的网格区域综合概率定位模型相比,提出的方法在降低计算复杂度的同时提高了区域定位的准确度和对环境的适应能力.     

日交通流预测的编码器-解码器深度学习模型研究

精准的日交通流预测是智能交通领域的重要研究内容之一。目前已有的日交通流预测模型大多在短期预测模型的基础上通过多步预测或者多目标预测的方式改进而来。这两种改进方案中,前者对误差的传播更为敏感,而后者则忽视了预测结果的时序关系,导致预测模型精度偏低。提出了一种用于日交通流预测的编码器-解码器深度学习模型,首先将长短时记忆网络（long short-term memory,LSTM）作为编码器-解码器模型的基本单元以提高模型捕捉长期依赖关系的能力,其次引入注意力机制调节编码向量的权重以进一步提高模型的预测精度。新的模型是一种典型的序列到序列预测模型,与传统的序列到点的模型相比更加契合日交通流预测的需求。为验证模型的有效性,取美国5号州际公路西雅图段的实际交通流数据进行实验,实验结果表明,提出的预测模型在平均车流密度大于40辆/km的时间段中,其预测结果的平均绝对百分比误差（mean absolute percentage error,MAPE）与LSTM、门控循环单元（gated recurrent unit,GRU）、反向传播（back propagation,BP）神经网络、卷积神经网络...     

基于注意机制的化学药物命名实体识别

在生物医学文本挖掘领域,化学药物命名实体识别具有重要意义.目前的主流方法是基于条件随机场(conditional random fields, CRF)的方法,但是该方法需要大量的人工特征,并且存在实体标签的全文非一致性问题.针对此问题,提出一种基于注意(Attention)机制的深度学习方法.该方法首先从海量生物文本中学习词向量,然后利用双向长短期记忆网络(BiLSTM)学习字符向量,随后将词向量和字符向量再经过另一个BiLSTM以获得词的上下文表示,然后再利用Attention机制获得词在全文范围下的上下文表示,最后利用CRF层得到整篇文章的标签序列.实验结果表明:相比之前的研究方法,提高了在同一篇文章中实体识别的一致性,并在BioCreative IV评测中的CHEMDNER数据集上取得了更好的结果(F值为90.77%).