循环神经网络研究综述

循环神经网络是神经网络序列模型的主要实现形式,近几年得到迅速发展,其是机器翻译、机器问题回答、序列视频分析的标准处理手段,也是对于手写体自动合成、语音处理和图像生成等问题的主流建模手段.鉴于此,循环神经网络的各分支按照网络结构进行详细分类,大致分为3大类:一是衍生循环神经网络,这类网络是基于基本RNNs模型的结构衍生变体,即对RNNs的内部结构进行修改;二是组合循环神经网络,这类网络将其他一些经典的网络模型或结构与第一类衍生循环神经网络进行组合,得到更好的模型效果,是一种非常有效的手段;三是混合循环神经网络,这类网络模型既有不同网络模型的组合,又在RNNs内部结构上进行修改,是同属于前两类网络分类的结构.为了更加深入地理解循环神经网络,进一步介绍与循环神经网络经常混为一谈的递归神经网络结构以及递归神经网络与循环神经网络的区别和联系.在详略描述上述模型的应用背景、网络结构以及模型变种后,对各个模型的特点进行总结和比较,并对循环神经网络模型进行展望和总结.     

基于改进LSTM的生鲜牛肉新鲜度预测模型研究

牛肉作为我国消费量较大的肉质食品,其新鲜度受到广泛关注。研究的主要目的是通过改进的循环神经网络模型对牛肉新鲜度进行预测研究。利用红外光谱技术采集了影响牛肉新鲜度的实验数据,即牛肉的系水率、pH值和TVB-N的含量。在利用改进的循环神经网络进行预测的同时,采用了循环神经网络做对比,通过计算均方根误差来评价模型的优势。实验结果表明,改进的循环神经网络均方根误差低于循环神经网络。同时这也证明了上述模型在食品预测方面具有较高的正确性,可用于对食品安全或者新鲜度进行预测。     

基于RNN和CNN的蒙汉神经机器翻译研究

该文探讨了基于RNN和CNN的蒙汉神经机器翻译模型,分别采用蒙古语的词模型、切分模型和子词模型作为翻译系统的输入信号,并与传统的基于短语的SMT进行了比较分析。实验结果表明,子词模型可以有效地提高RNN NMT和CNN NMT的翻译质量。同时实验结果也表明,基于RNN的蒙汉NMT模型的翻译性能已经超过传统的基于短语的蒙汉SMT模型。     

基于卷积神经网络的音符级钢琴音乐转录方法研究

传统的音乐转录研究中还没有能够在一个音符的时值上给出一个完整的估计，采用一种特殊的网络结构面积与卷积循环神经网络的端到端识别可以有效地解决这个问题。实验表明，采用该方法比传统的转录方法在两个数据集上的准确率分别提高了40.33%和30.89%。     

基于深度学习的图像超分辨率复原研究进展

图像超分辨率复原（Super resolution restoration,SR）技术是图像处理领域的研究热点,在视频监控、图像处理、刑侦分析等领域具有广泛的应用需求.近年来,深度学习在多媒体处理领域迅猛发展,基于深度学习的图像超分辨率复原技术已逐渐成为主流技术.本文主要对现有基于深度学习的图像超分辨率复原工作进行综述.从网络类型、网络结构、训练方法等方面分析现有技术的优势与不足,对其发展脉络进行梳理.在此基础上,本文进一步指出了基于深度学习的图像超分辨率复原技术的未来发展方向.     

基于超图神经网络的恶意流量分类模型

随着网络的普及和依赖程度的不断增加,恶意流量的泛滥已经成为网络安全领域的严重挑战。在这个数字时代,网络攻击者不断寻找新的方式来侵入系统、窃取数据和破坏网络服务。开发更有效的入侵检测系统,及时发现并应对恶意流量,可以应对网络攻击的持续威胁,极大地减少网络攻击带来的损失。然而现有的恶意流量分类方法存在一些限制,其中之一是过度依赖对数据特征的选择。为了提高恶意流量分类的效果,提出了一种创新的方法,即基于超图神经网络的恶意流量分类模型。这一模型的核心思想是将流量数据表示为超图结构,并利用超图神经网络（HGNN,hypergraph neural network）来捕获流量的空间特征。HGNN能够更全面地考虑流量数据之间的关系,从而更准确地表征恶意流量的特征。此外,为了处理流量数据的时间特征,引入了循环神经网络（RNN,recurrent neural network）,进一步提高了分类模型的性能。最终,提取的时空特征被用于进行恶意流量分类,从而帮助检测网络中的潜在威胁。通过一系列消融实验,验证了HGNN+RNN模型的有效性,证明其能够高效提取流量的时空特征,从而改善了恶意流量的分类性能。在3个...     

基于多模型的新闻标题分类

该文研究中文新闻标题的领域分类方法(domain-oriented headline classification,DHC)。现有研究将DHC限定为一种短文本分类问题,并将传统分类模型和基于卷积神经网络的分类模型应用于这一问题的求解。然而,这类方法忽视了新闻标题的内在特点,即为“标题是建立在凝练全文且弱相关的词语之上的一种强迫性的语义表述”。目前,融合了序列化记忆的循环神经网络在语义理解方面取得了重要成果。借助这一特点,该文将长短时记忆网络模型(long-short term memory,LSTM)及其变型——门控循环单元(gated recurrent unit,GRU)也应用于标题的语义理解与领域分类,实验验证其性能可达81%的F1值。此外,该文对目前前沿的神经网络分类模型进行综合分析,尝试寻找各类模型在DHC任务上共有的优势和劣势。通过对比“全类型多元分类”与“单类型二元分类”,发现在领域性特征较弱和领域歧义性较强的样本上,现有方法难以取得更为理想的结果(F1值<81%)。借助上述分析,该文旨在推动DHC研究在标题语言特性上投入更为充分的关注。     

在线医疗问答文本的命名实体识别

本文主要是对在线问诊中产生的医疗文本进行命名实体识别的研究.使用在线医疗问答网站的数据,采用{B,I,O}标注体系构建数据集,抽取疾病、治疗、检查和症状四个医疗实体.以BiLSTM-CRF为基准模型,提出两种深度学习模型IndRNN-CRF和IDCNN-BiLSTM-CRF,并在自构建数据集上验证模型的有效性.将新提出的两种模型与基准模型通过实验对比得出：模型IDCNN-BiLSTM-CRF的F1值0.8116,超过了BiLSTM-CRF的F1值0.8009,IDCNN-BiLSTM-CRF整体性能好于BiLSTM-CRF模型;模型IndRNN-CRF的精确率0.8427,但该模型在召回率上低于基准模型BiLSTM-CRF.     

基于TCN的PM2.5浓度预测模型

作为大气污染主要因素之一的可吸入颗粒物PM_2.5严重影响人类的健康,受到广泛的关注。科学高效地预测PM_2.5有利于人类提前做好防护措施,保护自身安全。为此设计了基于时域卷积神经网络的PM_2.5浓度预测模型,选取中国环境监测总站的全国城市空气质量实时发布平台的数据,对陕西省西安市的PM_2.5浓度进行了预测,并对预测结果进行分析。与长短时记忆神经网络和门控循环单元模型进行对比实验,结果表明时域卷积神经网络在预测PM_2.5浓度中具有较好的性能。     

一种改进的GRU-InFCN人体行为识别模型

为了克服传统机器学习方法在采用传感器数据进行人体行为识别领域上识别效果对人工特征选取依赖严重、识别准确率不高等问题,提出一种改进的全卷积神经网络和多层循环神经网络并联的深度学习模型(GRU-InFCN),并对传感器数据特征进行自动提取,实现人体动作的识别。该模型通过多尺度卷积神经网络和双层GRU网络(Gated Recurrent Unit,GRU)分别对传感器数据进行特征提取,将特征矩阵在矩阵维度上进行特征拼接再通过Softmax完成特征分类。实验结果表明,在开源人体行为识别(HAR)数据集上采用该方法进行人体行为识别,准确率达到了97.76%。该模型在取得高准确率的同时,避免了复杂的信号预处理和特征工程。     

采用CNN和Bidirectional GRU的时间序列分类研究

时间序列数据具有非离散性、数据之间的时序相关性、特征空间维度大等特点,当前大多数分类方法需要经过复杂的数据处理或特征工程,未考虑到时间序列具有不同时间尺度特征以及序列数据之间的时序依赖。通过结合卷积神经网络和循环神经网络中的双向门控循环单元,提出了一个新的端对端深度学习神经网络模型BiGRU-FCN,不需要对数据进行复杂的预处理,并且通过不同的网络运算来获取多种特征信息,如卷积神经网络在时序信息上的空间特征以及双向循环神经网络在序列上的双向时序依赖特征,对单维时间序列进行分类。在大量的基准数据集上对模型进行实验与评估,实验结果表明,与现有的多种方法相比,所提出的模型具有更高的准确率,具有很好的分类效果。     

基于循环神经网络的多传感信息融合系统的应用

本文综述了循环神经网络、多传感器信息融合技术的基本原理及方法，分析了信息融合中的关键问题，重点介绍了循环神经网络在多传感器信息融合系统中的应用。     

Speed up Training of the Recurrent Neural Network Based on Constrained optimization Techniques

In this paper,the constrained optimization technique for a substantial problem is explored,that is accelerating training the globally recurrent neural network.Unlike most of the previous methods in feedforware neural networks,the authors adopt the constrained optimization technique to improve the gradientbased algorithm of the globally recurrent neural network for the adaptive learning rate during tracining.Using the recurrent network with the improved algorithm,some experiments in two real-world problems,namely,filtering additive noises in acoustic data and classification of temporat signals for speaker identification,have been performed.The experimental results show that the recurrent neural network with the improved learning algorithm yields significantly faster training and achieves the satisfactory performance.     

基于CNN-BIGRU的中文文本情感分类模型

在当今商业领域,对网络评论的情感分类一直是一个比较热门的研究方向,而为了克服传统机器学习方法所构建分类器会产生较大计算开销,精度表现较差的缺点,提出一种基于深度学习模型中卷积神经网络(CNN)与循环神经网络(RNN)模型的情感分类方法。在以往的研究中,卷积神经网络往往被用来提取文本的局部特征信息,但却容易忽视文本的长距离特征,而RNN则往往被用来提取句子的长距离依赖信息,但容易陷入梯度爆炸问题。因此,结合卷积神经网络对于局部特征信息的良好提取能力与循环神经网络对于长距离依赖信息的记忆能力,构建了一个CNN-BIGRU混合模型,用以提取文本的局部特征以及文本的长距离特征。其中循环神经网络模型使用了双向GRU模型,以避免RNN模型的梯度爆炸与梯度消失问题。在谭松波的酒店评论数据集上的实验结果表明,利用该模型,实验分类的准确率比单独使用卷积神经网络模型最高提升了26.3%,比单独使用循环神经网络模型最高提升了7.9%,从而提高了对中文文本情感分类的精度,并减少了计算开销。     

深度学习在无线电信号调制识别中的应用综述

无线电信号的调制识别在无线电监测及频谱管理中有着至关重要的作用。人工神经网络中的深度学习网络由于具有强大的表征学习能力,可以自动从原始数据中提取出各种复杂的特征,因此,探索基于深度学习的无线电信号调制识别是目前无线电监测领域主要的发展趋势之一。介绍了深度学习在无线电信号调制识别中的一些应用成果及存在的问题。结合工作的实际需求,对深度学习在无线电信号调制识别中提出了一些展望,如进一步提高识别范围和在低信噪比下的识别率;寻求新型深度学习调制识别混合架构。     

一种循环卷积注意力模型的文本情感分类方法

情感分类对推荐系统、自动问答、阅读理解等下游应用具有重要应用价值,是自然语言处理领域的重要研究方向。情感分类任务直接依赖于上下文,包括全局和局部信息,而现有的神经网络模型无法同时捕获上下文局部信息和全局信息。文中针对单标记和多标记情感分类任务,提出一种循环卷积注意力模型(LSTM-CNN-ATT,LCA)。该模型利用注意力机制融合卷积神经网络(Convolutional Neural Network,CNN)的局部信息提取能力和循环神经网络(Recurrent Neural Network,RNN)的全局信息提取能力,包括词嵌入层、上下文表示层、卷积层和注意力层。对于多标记情感分类任务,在注意力层上附加主题信息,进一步指导多标记情感倾向的精确提取。在两个单标记数据集上的F1指标达到82.1%,与前沿单标记模型相当;在两个多标记数据集上,小数据集实验结果接近基准模型,大数据集上的F1指标达到78.38%,超过前沿模型,表明LCA模型具有较高的稳定性和较强的通用性。     

基于卷积递归模型的文本分类研究

近年来卷积神经网络和循环神经网络在文本分类领域得到了越来越广泛的的应用。提出一种卷积神经网络和长短时记忆网络特征融合的模型,通过长短期记忆网络作为池化层的替代来获得长期依赖性,从而构建一个联合CNN和RNN的框架来克服单卷积神经网络忽略词语在上下文中语义和语法信息的问题。所提出的方法在减少参数数量和兼顾文本序列全局特征方面起着重要作用,实验结果表明,可以通过更小的框架来实现相同级别的分类性能,并且在准确率方面超越了同类型的其他几种方法。     

基于LSTM神经网络的区域微网短期负荷预测

针对大电网负荷预测的研究较多而微电网相对较少,因此建立合适的微电网负荷预测模型提高预测的准确度非常重要。本文针对输入变量较少的情况,分析并选用温度、日类型以及多个历史负荷量作为模型的输入变量,选用基于循环神经网络基础下的长短期记忆神经网络进行建模,构建基于LSTM神经网络的微网负荷预测模型。最后,为增强结果的可靠性,采用2组不同时间段的负荷数据分别进行预测,将LSTM神经网络的预测结果与BP神经网络、径向基函数神经网络、Elman神经网络的预测结果进行对比。实验结果表明,LSTM神经网络的预测结果要优于BP神经网络、径向基函数神经网络及Elman神经网络,采用LSTM神经网络负荷预测模型在微电网背景下具有比较好的推广前景。