基于改进门控单元神经网络的语音识别声学模型研究

传统语音识别系统中,基于循环神经网络的语音声学模型对长距离历史信息记忆能力有限,难以利用语音的上下文相关性信息,标准长短时记忆单元参数规模庞大,神经网络训练收敛速度较慢。针对以上问题提出一种基于改进门控循环单元的双向循环神经网络的语音识别声学模型。改进模型使用ReLU函数代替双曲正切激活函数,选取单位正交矩阵作为网络初始化参数,结合批量规范化方法,在维持网络长期依赖关系的同时加快训练收敛速度。在TIMIT和LibriSpeech数据集上的实验结果表明:与基线系统相比,改进的门控循环单元模型有2.8%的绝对音素错误率的下降;与标准长短时记忆单元模型相比,神经网络训练的平均迭代周期减少了16.6%,在识别性能和计算效率上均有提升。     

广告点击率预估技术综述

广告点击率的预估是计算广告学领域的重要研究内容,准确的广告点击率预估可以提高真实的广告点击率,增加收益。逻辑回归模型、支持向量机模型、贝叶斯模型、神经网络模型等模型适用于历史广告点击数据丰富的情况,适用无历史广告点击数据和广告点击数据稀疏的模型包括层次聚类模型、相似项预估模型、因子分解机等模型,而时间空间模型、层次模型则适用上述所有广告点击数据的情况。根据不同的广告数据特征,采用不同的模型,可以获得很好的预估效果。     

基于MGU的大规模IP骨干网络实时流量预测

为克服长短时记忆网络(long short-term memory, LSTM)计算成本相当大的弊端,提出基于最小门控单元(minimal gated unit, MGU)的大规模IP骨干网络实时流量预测方法。试验结果表明,与基于LSTM的流量预测方法相比,该方法以较少的模型训练时间获得了相当甚至略优的流量预测性能,在流量预测精度和实时性方面也优于已有的前馈神经网络(feed forward neural network, FFNN)和门控循环单元神经网络(gated recurrent unit, GRU)方法。     

采用注意力门控卷积网络模型的目标情感分析

针对传统目标情感分析采用循环神经网络模型导致训练时间长且其他替代模型未能使得上下文和目标词之间实现良好交互等问题,提出了一种用于目标情感分析的注意力门控卷积网络模型。该模型首先将上下文和目标词通过多头注意力机制加强上下文和目标词之间的交互;其次采用门控卷积机制进一步提取关于目标词的情感特征;最后通过Softmax分类器将情感特征进行分类,输出情感极性。实验结果显示,与循环神经网络模型中准确率最高的循环注意力网络模型相比,在SemEval 2014任务四的餐厅和笔记本电脑数据集上的准确率分别提高了1.29%和0.12%;与循环神经网络模型中收敛速度较快的基于注意力的长短期记忆网络模型相比,收敛时间下降了约29.17s。     

卷积记忆图协同过滤

针对推荐系统中用户和项目的向量表示问题,提出了一种端到端的具有记忆单元的图神经网络.在图神经网络中引入门控循环单元解决高阶连通节点间信息损失问题,可以使得用户和项目节点从高阶邻居获得更加完整的特征信息,然后利用卷积神经网络对网络输出层间的特征向量进行融合以获得不同阶段下用户的偏好.实验结果表明,与最优对比算法相比,采用所提卷积记忆图协同过滤推荐算法在4个数据集上的评分预测性能分别提升了1.98%,4.17%,9.27%和2.70%.     

基于门控循环单元与主动学习的协同过滤推荐算法

针对传统协同过滤推荐算法存在无法反映用户短时兴趣的问题,提出一种基于门控循环单元(gated recurrent unit, GRU)神经网络与主动学习的协同过滤推荐算法。在采用GRU神经网络的基础上,将数据进行时序化处理,反映用户兴趣变化,并利用主动学习动态采样数据中的高质量的数据进行GRU神经网络的训练,使模型快速建立。在MovieLens1M数据集上的试验结果表明:加入主动学习的GRU模型的推荐算法比基于用户的协同过滤推荐算法(user-based collaborative filtering, UCF)、基于马尔科夫模型的协同过滤推荐算法(markov chain, MC)、基于隐语义模型的协同过滤推荐算法(latent factor model, LFM)算法有更高的短时预测率、召回率、项目覆盖率以及用户覆盖数,能够有效预测用户短时兴趣,提升精度,发掘长尾物品,且与原始GRU模型相比能够以更少的迭代次数达到相同效果。     

基于双向循环神经网络的字符级文本分类

针对传统的文本分类深度学习模型由于收敛速度慢或严重依赖于预先训练好的词向量,在大规模数据集上通常耗时较长,提出了一种结合卷积神经网络(CNN)、门控循环单元(GRU)和高速公路网络(HN)的字符级短文本分类模型,该模型具有快速收敛的捕获全局和局部文本语义的能力.此外,将误差最小化极值学习机(EM-ELM)引入到模型中,进一步提高了分类精度.实验表明,与现有方法相比,该方法在大规模文本数据集上取得了更好的性能.     

基于CNN与BiGRU融合神经网络的入侵检测模型

针对深度学习入侵检测中出现的数据类不平衡及特征学习不全面等问题,提出了一种基于卷积神经网络(CNN)与双向门控循环单元(BiGRU)融合的神经网络入侵检测模型.通过SMOTE-Tomek算法完成对数据集的平衡处理,使用基于平均不纯度减少的特征重要性算法实现特征选择,将CNN和BiGRU模型进行特征融合并引入注意力机制进...     

基于GRU-RNN的网络入侵检测方法

针对数据集中少数分类用例过采样问题,本文依据网络入侵行为具有时序特征的特点,将门控循环单元记忆模块引入递归神经网络当中,提出了一种基于记忆和时序的入侵检测网络模型——GRU-RNN模型。针对原始攻击数据具有离散性且分布较广的问题,对数据进行数值化及归一化的预处理操作,并对攻击的时序性进行分析,探讨门控循环单元在递归神经网络中应用于入侵检测的可行性,构建GRU-RNN网络模型,选取最优的损失函数、分类函数,提出了基于时序的不平衡学习入侵检测模型,用于检测具有时序特征的攻击行为。将模型应用在KDD数据集中进行实验测试,表明与其他不平衡学习方法相比,本模型具有更好的识别率与收敛性。     

采用GRU模型的卫星RCS异常检测

针对传统基于雷达散射截面积的卫星目标姿态异常检测方法中提取有效特征困难、识别效果差的问题,提出了一种采用门控循环单元深度神经网络模型的异常检测方法。该方法首先利用滑动窗口法划分动态雷达散射截面积序列;然后采用门控循环单元深度神经网络完成对输入序列的自适应特征学习;最后结合全连接层实现卫星姿态异常检测。仿真实验结果表明,该方法提取的特征区分度高,与传统方法相比可以有效地检测出失稳翻滚卫星,并具有较强的噪声鲁棒性。     

基于循环神经网络的城市轨道交通短时客流预测

为更好地预测城市轨道交通的短时客流情况,提出了基于循环神经网络模型的预测方法。首先,针对轨道交通进出站客流数据,利用Pearson相关系数确定短时客流影响因素;然后,改进K-means聚类算法划分高、中、低客流量三类轨道站点,分析客流时空分布规律及高峰时间段;最后,采用分别基于长短时记忆神经网络（LSTM）与门控循环单元（GRU）的短时客流预测方法,预测不同类型站点在不同时段的客流。实验结果表明：5 min为预测的最佳时间粒度,在此时间粒度下GRU模型整体性能优于LSTM模型。     

基于门控递归单元神经网络的风速误差修正模型短期风电功率预测

随着风力发电的日益普及,风电功率预测已成为辅助电网调度和电力交易的基础.针对短期风电功率预测问题,提出一种基于门控递归单元神经网络的数值天气预报风速误差修正模型.首先,提取数值天气预报风速误差的标准差作为权重,并根据数值天气预报风速时间序列对这些权重进行重新排列,得到权重时间序列.然后,提出基于双向门控递归单元神经网络...     

GRU结合STL分解的短期电量预测方法

基于循环神经网络的模型具有出色的捕获非线性关系的能力,在电量预测中具有良好的性能。但它无法完全捕获历史信息,影响了预测结果的准确性。为了解决这些问题,提出了一种门控循环单元（GRU）模型结合STL分解的方法。评估结果表明,该方法能较好地捕获局部和全局信息,并具有比传统模型更高的预测精度。     

用于地物图像分类的神经网络的构造

对神经网络在模式识别中的应用进行了研究,针对军用点状地物识别这一具体问题,比较了径向基函数网络和多层感知器神经网络,提出了一种径向基函数三阶自相关神经网络,设计出一种自适应隐层单元个数选取算法,并把构造的分类器用于地物图像的分类实验,结果表明该算法能很好的自适应控制网络规模,网络模型具有任意平移不变性和很快的训练速度,且有良好的容错性和较高的识别率。     

基于深度学习的出行模式识别方法

居民出行信息可体现居民活动规律、反映城市交通问题,是制定交通规划与管理的重要依据.利用GPS获取的轨迹数据虽具有大量时空信息但不能直接表达出行模式,需要数据处理和挖掘算法提取隐藏知识来识别出行模式.由于居民出行模式具有高度的非线性和复杂性,识别具有很大挑战.本文利用深度学习方法的特征学习表征优势,解决特征提取的繁琐计算或漏提特征等弊端,通过对轨迹进行去野和划分等预处理后,计算轨迹片段的运动学特征构成输入数据,提出基于卷积神经网络与门控循环单元相结合的识别出行模式方法,利用卷积神经网络的深层特征表征优势和门控循环单元的时序特性挖掘能力,提高对非线性分类问题的学习能力和识别出行模式的准确性.为验证所提出方法的有效性,还设计单独的卷积神经网络和门控循环单元等模型,在Geolife数据集上进行测试和对比.实验结果表明,本文方法虽仅计算4个特征量仍具有较好的识别效果,并且优于单独采用卷积神经网络等分类方法的识别性能.     

基于深度LSTM的端到端的语音识别

基于长短时记忆(LSTM)神经网络在语音识别方面的良好性能,本文引入了一种新的深度LSTM方法.该方法利用深度控制门控函数连接多层LSTM单元,在循环神经网络中引入了上下层之间的线性相关性,可以更深层地构建语音模型.同时利用链接时序分类的训练准则进行模型训练,搭建端到端语音识别系统,解决了隐马尔可夫模型需要将标签和序列强制对齐的问题.实验表明,深度LSTM可以提高语音建模的性能,相比使用标准LSTM的模型,在准确率方面提高约4%.     

用于地物图像分类的神经网络的构造

对神经网络在模式识别中的应用进行了研究 ,针对军用点状地物识别这一具体问题 ,比较了径向基函数网络和多层感知器神经网络 ,提出了一种径向基函数三阶自相关神经网络 ,设计出一种自适应隐层单元个数选取算法 ,并把构造的分类器用于地物图像的分类实验 ,结果表明该算法能很好的自适应控制网络规模 ,网络模型具有任意平移不变性和很快的训练速度 ,且有良好有容错性和较高的识别率     

基于拆分、组装BP网络的入侵检测方法研究

提出了一种基于拆分、组装神经网络的入侵检测方法神经网络克服了以前在网络训练中易出现的训练时间过长、陷入局部极小的问题，使网络训练效率大大提高。该方法以网络数据源为主，同时考虑反映主机性能的数据源，并对特征数据进行了预处理，利用改进算法的学习能力和快速识别能力，实现了对用户行为的检测，尤其是在识别以前没有观察到的未知攻击方面具有较好性能．     

基于深度学习的Vigenère密码变型算法的模拟与分析

以Vigenère密码为代表的古典密码算法仍活跃在云计算和在线短信服务等资源受限场景下，以保障信息的安全。近年来，深度学习技术在密码分析领域初现其独特的优势，而其分析机理还需进一步探索。利用深度学习的机器翻译技术，对Vigenère密码变型算法进行了模拟与分析。首先，提出了一种适用于资源受限设备的改进的Vigenère密码变型算法，利用密文频率分布和重合指数验证了其安全性。其次，基于长短时记忆网络和门控循环单元网络实现了密钥长度达35位字符的Vigenère密码变型算法的模拟，并验证了神经网络模型加解密的高效性。进一步建立了密钥恢复模型，实现了Vigenère密码变型算法30位字符的密钥恢复。最后，给出了神经网络超参数的选择建议。     

基于IPSO-GRU的锂离子电池剩余使用寿命预测

为了提高预测锂离子电池剩余使用寿命（RUL）的精度,提出了一种基于改进型粒子群算法（IPSO）与门控循环单元（GRU）神经网络的锂离子电池RUL预测模型。首先,通过改变PSO算法的惯性权重和学习因子的更新规则,提高其寻优能力;然后,通过IPSO算法优化GRU神经网络的参数选择,搭建IPSO-GRU模型。最后,利用美国国家航空航天局（NASA）公开的锂离子电池实验数据进行试验,验证IPSO-GRU模型的准确性。实验结果表明,相比于直接采用单一GRU模型,所提IPSO-GRU模型降低了容量预测误差,有效提高了锂离子电池RUL预测精度。