基于深度残差网络和GRU的SqueezeNet模型的交通路标识别

Existing traffic road sign recognition methods are all based on convolutional neural networks. As the number of the model network layers increases, the recognition accuracy will also be improved, but there are still some problems such as the reduction of efficiency and the increase of the number of parameters. Therefore, an improved SqueezeNet model combining deep residual network with GRU neural network (SqueezeNet IR GRU) is proposed. In order to enhance the learning efficiency, ELU function is used as the activation function. To avoid the disappearance of gradients when the network layer is too deep, a deep residual network is introduced to guarantee the stability of the model, GRU neural network that can memorize the important past features is utilized. Experiments were performed on the Cafir 10 and GTSRB datasets, and their recognition accuracy rates are above 99.13% and 88.25%respectively. The experimental results show that the SqueezeNet IR GRU model not only reduces the parameter amount greatly, but also its convergence, stability and recall rate are all much better than others.     

基于GRU+LDA的群聊主题挖掘

社交网络发展迅速,即时消息系统已成为人们日常生活中必不可少的沟通交流工具。在线群聊能使人们迅速交流生活、技术及工作等信息,但是由于群聊信息更新较快,大量的信息导致跟进群聊话题是困难的。传统的主题挖掘模型不能很好地适用于群聊文本的挖掘。通过对群聊文本的特征进行分析,提出一种基于GRU和LDA的群聊会话主题挖掘（GLB-GCTM, GRU and LDA Based Group Chat Topic Mining）模型,解决了传统主题模型不能解决的词语顺序问题。首先,假定每个文档有一个基于高斯分布的主题向量,然后根据GRU原理产生每个词的隐含状态,根据当前词的隐含状态的伯努利分布确定当前词是否为停用词,以决定所使用的语言模型。该方法使用笔者加入的10个QQ群最近3个月的群聊数据集进行试验验证,结合对比实验评估标准,该模型能够有效识别出群聊文本中的主题。     

GRU递归神经网络对股票收盘价的预测研究

股票市场是个多变且复杂的非线性动力学系统,股票价格是个具有时序性的数据,基于此选用具有时间记忆功能的GRU（Gated Recurrent Unit）递归神经网络模型来处理时间序列数据的预测问题。本文选取上证中18支证券行业股票的日收盘价数据,该数据截止日期为2017年12月29日,每支股票数据量为1000天。本文作了2个实证研究,一方面用GRU递归神经网络预测未来10天的股票日收盘价,实证结果表明,GRU递归神经网络的测试误差和验证误差都比其余2个模型得到的同种类型的误差要小,而GRU递归神经网络在预测未来10天日收盘价的精度达到了98.3%,体现了GRU强大的学习能力和泛化能力。另一方面,对比序列长度分别为240天、120天以及60天时,GRU递归神经网络的测试误差、预测收盘价的方差以及验证误差。结果表明面对不同序列长度的数据集,GRU预测精度都很高,序列长度为240天的GRU模型得到的测试结果的方差明显低于其他2个,说明其稳定性更好。     

基于深度神经网络和门控循环单元的动态图表示学习方法

学习图中节点的潜在向量表示是一项重要且普遍存在的任务,旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息,然而,真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题,提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架,其中的编码器首先用DNN聚集邻域信息以得到低维特征向量,然后使用GRU网络提取节点时态信息,最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析,结果表明DynAEGRU具有较好的性能增益。     

基于实体活跃度及复制生成的时序知识图谱推理

现有时序知识图谱推理主要是基于静态知识图谱的推理方法,通过知识图谱的结构特征挖掘潜在的语义信息和关系特征,忽略了实体时序信息的重要性,因此提出一种基于实体活跃度及复制生成机制的时序知识图谱推理方法(EACG)。首先,通过改进的图卷积神经网络对多关系实体建模,有效挖掘知识图谱的潜在语义信息和结构特征。其次,时序编码器基于实体活跃度学习实体的时序特征。最后,使用复制生成机制进一步学习知识图谱的历史信息,提升对时序数据建模的能力。在时序知识图谱数据集ICEWS14、ICEWS05-15、GDELT上推理的实验结果表明,EACG在MRR评估指标中分别优于次优方法2%、10%和5%。     

基于卷积编解码器和门控循环单元的语音分离算法

在大部分基于深度学习的语音分离和语音增强算法中,把傅里叶变换后的频谱特征作为神经网络的输入特征,并未考虑到语音信号中的相位信息。然而过去的一些研究表明,尤其是在低信噪比（SNR）条件下,相位信息对于提高语音质量是必不可少的。针对这个问题,提出了一种基于卷积编解码器网络和门控循环单元（CED-GRU）的语音分离算法。首先,利用原始波形既包含幅值信息也包含相位信息的特点,在输入端以混合语音信号的原始波形作为输入特征;其次,通过结合卷积编解码器（CED）网络和门控循环单元（GRU）网络,可以有效解决语音信号中存在的时序问题。提出的改进算法在男性和男性、男性和女性、女性和女性的语音质量的感知评价（PESQ）和短时目标可懂度（STOI）方面,与基于排列不变训练（PIT）算法、基于深度聚类（DC）算法、基于深度吸引网络（DAN）算法相比,分别提高了1.16和0.29、1.37和0.27、1.08和0.3;0.87和0.21、1.11和0.22、0.81和0.24;0.64和0.24、1.01和0.34、0.73和0.29个百分点。实验结果表明,基于CED-GRU的语音分离系统在实际应用中具有较大的价值。     

基于空间变换密集卷积网络的图片敏感文字识别

互联网上含有大量多字体混合、形变、拉伸、左右结构字形、倾斜畸变等复杂场景下的敏感文字图片,在处理相关图片过程中存在特征提取难、识别率低的问题.本文提出基于空间变换网络与密集神经网络的方法对图片敏感文字进行特征提取与变换矫正,使用了深层双向GRU网络与CTC时域连接网络对序列特征信息进行标记预测,序列化处理文本的方式可较好地提升距离较宽文字与模糊文字信息的处理能力.实验结果表明,本模型在Caffe-OCR中文合成数据集和CTW数据集中分别实现了87.0%和90.3%识别准确率,平均识别时间达到了26.3 ms/图.     

基于特征迁移学习的综合能源系统小样本日前电力负荷预测

基于历史数据和深度学习的负荷预测已广泛应用于以电能为中心的综合能源系统中以提高预测精度,然而,当区域中出现新用户时,其历史负荷数据往往极少,此时,深度学习难以适用.针对此,本文提出基于负荷特征提取和迁移学习的预测机制.首先,依据源域用户历史负荷数据,融合聚类算法和门控循环单元网络构建源域数据的特征提取和分类模型;然后,...     

一种基于C-GRU飞行轨迹预测方法

飞行轨迹是由大量时间序列数据组成,遵循一定的运动规则。对敌方巡逻机飞行轨迹进行预测,能有效的提高战斗机生存率。针对现有单一预测模型对飞行轨迹预测精度不高,提出一种基于复合门控循环单元飞行轨迹预测方法。使用飞行仿真模拟获取多组飞行轨迹坐标点数据,用于复合门控循环单元网络模型参数训练,实现飞行轨迹预测。通过仿真结果分析,复合门控循环单元网络模型在X、Y、Z轴上的多组预测数据平均绝对误差在4.5 m内,且网络模型预测平均时间开销约为4.1 ms;使用平均绝对误差变化较大与较小的轨迹数据进行对比,其Y与Z轴的两组均方根误差相近。同时与门控循环单元、长短期记忆网络模型对比,其误差最小,在平均耗时接近的情况下预测的结果更加准确。所以本文提出的模型适用于不同的飞行轨迹,而且预测结果具有较高的可信度。     

基于GRU的命名实体识别方法

命名实体识别是自然语言处理中的一项基础任务,传统的识别方法往往需要外部知识和人工筛选特征,需要较高的人力成本和时间成本;针对传统方法的局限性,提出一种基于GRU （Gated Recurrent Unit）的命名实体识别模型,该模型以字向量作为输入单位,通过双向GRU层提取特征,并通过输出层得到标签序列.在传统命名实体和会议名称这种特定领域命名实体上对该模型进行了测试.实验结果表明,本文设计的循环神经网络模型能有效的识别命名实体,省去了人工设计特征的繁琐工作,提供了一种端到端的识别方法.