基于注意力机制的门控密集卷积网络调制识别算法

自动调制识别(AMR)是非合作通信系统中的重要组成部分,也是一个通信领域的研究难点。针对该难点,利用深度学习,将密集卷积网络(DenseNet)、门控循环单元(GRU)和注意力机制(Attention)三者结合,提出一种基于注意力机制的门控密集卷积网络(AGDCN)的调制识别算法。该算法提取了信号的空间特征和时序特征,将两者相结合解决了信号识别率低的问题。同时,在网络中加入注意力机制,对GRU训练过程进行权重的自适应调整,有效地加强关键特征的学习。通过实验验证了AGDCN模型性能优于其他神经网络算法,在信噪比超过2 dB时,对11种调制类型的识别率可以达到90%。     

基于BGRU池的卷积神经网络文本分类模型

针对深度学习在处理文本分类问题时存在的适应度小、精确度较低等问题,提出一种采用双向门控循环单元(BGRU)进行池化的改进卷积神经网络模型。在池化阶段,将BGRU产生的中间句子表示与由卷积层得到的局部表示进行对比,将相似度高的判定为重要信息,并通过增大其权重来保留此信息。该模型可以进行端到端的训练,对多种类型的文本进行训练,适应性较强。实验结果表明,相较于其他同类模型,提出的改进模型在学习能力上有较大优势,分类精度也有显著提高。     

三维循环密集卷积神经网络在视频手势识别的应用

手势识别是当前计算机视觉的一个重要研究课题,由于手势旋转,角度等因素的影响,视频手势识别仍是一项具有挑战性的任务。该文提出了一种基于三维密集卷积神经网络和门限循环单元的双通道手势识别算法,通过三维密集卷积神经网络获取手势的空间信息,使用门限循环单元学习视频中手势的时序信息,最后融合RGB图像和深度图像的深度学习模型特征以此对手势进行识别。在ISOGD数据集上的实验表明,该手势识别算法能够有效提高了视频手势识别的准确率。     

基于残差网络和门控卷积网络的语音识别研究

由于传统循环神经网络具有复杂的结构,需要大量的数据才能在连续语音识别中进行正确训练,并且训练需要耗费大量的时间,对硬件性能要求很大.针对以上问题,提出了基于残差网络和门控卷积神经网络的算法,并结合联结时序分类算法,构建端到端中文语音识别模型.该模型将语谱图作为输入,通过残差网络提取高层抽象特征,然后通过堆叠门控卷积神经...     

基于3D双流卷积神经网络和GRU网络的人体行为识别

针对基于双流卷积神经网络的人体行为识别准确率不高,不能充分利用时间维度的信息问题,提出一种基于3D双流卷积和门控循环单元(GRU)网络的人体行为识别模型。将3D卷积神经网络引入到双流卷积神经网络中,在双流卷积神经网络的空间流和时间流中分别使用3D卷积神经网络提取视频的时空信息;融合3D双流卷积神经网络提取到的时空特征,形成有时间顺序的时空特征流;将时空特征流输入到具有记忆信息能力的GRU网络中递归学习时间维度的长时序列特征并利用线性SVM分类器进行人体行为识别。在行为识别数据集UCF101上的实验结果表明,该模型充分地利用了视频的时间维度信息,识别率为92.2%,优于其他人体行为识别算法。     

基于CNN-BiGRU网络的CPM调制指数识别

连续相位调制(Continuous Phase Modulation,CPM)作为一类频带利用率高的非线性数字调制信号,在移动通信和卫星通信领域都有着广泛的应用前景.针对目前低信噪比下CPM信号的调制参数识别困难的问题,提出了一种卷积神经网络级联双向门控循环网络(Convolutional Neural Network...     

基于双通道卷积门控循环网络的语音情感识别

为了构建高效的语音情感识别模型,充分利用不同情感特征所包含的信息,将语谱图特征和LLDs特征相结合,构建了一种基于自注意力机制的双通道卷积门控循环网络模型。同时,为了解决交叉熵损失函数无法增大语音情感特征类内紧凑性和类间分离性的问题,结合一致性相关系数提出新的损失函数——一致性相关损失（CCC-Loss）。将语谱图和LLDs特征分别输入CGRU模型提取深层特征并引入自注意力机制为关键时刻赋予更高的权重;使用CCC-Loss与交叉熵损失共同训练模型,CCC-Loss将不同类情感样本的一致性相关系数之和与同类情感样本的一致性相关系数之和的比值作为损失项,改善了样本特征的类内类间相关性,提高了模型的特征判别能力;将两个网络的分类结果进行决策层融合。所提出的方法在EMODB、RAVDESS以及CASIA数据库上分别取得了92.90%、88.54%以及90.58%的识别结果,相比于ACRNN、DSCNN等基线模型识别效果更好。     

一种序列文字识别方法

随着人工智能的发展,文字识别技术一方面有助于存储文本信息,一方面有助于机器对文本内容理解。文字识别技术在不断改进的同时,也被寄予更高的要求。相对于传统字符识别,一种序列文字识别方法将会更有效。因此,提出一种基于深度学习的端到端序列文字识别方法。为提取序列文本中的信息,也考虑到深度学习的运算量和运算资源,序列文本中的时序信息使用GRU网络提取,有效利用了文本中的时序关系。通过该方法,获得了非常好的识别效果。     

基于密集连接卷积网络的小面积指纹识别方法

针对基于细节特征点的传统指纹识别方法在小面积指纹识别时识别率明显下降的问题,提出一种基于密集连接卷积网络的小面积指纹识别方法.对指纹原图进行图像增强处理,充分利用密集连接卷积网络特征复用的优点构建提取指纹特征的深度学习模型,并将二值特征引进训练模型,依据指纹图像的二值特征和特征向量实现小面积指纹的注册和识别.实验结果表...     

基于密集卷积网络的单目图像深度估计方法

为解决目前单目图像深度估计方法存在的精度低、网络结构复杂等问题,提出一种密集卷积网络结构,该网络采用端到端的编码器和解码器结构。编码器引入密集卷积网络DenseNet,将前面每一层的输出作为本层的输入,在加强特征重用和前向传播的同时减少参数量和网络计算量,从而避免梯度消失问题发生。解码器结构采用带有空洞卷积的上投影模块和双线性插值模块,以更好地表达由编码器所提取的图像特征,最终得到与输入图像相对应的估计深度图。在NYU Depth V2室内场景深度数据集上进行训练、验证和测试,结果表明,该密集卷积网络结构在δ<1.25时准确率达到0.851,均方根误差低至0.482。     

基于AGRU-GNN的图网络社交推荐算法

在推荐系统中,用户对物品的兴趣是动态变化的,会受用户自身历史行为、朋友历史行为甚至短时热点等多方面因素影响.而如何在推荐系统中对用户的时序兴趣进行描述并提取有效信息,一直以来是推荐算法的一大挑战之一.本文在图神经网络(GNN)推荐算法的基础上,提出一种基于注意力门控循环单元(Attention-GRU)的改进图网络算法,对用户、物品的交互时序历史进行特征建模,于此同时结合社交网络将此时序特征在用户、物品之间传播.算法在Ciao与Epionions数据集上进行了验证,并与其他相关工作进行对比,证明了该模型有效地提取了用户、物品的时序特征,提升了推荐系统的有效性.     

融合GRU和CNN的轻量级网络入侵检测模型

当前网络流量数据呈现出高维、多态、海量的特点, 这对入侵检测是一个新挑战. 针对传统入侵检测模型中检测效率低、缺乏轻量化考虑等局限性, 提出了一种融合GRU和CNN的轻量级网络入侵检测模型. 首先使用极度随机树删除数据集中的冗余特征; 其次使用GRU进行特征提取. 考虑到数据中的长短期依赖关系, 将所有隐藏层输出作为序列特征信息进行下一步处理; 再通过带有逆残差、深度可分离卷积、空洞卷积等结构的轻量化CNN模型进行空间特征提取; 为了加速模型收敛加入了通道注意力机制. 最后在CIC-IDS2017数据集上的实验表明, 该方法具有优秀的检测性能, 同时也具有模型参数量少、模型体积小、训练时间短、检测时间短等优点, 适用于网络流量的入侵检测工作.     

基于门控循环单元网络的输电杆塔螺栓紧固检测

输电塔杆螺栓紧固检测是保障高压电网安全的重要依据,传统的人工检测方法需要员工爬上输电杆塔检测操作,通常伴有一定程度的风险,而采用无人机巡检受许多外在的因素的影响,其检测效果并不理想.因此,本文提出一种基于门控循环单元网络的输电杆塔螺栓紧固检测方法,利用振动传感器和传感分析仪构建一套采集输电铁塔声波数据的作业流程,提取训...     

联合注意力机制与目标点信息的车辆轨迹预测

对周围环境中运动物体未来状态的准确预测是影响自动驾驶车辆做出准确决策的重要影响因素,车辆是最常见也是最需要关注的运动物体之一。针对结构化道路下周围车辆轨迹预测的多模态输入问题,提出了基于注意力机制的深度预测网络。提出交互模块以提取目标车辆与周围车辆及车道线信息存在的交互特征;结合车道线信息对车辆运动的指引作用,加入目标点预测模块以预测目标车辆可能到达的目标点,增加预测准确性。在Argoverse公开数据集上进行实验,所提轨迹预测网络在3秒预测时长实现了1.45m最小平均距离误差及3.21m最小最终距离误差的预测精度,优于当前主流的预测算法。     

基于跨会话知识图谱的图注意力网络推荐方法

基于会话的推荐方法旨在根据匿名用户行为序列预测下一个项目。然而,现有会话推荐方法多基于当前会话建模用户偏好,忽略了会话间蕴含的语义信息及知识图谱中丰富的实体和关系信息,无法有效缓解数据稀疏性的问题。提出一种基于跨会话信息与知识图谱的图注意力网络推荐方法。通过有效整合跨会话信息和知识图谱中的项目知识构建跨会话知识图谱,利用知识感知的注意力机制计算各邻居节点的重要性分数,以更新项目节点表示,采用门控循环单元和图注意力网络将每个会话表示为该会话的当前偏好和全局偏好的组合。在此基础上,将会话嵌入和项目嵌入拼接后输入到多层感知机,得到目标会话和候选项目的预测分数,从而实现会话推荐。实验结果表明,与GRU4REC、SR-GNN、FGNN等方法相比,该方法在KKBOX和JDATA两个真实数据集上的推荐命中率分别至少提高了8.23和2.41个百分点,能有效增强会话推荐性能。     

加入奖励的GRU对抗网络文本生成模型

针对目前生成对抗网络文本生成模型采用有监督形式造成的错误累计以及生成文本信息单一等问题,提出一种基于GRU生成对抗网络的文本生成模型,GRU生成器采用策略梯度进行参数更新,且该模型增加蒙特卡洛搜索推导生成样本序列。采用参数较少的GRU神经网络作为生成器和判别器,判别器的输出loss函数指导生成过程中的参数优化,以蒙特卡洛策略思想补充生成过程中的非完整序列,减少错误累计并增加文本生成信息的丰富性。引入门截断机制,用自定义函数替换GRU网络中的sigmoid函数,改进当前时刻的隐含变量的激活函数,改善原函数收敛速度较慢且容易产生梯度消失问题,使之更适应本文模型。仿真实验结果表明本文模型丰富了文本生成的多样性,提高了模型的收敛速度,验证了本模型的有效性。该模型有较好的应用性。     

融合笔画特征的胶囊网络文本分类

目前多数文本分类方法无法有效反映句子中不同单词的重要程度,且在神经网络训练过程中获得的词向量忽略了汉字本身的结构信息。构建一种GRU-ATT-Capsule混合模型,并结合CW2Vec模型训练中文词向量。对文本数据进行预处理,使用传统的词向量方法训练的词向量作为模型的第1种输入,通过CW2Vec模型训练得到的包含汉字笔画特征的中文词向量作为第2种输入,完成文本表示。利用门控循环单元分别提取2种不同输入的上下文特征并结合注意力机制学习文本中单词的重要性,将2种不同输入提取出的上下文特征进行融合,通过胶囊网络学习文本局部与全局之间的关系特征实现文本分类。在搜狗新闻数据集上的实验结果表明,GRU-ATT-Capsule混合模型相比TextCNN、BiGRU-ATT模型在测试集分类准确率上分别提高2.35和4.70个百分点,融合笔画特征的双通道输入混合模型相比单通道输入混合模型在测试集分类准确率上提高0.45个百分点,证明了GRU-ATT-Capsule混合模型能有效提取包括汉字结构在内的更多文本特征,提升文本分类效果。     

基于深度卷积长短时神经网络的视频帧预测

针对视频帧预测中难以准确预测空间结构信息细节的问题,通过对卷积长短时记忆(LSTM)神经网络的改进,提出了一种深度卷积长短时神经网络的方法。首先,将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中,由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征;然后,将学习到的变化特征输入到与编码网络通道数对应的解码网络中,由解码网络输出预测的下一张图;最后,将这张图输入回解码网络中,预测接下来的一张图,循环预先设定的次后输出全部的预测图。与卷积LSTM神经网络相比,在Moving-MNIST数据集上的实验中,相同训练步数下所提方法不仅保留了位置信息预测准确的特点,而且空间结构信息细节表征能力更强。同时,将卷积门控循环单元(GRU)神经网络的卷积层加深后,该方法在空间结构信息细节表征上也取得了提升,检验了该方法思想的通用性。     

基于改进深度信念网络的农业温室温度预测方法

针对浅层神经网络面对温室复杂多变环境因子表征能力低、学习时间长的问题,提出一种基于改进深度信念网络并结合经验模态分解与门控循环单元的温室预测方法。首先,通过经验模态分解将温度环境因子进行信号分解,之后将分解出来的固有模态函数与残差信号进行不同程度的预测;然后,引入神经胶质改进深度信念网络,并将分解信号结合光照和二氧化碳进行多属性的特征提取;最后,将门控循环单元预测的信号分量相加获得最终的预测结果。仿真实验结果表明,与经验模态分解-深度信念网络(EMD-DBN)和深度信念网络-神经胶质链(DBN-g)相比,所提方法的预测误差分别降低了6.25%和5.36%,验证了其在强噪声、强耦合的温室时序环境下预测的有效性和可行性。     

基于循环神经网络的专利价格自动评估

专利价格评估是知识产权交易的重要内容,现有方法在进行专利价格评估时没有有效地考虑专利的市场、法律、技术维度对专利价格的影响,而专利的市场因素对专利价格的评估起到关键作用.针对上述问题,提出一种基于循环神经网络(RNN)的专利价格自动评估方法.该方法以市场法为基础,对其他各种因素进行综合考虑,并利用门控循环单元(GRU)...