一种复合型手势识别方法研究

针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法。通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet（Squeeze-and-Excitation Networks）构成的第一通道提取全局特征,然后使用RBNet（Residual Block Networks）构成的第二通道提取局部特征,并将全局特征和局部特征进行通道维度上的融合。同时,利用动态衰减的学习率训练双通道网络模型。与其他卷积神经网络模型的对比实验结果表明,提出的复合型手势识别方法的手势识别率高,参数数量少,适用于不同手势图像数据集的识别。     

基于CNN和BLSTM的房颤识别算法

针对传统机器学习算法难以提取复杂心拍特征的弊端,提出一种基于深度学习的房颤识别算法。基于心电信号的一维时序特性,设计一维深层卷积神经网络模型,自动挖掘原始信号预处理后的深层次特征。将适合捕捉时间序列长期依赖关系的双向长短期记忆网络与卷积神经网络进行结合,搭建一种深度学习网络模型。基于PCin CC2017数据库实现对原始心电信号的自动分类,完成对房颤的识别。实验结果表明,该算法以86%的分类准确率和83%的F1度量验证了模型的可行性和算法的有效性。     

基于混合神经网络的文本分类方法

为更好解决卷积神经网络提取特征不充分,难以处理长文本结构信息和捕获句子语义关系等问题,提出一种融合CNN和自注意力BiLSTM的并行神经网络模型TC-ABlstm.对传统的卷积神经网络进行改进,增强对文本局部特征的提取能力;设计结合注意力机制的双向长短期记忆神经网络模型来捕获文本上下文相关的全局特征;结合两个模型提取文...     

基于无监督学习卷积神经网络的振动信号模态参数识别

针对现有的时域模态参数识别方法大多存在难定阶和抗噪性差的问题,提出一种无监督学习的卷积神经网络（CNN）的振动信号模态识别方法。该算法在卷积神经网络的基础上进行改进。首先,将应用于二维图像处理的卷积神经网络改成处理一维信号的卷积神经网络,其中输入层改成待提取模态参数的振动信号集合,中间层改成若干一维卷积层、抽样层,输出层得到的为信号对应的N阶模态参数集合;然后,在误差评估中,对网络计算结果（N阶模态参数集）进行振动信号重构;最后,将重构信号和输入信号之间差的平方和作为网络学习误差,使得网络变成无监督学习网络,避免模态参数提取算法的定阶难题。实验结果表明,当所构建的卷积神经网络应用于模态参数提取时,与随机子空间识别（SSI）算法及其局部线性嵌入（LLE）算法对比,在噪声干扰下,构建的卷积神经网络识别精度要高于SSI算法与LLE算法,具有抗噪声强、避免了定阶难题的优点。     

基于BiLSTM和ResCNN的实体关系抽取方法

当前大多数实体关系抽取方法无法获取较长句子中的远距离依赖信息,并且由于远程监督数据噪声的干扰导致关系抽取性能下降。因此本文提出一种基于双向长短期记忆网络（BiLSTM）和残差卷积神经网络（ResCNN）的实体关系抽取模型,该模型在向量表示阶段采用BiLSTM获取词语的上下文信息向量,利用残差网络将卷积神经网络中低层的特征传递到高层,有效解决梯度消失问题。同时将挤压-激励块嵌入残差网络中,能大幅降低数据噪声,强化特征传递,在池化阶段采用分段最大化池化方法来捕捉实体对的结构信息。设计在NYT-Freebase数据集上的验证实验,实验结果表明,该模型能够充分学习特征,显著提升实体关系抽取的效果。     

基于卷积神经网络与双向长短时融合的锂离子电池剩余使用寿命预测

针对锂离子电池剩余使用寿命（remaining useful life,RUL）传统预测方法的精确度与稳定性较低等问题,融合卷积神经网络（convolutional neural network,CNN）和双向长短期记忆（bidirectional long short-term memory,BiLSTM）神经网络的...     

基于CNN-WaveNet的滚动轴承剩余寿命预测

为保证设备正常运行并准确预测轴承剩余寿命,提出二维卷积神经网络与改进WaveNet组合的寿命预测模型.为克服未优化的递归网络在预测训练过程中易出现梯度消失问题,该模型引入了WaveNet时序网络结构.针对原始WaveNet结构不适用滚动轴承振动数据情况,将WaveNet结构改进与二维卷积神经网络结合应用于滚动轴承寿命预测.模型利用二维卷积网络提取一维振动序列的特征,随后特征输入WaveNet并进行滚动轴承的预测寿命.改进模型相比于深度循环网络计算效率更高、结果更准确,相比于原始CNN-WaveNet-O模型预测结果更准确.相比于深度长短期记忆网络模型,改进方法预测结果均方根误差降低了11.04％,评分函数降低了11.34％.     

基于改进的双向长短期记忆网络的视频摘要生成模型

针对传统视频摘要方法往往没有考虑时序信息以及提取的视频特征过于复杂、易出现过拟合现象的问题,提出一种基于改进的双向长短期记忆（BiLSTM）网络的视频摘要生成模型。首先,通过卷积神经网络（CNN）提取视频帧的深度特征,而且为了使生成的视频摘要更具多样性,采用BiLSTM网络将深度特征识别任务转换为视频帧的时序特征标注任务,让模型获得更多上下文信息;其次,考虑到生成的视频摘要应当具有代表性,因此通过融合最大池化在降低特征维度的同时突出关键信息以淡化冗余信息,使模型能够学习具有代表性的特征,而特征维度的降低也减少了全连接层需要的参数,避免了过拟合问题;最后,预测视频帧的重要性分数并转换为镜头分数,以此选取关键镜头生成视频摘要。实验结果表明,在标准数据集TvSum和SumMe上,改进后的视频摘要生成模型能提升生成视频摘要的准确性;而且它的F1-score值也比基于长短期记忆（LSTM）网络的视频摘要模型DPPLSTM在两个数据集上分别提高1.4和0.3个百分点。     

基于双通道残差网络的水下图像去噪研究

水下图像去噪作为探索海底世界有效的辅助手段之一，备受研究人员的关注。传统的滤波方法存在去噪过程中容易损坏图像的细节，带有明显的噪声残留，且根据不同的噪声类型设计相应滤波器的问题，在深度卷积神经网络的基础上，提出一种改进的双通道残差卷积神经网络模型，用于去除水下图像的噪声。该模型由局部残差网（LRN）、全局稀疏网（GSN）和特征处理块（FPB）构成。通过双通道LRN和GSN并行提取水下图像的多层次局部噪声特征和全局噪声特征，利用FPB中的通道连接融合LRN和GSN提取的噪声特征，并使用其卷积层增强水下图像噪声信息。在此基础上，使用均方误差和平均绝对误差双损失函数优化网络参数，利用卷积层重构水下图像。实验结果表明，相比BM3D、IRCNN、DnCNN等方法，该方法的平均峰值信噪比提高0.02～3.52 dB，在有效去除各种水平的随机噪声同时能重构清晰的水下图像。     

基于1D-CNN-LSTM注意力网络的抽油机井故障诊断

针对传统基于示功图的抽油机井故障诊断方法存在特征提取复杂、模型参数量大、诊断效率低的问题，提出一种基于1D-CNN-LSTM注意力网络的故障诊断方法。将示功图转化为载荷位移序列作为网络输入，使用一维卷积神经网络（1D-CNN）在提取序列局部特征的同时减小序列长度；考虑到序列的时序特性，进一步使用长短时记忆网络（LSTM）提取序列的时序特征；为突出关键特征影响，引入Attention机制，对故障类型相关的时序特征赋予更高的注意力权重；最后将加权特征输入全连接层，利用Softmax分类器实现故障诊断。实验结果表明，所提方法的平均准确率、精确率、召回率和F1值分别达到99.13%、99.35%、99.17%和99.25%，模型大小仅为98 kB。相比基于特征工程的方法具有更高的诊断精度和泛化能力，相比基于二维卷积神经网络（2D-CNN）模型的诊断方法，显著减少了模型参数量和训练时间，提高了故障诊断效率。     

基于BiLSTM-CNN串行混合模型的文本情感分析

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络和卷积神经网络（BiLSTM-CNN）的串行混合模型。首先,利用双向循环长短时记忆（BiLSTM）神经网络提取文本的上下文信息;然后,对已提取的上下文特征利用卷积神经网络（CNN）进行局部语义特征提取;最后,使用Softmax得出文本的情感倾向。通过与CNN、长短时记忆神经网络（LSTM）、BiLSTM等单一模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了2.02个百分点、1.18个百分点和0.85个百分点;与长短时记忆神经网络和卷积神经网络（LSTM-CNN）、BiLSTM-CNN并行特征融合等混合模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了1.86个百分点和0.76个百分点。实验结果表明,基于BiLSTM-CNN的串行混合模型在实际应用中具有较大的价值。     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

多特征混合模型文本情感分析方法

近年来,深度学习被广泛应用于文本情感分析。其中文本卷积神经网络（TextCNN）最具代表性,但是TxetCNN的语义特征提取存在词嵌入维度语义特征丢失、最大池化算法特征提取不足和文本长期依赖关系丢失的问题。针对以上问题,提出多特征混合模型（BiLSTM-MFCNN）的文本情感分析方法。该方法使用双向长短记忆网络（BiLSTM）学习文本的长期依赖关系;改进TextCNN的卷积层和池化层提出多特征卷积神经网络（MFCNN）,卷积层利用五种不同的卷积算法,分别从句子维度、整个词嵌入维度、单个词嵌入维度、相邻词向量维度和单个词向量维度提取文本的语义特征,池化层利用最大池化算法和平均池化算法,获取文本的情感特征。在中文NLPCC Emotion Classification Challenge和COAE2014数据集、英文Twitter数据集进行对比实验,实验结果表明该混合模型在文本情感分析任务中能够取得更好的效果。     

联合分层注意力网络和独立循环神经网络的地域欺凌识别

为提高对文本语境深层次信息的利用效率，提出了联合分层注意力网络（HAN）和独立循环神经网络（IndRNN）的地域欺凌文本识别模型——HACBI。首先，将手工标注的地域欺凌文本通过词嵌入技术映射到低维向量空间中；其次，借助卷积神经网络（CNN）和双向长短期记忆网络（BiLSTM）提取地域欺凌文本的局部及全局语义特征，并进一步利用HAN捕获文本的内部结构信息；最后，为避免文本层次结构信息丢失和解决梯度消失等问题，引入IndRNN以增强模型的描述能力，并实现信息流的整合。实验结果表明，该模型的准确率（Acc）、精确率（P）、召回率（R）、F1和AUC值分别为99.57%、98.54%、99.02%、98.78%和99.35%，相比支持向量机（SVM）、CNN等文本分类模型有显著提升。     

智能问诊中基于深度神经网络的反问生成方法

在智能问诊中,为了让医生快速提出合理的反问以提高医患对话效率,提出了基于深度神经网络的反问生成方法。首先获取大量医患对话文本并进行标注;然后使用文本循环神经网络（TextRNN）、文本卷积神经网络（TextCNN）二种分类模型分别对医生的陈述进行分类;再利用双向文本循环神经网络（TextRNN-B）、双向变形编码器（BERT）分类模型进行问题触发;设计六种不同的问答选取方式来模拟医疗咨询领域情景,采用开源神经机器翻译（OpenNMT）模型进行反问生成;最后对已生成的反问进行综合评估。实验结果表明,使用TextRNN进行分类优于TextCNN,利用BERT模型进行问题触发优于TextRNN-B,采用OpenNMT模型在Window-top方式下实现反问生成时,使用双语评估替补（BLEU）和困惑度（PPL）指标进行评价的结果最好。所提方法验证了深度神经网络技术在反问生成中的有效性,可以有效解决智能问诊中医生反问生成的问题。     

联合MOD11A1和地面气象站点数据的多站点温度预测深度学习模型

针对地面气象站点分布稀疏影响站点间关系以及站点间的关系强度推理难的问题,提出一种基于联合MOD11A1和地面气象站点数据的多站点温度预测深度学习模型（GDM）。GDM包括时空注意力（TSA）、双向图神经长短期记忆（DG-LSTM）网络编码和边-点转换双向门控循环网络解码（EN-GRU）模块。首先使用TSA模块提取MOD11A1图像特征并形成多个虚拟气象站点的温度时间序列,缓解地面气象站点分布稀疏对站点间关系的影响;然后用DG-LSTM编码器通过融合两组温度时间序列来计算地面气象站点间和虚拟气象站点间的关系强度;最后用ENGRU解码器通过结合站点间的关系强度对地面气象站点的温度时间序列关系进行建模。实验结果表明,相较于二维卷积神经网络（2D-CNN）、长短期记忆全连接网络（LSTM-FC）、长短期记忆神经网络扩展网络（LSTME）和长短记忆与自适应提升集成网络（LSTM-AdaBoost）,GDM在10个地面气象站点24 h内温度预测的平均绝对误差（MAE）分别减小0.383℃、0.184℃、0.178℃和0.164℃,能提高未来24 h多个气象站点温度的预测精度。     

面向BSP-CNN的短文本情感倾向性分类研究

针对消费短文本评论中的情感倾向性分类问题,提出了一种BSP-CNN混合神经网络模型。模型先使用双向简单循环单元（BiSRU）对数据进行特征表示,再使用逐点卷积神经网络（P-CNN）进一步学习语义特征,并输出情感倾向性分类结果。实验结果表明,与传统的长短期记忆神经网络（LSTM）和卷积神经网络（CNN）相比,BSP-CNN混合神经网络模型有效简化了计算,缩短了运行时间,并且在不同大小和不同文本长度的数据集上均能取得更高的F1值。     

基于残差收缩网络的关系抽取算法

An improved algorithm based on residual shrinkage network with soft threshold module was proposed to solve the problem of noise caused by interference between words within a sentence in relation extraction. Firstly, the threshold was trained in each feature channel of the residual network. The threshold had two characteristics： first, its absolute value would not be too large, if it was too large, effective information would be eliminated; second, the threshold had different results for different input training. Secondly, according to the characteristics of soft threshold, the channel features lower than the threshold were deleted, and those higher than the threshold were reduced. Compared with direct deletion of negative features, soft threshold was able to save useful information of negative features. Finally, an optimization model of attention module was added to reduce the influence of mislabeling problem in distant supervision. Piecewise Convolutional Neural Network （PCNN）, Bi-directional Long Short-Term Memory （BiLSTM） network and ordinary Residual Network （ResNet） were selected as baseline models for comparison experiments. Experimental results show that the precision-recall curves of the proposed model include the curves of other models and the F1 scores of the proposed model are increased by 6.0 percentage points, 3.9 percentage points and 1.4 percentage points respectively compared to the baseline models, which verifies that addition of soft thresholding network model can improve accuracy of relation extraction by reducing in-sentence noise.     

基于刑事Electra的编-解码关系抽取模型

针对司法领域关系抽取任务中模型对句子上下文理解不充分、重叠关系识别能力弱的问题,提出了一种基于刑事Electra(CriElectra)的编-解码关系抽取模型.首先,参考中文Electra的训练方法,在1000000份刑事数据集上训练得到了CriElectra;然后,在双向长短期记忆网络(BiLSTM)模型上加入Cri...