基于深度学习的搜索广告排序应用

本文在研究卷积(Convolutional Neural Networks)与LSTM(Long Short Term Memory)的基础上,结合两者优势,提出了一种混合模型。首先用卷积神经网络提取关键特征,然后依据LSTM神经网络时序特点进行预测和分类。结果表明:对比浅层或单层网络,本文提出的组合模型较好地提高了点击率预估准确度,从而增强了搜索广告排序应用效果。     

基于SWT与改进卷积神经网络的轴承故障诊断

针对传统轴承故障诊断依赖专家经验且存在时频特征提取效果不佳,导致故障诊断效率和精度较低的问题,提出一种基于同步压缩小波变换（SWT）与改进卷积神经网络（CNN）的轴承故障诊断模型（SICNN）。首先,将一维的非平稳轴承振动信号通过SWT转换为高频率表达的二维时频图像,作为卷积神经网络的输入;然后,引入SRM对提取的特征进行风格池化与融合,调整卷积通道合适的特征权重,提高重要特征的关注度进而提高网络的表征能力;最后,通过Softmax层输出故障诊断结果。为了验证所提出的模型性能,使用凯斯西储大学采集的轴承数据集开展实验。结果表明,该模型故障诊断准确率可达到99.88%,与其他传统方法相比,具有良好的可行性和收敛性能,实践层面应用价值较高。     

BLAC:注意力机制时序网络流量异常检测模型

入侵检测的难点之一是如何准确识别流量数据的异常特征。文中提出一个基于卷积神经网络（CNN）、双向长短期记忆网络（Bi-LSTM）和注意力（Attention）的时序流量异常检测模型,即BLAC。为提高BLAC模型的特征提取准确度,使用CNN提取流量数据中的空间特征,利用Bi-LSTM提取流量数据的完整时间特征,解决Attention难以对复杂时间序列数据位置信息进行编码的问题。通过对Attention权重的可视化分析,推测出异常在窗口中发生的时间点。使用雅虎的Webscope S5数据集进行对比试验,结果表明,BLAC模型的性能优于其他SOTA模型,其中关键指标召回率高达98.69%,表示二分类精确度的F1得分达到97.73%。     

基于CRNN混合神经网络的多语种识别

在语种识别过程中,为提取语音信号中的空间特 征以及时序特征,从而达到提高多语 种识别准确率的目的,提出了一种利用卷积循环神经网络(convolutional recurrent neural network,CRNN)混合神经网络的多语种识别模型。该模型首先提 取语音信号的声学特征;然后将特征输入到卷积神经网络(convolutional neural network,CNN) 提取低维度的空间特征;再通过空 间金字塔池化层(spatial pyramid pooling layer,SPP layer) 对空间特征进行规整,得到固定长度的一维特征;最后将其输入到循环神经 网络(recurrenrt neural network,CNN) 来判别语种信息。为验证模型的鲁棒性,实验分别在3个数据集上进行,结果表明:相 比于传统的CNN和RNN,CRNN混合神经网络对不同数据集的语种识别 准确率均有提高,其中在8语种数据集中时长为5 s的语音上最为明显,分别提高了 5.3% 和6.1%。     

基于改进CNN的轴承声学故障诊断

针对轴承振动信号在复杂机械中难采集和跨转速域工况下传统故障诊断方法精度低的问题,文中提出了一种基于Teager能量算子和卷积神经网络的滚动轴承声学故障诊断方法,即TEO-CNN。将轴承声学信号的Teager能量算子作为模型的输入,使用卷积神经网络学习输入的抽象特征,并结合全局平均池化层和全连接层实现轴承健康状态识别。模型验证基于轴承声学实验数据,并通过构建不同的轴承声学数据集模拟跨转速域工况。试验结果表明,与传统卷积神经网络和机器学习模型相比,TEO-CNN表现出明显的优势,并且在跨转速域工况下的预测精度始终高于95%。     

基于CNN-LSTM模型的不满意用户预警研究

为了从海量数据中挖掘有效信息，提高不满意用户预测精度，针对用户话单数据时序性和非线性的特点，提出了一种基于卷积神经网络（CNN）和长短期记忆（LSTM）的不满意用户预测模型。首先，将用户信息数据和历史话单数据按时间滑动窗口构造连续特征图作为输入，采用CNN提取特征向量；然后，将特征向量以时序序列方式构造，采用LSTM进行用户满意度预测。通过所提方法对江苏省某地区移动通信用户数据的预测实验表明，本文提出的预测方法比传统预测方法、机器学习方法和标准LSTM网络预测方法具有更高的预测精度。     

融合双层注意力与多流卷积的肌电手势识别记忆网络

针对表面肌电信号(surface electromyography, sEMG)手势识别使用卷积神经网络(convolutional neural network, CNN)提取特征不够充分,且忽略时序信息而导致识别精度不高的问题,本文创新性地提出了一种融合双层注意力与多流卷积神经网络(multi-stream convolutional neural network, MS-CNN)的sEMG手势识别记忆网络模型。首先,利用滑动窗口生成的表面肌电图像作为该模型的输入;然后在MS-CNN中嵌入通道注意力层(channel attention module, CAM),弱化无关信息,使网络能够更加专注sEMG的有效特征;其次,通过长短期记忆网络(long short term memory network, LSTM)对输入的特征进行时序上的激励,关注更多sEMG的时序信息,让网络在时间维度上拥有更强的学习能力;最后,采用时序注意力(time-sequence attention, TSA)层对LSTM的状态进行关注,从而更好地学习重要肌肉信息,提高手势识别精度。在NinaPro数据集上...     

数据驱动的双通道CNN-LSTM调制分类算法

为同时利用卷积神经网络(Convolutional Neural Network, CNN)的空间特征提取能力和长短时记忆(Long Short-Term Memory, LSTM)网络的时序特征提取能力，提出了一种由双通道一维CNN与LSTM相互串联的调制分类算法。算法采用数据驱动的方式，直接将信号送入至2路CNN提取其在不同维度的空间特征信息；把2个通道的特征融合信息输入至LSTM学习其时序上的特征；与全连接网络连接实现对5种目标信号的调制分类。实验结果表明，CNN与LSTM相互串联能够学习到更加丰富的特征信息，更有利于分类；与传统方法相比，提出的方法无需人工提取信号特征，减少了预处理步骤并有效提升了识别性能。     

基于残差神经网络的轴承声发射信号故障智能诊断

近年来,随着人工智能的发展与普及,深度学习算法以其高准确率和鲁棒性成为了目前分类识别技术的热门。传统的轴承故障诊断采用振动信号,对早期故障不敏感。由于传统的人工特征提取方法难以准确的表征滚动轴承状态,深度学习算法便逐渐应用于滚动轴承的故障诊断。因此采用滚动轴承的声发射信号并结合神经网络进行故障检测,以更好的对轴承运行中的早期故障进行识别,为此提出了一种基于一维卷积残差神经网络的轴承故障诊断模型,通过多层卷积叠加以提取出数据中更加关键重要的信息。该模型在诊断中能够自适应的从输入数据中学习出所需要的特征。模型采用categorical crossentropy交叉熵损失函数及Adam优化算法实现滚动轴承的故障诊断。在试验台上模拟了早期轴承内圈、外圈、滚动体、保持架故障等四种故障,并利用模型进行了故障的分析和诊断,研究结果表明文章提出的模型对故障的声发射信号拥有良好的识别能力。     

基于PBO与CNN的电梯轴承故障检测

电梯在生活中已经变得随处可见。而电梯轴承作为重要的部件之一，当出现故障时会造成财产损失，严重的会发生危及生命的事件。卷积神经网络(Convolutional Neural Network, CNN)具有强大的特征学习能力，能够根据电梯轴承在运行的过程中产生的振动信号来检测电梯轴承是否发生故障。文中结合了北极熊算法(Polar Bear Optimization, PBO)对卷积神经网络的参数进行优化。PBO作为自然界的一种启发式优化算法，采用PBO和卷积神经网络相结合的故障诊断方法，对轴承故障识别率达到了99.6%,高于传统的卷积神经网络对电梯轴承的振动产生的特征信号进行故障诊断的识别率。     

基于LSTM算法的电子部件故障预测

故障诊断与预测使用大量信息数据,需要采用推断统计、神经网络等研究方法,对测试数据进行分析和预测,从而评估设备健康状况,在故障发生前对指标进行预测和采取预防举措,最大限度保证电子设备健康工作。本文提出了基于LSTM(长短时记忆网络)算法的电子设备部件故障预测模型,针对时序型数据对轴承运行状态进行分析和预测。     

结合WGAN GP与CNN SVM的滚动轴承故障红外诊断

针对实际工程应用中由于滚动轴承故障状态出现的时间很短而导致数据集不平衡难以采用深度学习算法进行故障诊断的问题,提出了一种基于Wasserstein距离的梯度惩罚生成对抗网络(WGAN GP)和基于支持向量机分类的卷积神经网络(CNN SVM)相结合的滚动轴承故障红外诊断方法。从红外热像图中构建不平衡数据集,通过采用WGAN GP对不平衡数据扩充以达到数据集均衡,之后将CNN SVM模型应用于数据集,提取样本深度特征完成故障分类。实验表明,WGAN GP与CNN SVM相结合的模型在不平衡数据集下表现良好,相较于其他模型有更好的故障诊断能力,并且在故障分类阶段的用时可减少1689以上。     

基于语义理解注意力神经网络的多元特征融合中文文本分类

在中文文本分类任务中,针对重要特征在中文文本中位置分布分散、稀疏的问题,以及不同文本特征对文本类别识别贡献不同的问题,该文提出一种基于语义理解的注意力神经网络、长短期记忆网络(LSTM)与卷积神经网络(CNN)的多元特征融合中文文本分类模型(3CLA)。模型首先通过文本预处理将中文文本分词、向量化。然后,通过嵌入层分别经过CNN通路、LSTM通路和注意力算法模型通路以提取不同层次、具有不同特点的文本特征。最终,文本特征经融合层融合后,由softmax分类器进行分类。基于中文语料进行了文本分类实验。实验结果表明,相较于CNN结构模型与LSTM结构模型,提出的算法模型对中文文本类别的识别能力最多提升约8%。     

Independently recurrent neural network for remaining useful life estimation

In the industrial fields, the mechanical equipment will inevitably wear out in the process of operation. With the accumulation of losses, the probability of equipment failure is increasing. Therefore, if the remaining useful life (RUL) of the equipment can be accurately predicted, the equipment can be maintained in time to avoid the downtime caused by equipment failure and greatly improve the production efficiency of enterprises. This paper aims to use independently recurrent neural network (IndRNN) to learn health degradation of turbofan engine and make accurate predictions of its RUL, which not only effectively solves the problem of gradient explosion and vanishing, but also increases the interpretability of neural networks. IndRNN can be used to process longer time series which matches the scene with high frequency sampling sensor in industrial practical applications. The results demonstrate that IndRNN for RUL estimation significantly outperforms traditional approaches, as well as convolutional neural network (CNN) and long short-term memory network (LSTM) for RUL estimation.     

TAGAN:一种融合细粒度语义特征的学术论文对抗推荐算法

学术论文推荐旨在为用户提供个性化的论文资源,针对协同过滤方法面临数据高度稀疏和缺乏负样本的问题,提出了一种融合细粒度语义特征的学术论文对抗推荐模型——TAGAN（title and abstract GAN）。首先,基于具有语义特征的标题和摘要,使用卷积神经网络（CNN）提取标题的全局特征,并构建一个双层的长短期记忆（LSTM）网络分别对摘要的单词序列和语句序列建模,同时,引入注意力机制将标题和摘要进行语义上的关联。然后,将论文的语义特征融入基于生成对抗网络（GAN）的推荐框架中并进行训练,其生成模型会拟合用户的兴趣偏好,能有效替代负采样过程。最后,通过在公开数据集上的实验对比,TAGAN在各个指标上都优于基线模型,验证了TAGAN的有效性。     

基于深度卷积特征的场景全局与局部表示方法

场景识别是计算机视觉研究中的一项基本任务.与图像分类不同,场景识别需要综合考虑场景的背景信息、局部场景特征以及物体特征等因素,导致经典卷积神经网络在场景识别上性能欠佳.为解决此问题,文中提出了一种基于深度卷积特征的场景全局与局部表示方法.此方法对场景图片的卷积特征进行变换从而为每张图片生成一个综合的特征表示.使用CAM...     

基于多尺度卷积特征融合的癫痫脑电信号识别

脑电信号(electroencephalography,EEG)已成为医生诊断神经系统疾病最 广泛使用的工具,实现癫痫EEG的自动识别对 于癫痫患者的临床诊断和治疗具有重要意义。为了提高癫痫EEG的识别精度,提出了一 种基于多尺 度卷积特征融合的癫痫EEG自动识别模型。首先采用多尺度卷积特征融合方法提取多粒 度数据特征, 实现卷积神经网络(convolutional neural network,CNN)中不同层次的信息互补;然后经过长短期记忆网络(long short-term memory network,LSTM)提取时间 特征,利用 softmax分类器给出最终的识别结果。为了评估提出方法的识别性能,在波恩大学癫痫病研 究中心数据集 中进行实验,并与CNN-LSTM模型、单一的LSTM等模型的识别性能进行了比较,实验结果表 明,提出 方法的识别精度明显高于其余方法, 平均可达到99.19%。该模型能够 有效识别癫痫EEG类别,具有较高的识别性能和临床应用潜力。     

基于深度学习的海上目标一维序列信号目标检测方法

当前海面目标检测方法多基于统计理论,检测性能受背景统计特性假设的影响,本文从信号预测和特征分类两个角度,分别采用长短时记忆网络(LSTM)和卷积神经网络(CNN)对信号时间序列幅度信息进行处理,用于海上目标一维序列雷达信号检测,该方法不需事先假设背景统计特性,泛化能力更强。基于LSTM序列预测的目标检测方法通过用海杂波信号幅度时间序列对网络进行训练,再用训练后的网络对后续序列进行预测,并与后续实测信号进行比较,实现目标检测。基于CNN序列分类的目标检测方法中采用截取的海杂波信号和目标信号幅度序列作为数据集样本,对一维卷积核CNN进行训练,使其具有识别目标杂波信号特征能力,从而实现目标检测。最后,采用IPIX和CSIR实测海杂波数据对两种方法进行验证,结果表明两种方法均可实现一维序列信号中海面目标的检测,但LSTM预测方法对于长序列检测的实时性有待于进一步提高;CNN分类方法可实现实时检测,但仅利用信号幅度信息,检测性能仍需进一步提升。