基于深度学习的鱼类分类算法研究

回顾近年来国内外对鱼类分类的研究进展,指出传统方法存在的缺陷。深度学习是目前图像分类的主流方法。研究基于卷积神经网络CNN(Convolutional Neural Network)的鱼类分类模型,并以该模型为基础,进一步提出利用迁移学习,以预训练网络的特征结合SVM算法(Pre CNN+SVM)的混合分类模型。实验以Fish4-Knowledge(F4 K)作为数据集,使用Tensor Flow训练网络模型。实验结果表明,利用Pre CNN+SVM算法,取得了98.6%的准确率,较传统方法有显著提高。对于小规模数据集,有效解决了需要人工提取特征的不可迁移性。     

轴承智能故障诊断

轴承振动信号作为一种时间序列数据,其时间维度特征在分类中起着关键作用,单独使用卷积神经网络（CNN）进行轴承故障诊断会造成时间维度信息的丢失,导致诊断精度下降。针对上述问题,提出了一种结合一维CNN、双向门控循环单元（Bi GRU）和注意力机制的轴承故障诊断模型。首先利用CNN自适应提取一维振动信号局部空间特征;然后将该特征信息作为Bi GRU的输入,利用Bi GRU将提取的特征信息进行时间维度的融合,并引入注意力机制对多个时刻的特征信息进行加权,提取出更关键的故障特征;最后将故障特征输入全连接层得到分类结果,实现轴承智能故障诊断。实验结果表明：(1)在测试集混淆矩阵上,轴承运行状态基本分类正确,只有部分标记类型没有被完全分类正确,但是召回率达到了95%以上,总的故障识别准确率为99.3%。(2)利用t-SNE技术对降维处理后的数据进行可视化,轴承各运行状态的数据很好地聚集在各自的空间内,只有少量数据被混杂到其他区域,说明该模型具有较强的特征提取能力。(3)在恒定负载情况下,该模型故障诊断准确率较一维CNN、Bi GRU和注意力CNN等模型的平均准确率分别提高了0.8%、0.6%和0....     

基于多尺度卷积核CNN的脑电情绪识别

针对传统的人工特征选取需要耗费大量时间和精力的问题,本文在传统卷积神经网络(convolutional neural networks,CNN)模型的基础上,提出了一种基于多尺度卷积核CNN的特征提取与分类方法,并在脑电情绪识别分类上进行了验证.本文首先进行了通道选择方面的研究,其次使用多尺度卷积核CNN模型对提取了微分熵(differential entropy feature,DE)特征的脑电数据进行情绪三分类实验,相比于传统的CNN模型,多尺度卷积核CNN模型在卷积层中采用多个尺度的卷积核,同时从高维度与低维度对脑电信号进行二次特征提取.实验结果表明,预处理数据在33通道的情绪分类平均准确率为89.72％,几乎接近全通道的平均准确率;多尺度卷积核CNN在微分熵特征上的情绪三分类取得了98.19％的平均分类准确率,实验结果证明了该模型的有效性和鲁棒性.     

多卷积特征融合的HOG行人检测算法

行人检测是计算机视觉领域中的经典问题,HOG结合SVM的方法是解决这一问题的有效途径,HOG对行人特征的有效描述起到了重要作用。卷积神经网络(CNN)作为一种有效的特征提取方法,通过特征图可以实现对特征更好的描述。提出将卷积神经网络(CNN)与传统的HOG+SVM算法相结合的方法。首先利用CNN在下采样层中可以使用不同的卷积核对数据进行不同角度特征描述的特点,对样本进行多角度浅层特征提取;然后用HOG对得到的浅层特征进行进一步的提取;最后采用支持向量机(SVM)完成训练、分类。实验表明,该方法对于行人检测具有很高的识别率,优于传统方法。     

基于1D-CNN+GRU的光伏阵列故障诊断方法研究

传统神经网络模型无法有效提取信号时序特征。为充分利用光伏阵列信号的时序相关性特征、增强神经网络模型对数据的挖掘能力、更好地提升卷积神经网络(CNN)分类精度,把CNN和门控循环单元(GRU)相结合,提出了新的光伏阵列故障诊断方法。首先,利用CNN对数据进行标签处理。然后,将提取的标签作为GRU的输入,进一步提取时空特征。为加强该方法分类优势,添加了自适应批量归一化(AdaBN)函数。试验结果表明,该方法较传统神经网络分类方法更具优越性,提高了光伏阵列故障分类的准确率。最后,通过增加噪声模拟现场环境,验证了结果的正确性。     

基于EEG和DE-CNN-GRU的情绪识别

近年,情绪识别研究已经不再局限于面部和语音识别,基于脑电等生理信号的情绪识别日趋火热.但由于特征信息提取不完整或者分类模型不适应等问题,使得情绪识别分类效果不佳.基于此,本文提出一种微分熵(DE)、卷积神经网络(CNN)和门控循环单元(GRU)结合的混合模型(DE-CNN-GRU)进行基于脑电的情绪识别研究.将预处理后的脑电信号分成5个频带,分别提取它们的DE特征作为初步特征,输入到CNN-GRU模型中进行深度特征提取,并结合Softmax进行分类.在SEED数据集上进行验证,该混合模型得到的平均准确率比单独使用CNN或GRU算法的平均准确率分别高出5.57%与13.82%.     

改进的卷积神经网络在行人检测中的应用

针对当前行人检测方法计算量大,行人特征提取复杂,检测结果易受复杂背景影响等问题,提出一种改进的卷积神经网络(convolutional neural network,CNN)模型。该模型在传统CNN基础上加入选择性注意层,模拟人眼的选择性注意功能,过滤复杂背景,突出行人特征。分别采用LBP(local binary pattern)纹理处理和梯度处理对选择性注意层进行训练,对比训练结果得到最优模型。分别在INRIA、NICTA和Daimler行人数据集上进行实验,结果表明,该模型在行人检测中准确率明显优于传统CNN、HOG+SVM、Haar+SVM、PCA+SVM,在INRIA、NICTA和Daimler行人数据集上的准确率分别达到了96.14%、96.64%和99.78%。     

基于改进Inception卷积神经网络的手写体数字识别

手写体数字识别风格变化大,而传统手写体数字识别的准确率又严重依赖于人工特征设计,一旦提取的特征不理想,识别效果就会收到非常大的影响。针对手写体识别正确率无法满足高精度的问题,设计一种高精度的手写体数字分类网络。首先使用连续非对称卷积提取图像的初步特征同时减少计算所需参数,其次使用深度可分离卷积改进Inception结构,并结合残差网络以防止梯度弥散,最后进行softmax分类。通过MNIST数据集实验,得到99.45%的识别率。为进一步提高网络识别率,在分类层使用支持向量机(SVM)代替传统卷积神经网络(CNN)的全连接层与softmax层,经交叉验证得到99.78%的识别率。结果表明,改进Inception结构能够获得更大的网络宽度,同时SVM对于CNN提取的特征的分类能力也有较好效果。     

基于MobileNet的恶意软件家族分类模型

现有基于卷积神经网络(CNN)的恶意代码分类方法存在计算资源消耗较大的问题.为降低分类过程中的计算量和参数量,构建基于恶意代码可视化和轻量级CNN模型的恶意软件家族分类模型.将恶意软件可视化为灰度图,以灰度图的相似度表示同一家族的恶意软件在代码结构上的相似性,利用灰度图训练带有深度可分离卷积的神经网络模型MobileNet v2,自动提取纹理特征,并采用Softmax分类器对恶意代码进行家族分类.实验结果表明,该模型对恶意代码分类的平均准确率为99.32%,较经典的恶意代码可视化模型高出2.14个百分点.     

融合CNN与BiLSTM的网络入侵检测方法

针对网络入侵检测准确率偏低而误报率偏高的问题,提出一种融合卷积神经网络(CNN)与双向长短期记忆(BiLSTM)网络的网络入侵检测方法。对KDDcup99数据集进行预处理,并分别使用CNN模型、BiLSTM模型提取局部特征和长距离依赖特征,通过注意力机制计算特征的重要性,利用softmax分类器获得最终的分类结果。实验结果表明,与基于CNN和基于LSTM的方法相比,该方法的网络入侵检测效果较好,其准确率可提高至95.0%,误检率可降低至5.1%。     

基于CNN的恶意软件分类方法

传统的基于机器学习的恶意软件分类方法需要从恶意软件文件中提取许多特征,这给分类带来了很高的复杂性.针对这一问题,提出了一种基于卷积神经网络(CNN)的恶意软件分类方法.现有的恶意软件样本由大量字节组成,该方法首先计算恶意样本大小并对样本中字节数进行统计.然后将恶意样本大小特征和字节统计特征融合并归一化.最后对基于CNN构建的模型训练并对测试样本进行分类.实验结果表明,对比基线实验中最优的XGBoost算法,该方法不仅训练耗时短而且准确率更高.     

基于改进卷积神经网络与支持向量机结合的面部表情识别算法

针对当前卷积神经网络（CNN）利用端层特征进行面部表情识别存在模型结构繁琐、训练参数过多、识别不够理想的问题,提出一种基于改进CNN与支持向量机（SVM）相结合的优化算法。首先,利用连续卷积的思想设计网络模型,以获取更多非线性激活;然后,采用自适应全局平均池化（GAP）层取代传统CNN中的全连接层,以减少网络参数量;最后,用SVM分类器代替传统Softmax函数实现表情识别,以提高模型泛化能力。实验结果表明,所提算法在Fer2013和CK+数据集上分别取得了73.4%和98.06%的识别准确率,与传统LeNet-5算法相比,在Fer2013数据集上提升了2.2个百分点,且该网络模型结构简单、参数量较少,具有良好的鲁棒性。     

基于CNN与双向LSTM的行为识别算法

针对传统行为识别依赖手工提取特征,智能化程度不高,识别精度低的问题,提出一种基于3D骨骼数据的卷积神经网络(CNN)与双向长短期记忆网络(Bi-LSTM)的混合模型。使用3D骨骼数据作为网络输入,CNN提取每个时间步的3D输入数据间的空间特征,Bi-LSTM更深层地提取3D数据序列的时间特征。该混合模型自动提取特征完成分类,实现骨骼数据到识别结果的端对端学习。在UTKinect-Action3D标准数据集上,模型的识别率达到97.5%,在自制Kinect数据集上的准确率达到98.6%,实验结果表明,该网络有效提高了分类准确率,具备可用性和有效性。     

基于空时特征融合和注意力机制的网络入侵检测模型

针对网络入侵检测性能不高的问题,提出一种基于空时特征融合和注意力机制的深度学习入侵检测模型CTA-net。该模型通过集成卷积神经网络(CNN)和长短时记忆网络(LSTM)获取空时融合特征,然后使用注意力模块(Attention)对输入的空时融合特征进行重要性加权计算,最后通过softmax函数进行分类。使用NSL-KDD数据集的实验结果表明,相比具有相似结构的CNN模型和空时融合的CNN-LSTM模型,在训练集的收敛性具有显著的提升,在测试集上使用的分类评价指标准确率分别提升10.9120个百分点和11.8740个百分点,精确率分别提升9.1950个百分点和9.6130个百分点,召回率分别提升9.1780个百分点和9.9340个百分点,F1-SCORE分别提升10.7830个百分点和11.7500个百分点。仿真结果表明,所提出的CTA-net模型在网络入侵检测方面具有较好的应用潜力。     

基于CNN和SVM的报文入侵检测方法

为了进一步提高网络异常检测的准确率, 本文在对现有入侵检测模型分析的基础上, 提出了一种基于卷积神经网络和支持向量机的网络报文入侵检测方法. 该方法首先将数据预处理成二维矩阵, 为了防止算法模型过拟合, 利用permutation函数将数据随机打乱, 然后利用卷积神经网络CNN从预处理后的数据中学习有效特征, 最后通过支持向量机SVM分类器将得到的向量进行分类处理. 在数据集选择上, 采用网络入侵检测常用的权威数据集—京都大学蜜罐系统数据集, 通过与GRU-Softmax、GRU-SVM等现有检测率较高的模型进行实验对比, 该模型在准确率上最高分别提高了19.39% 和12.83%, 进一步提升了网络异常检测的准确度. 同时, 本研究所提出方法在训练速度和测试速度上有较大提高.     

一种改进的GRU-InFCN人体行为识别模型

为了克服传统机器学习方法在采用传感器数据进行人体行为识别领域上识别效果对人工特征选取依赖严重、识别准确率不高等问题,提出一种改进的全卷积神经网络和多层循环神经网络并联的深度学习模型(GRU-InFCN),并对传感器数据特征进行自动提取,实现人体动作的识别。该模型通过多尺度卷积神经网络和双层GRU网络(Gated Recurrent Unit,GRU)分别对传感器数据进行特征提取,将特征矩阵在矩阵维度上进行特征拼接再通过Softmax完成特征分类。实验结果表明,在开源人体行为识别(HAR)数据集上采用该方法进行人体行为识别,准确率达到了97.76%。该模型在取得高准确率的同时,避免了复杂的信号预处理和特征工程。     

融合GRU和CNN的轻量级网络入侵检测模型

当前网络流量数据呈现出高维、多态、海量的特点, 这对入侵检测是一个新挑战. 针对传统入侵检测模型中检测效率低、缺乏轻量化考虑等局限性, 提出了一种融合GRU和CNN的轻量级网络入侵检测模型. 首先使用极度随机树删除数据集中的冗余特征; 其次使用GRU进行特征提取. 考虑到数据中的长短期依赖关系, 将所有隐藏层输出作为序列特征信息进行下一步处理; 再通过带有逆残差、深度可分离卷积、空洞卷积等结构的轻量化CNN模型进行空间特征提取; 为了加速模型收敛加入了通道注意力机制. 最后在CIC-IDS2017数据集上的实验表明, 该方法具有优秀的检测性能, 同时也具有模型参数量少、模型体积小、训练时间短、检测时间短等优点, 适用于网络流量的入侵检测工作.     

基于CNN-BIGRU的中文文本情感分类模型

在当今商业领域,对网络评论的情感分类一直是一个比较热门的研究方向,而为了克服传统机器学习方法所构建分类器会产生较大计算开销,精度表现较差的缺点,提出一种基于深度学习模型中卷积神经网络(CNN)与循环神经网络(RNN)模型的情感分类方法。在以往的研究中,卷积神经网络往往被用来提取文本的局部特征信息,但却容易忽视文本的长距离特征,而RNN则往往被用来提取句子的长距离依赖信息,但容易陷入梯度爆炸问题。因此,结合卷积神经网络对于局部特征信息的良好提取能力与循环神经网络对于长距离依赖信息的记忆能力,构建了一个CNN-BIGRU混合模型,用以提取文本的局部特征以及文本的长距离特征。其中循环神经网络模型使用了双向GRU模型,以避免RNN模型的梯度爆炸与梯度消失问题。在谭松波的酒店评论数据集上的实验结果表明,利用该模型,实验分类的准确率比单独使用卷积神经网络模型最高提升了26.3%,比单独使用循环神经网络模型最高提升了7.9%,从而提高了对中文文本情感分类的精度,并减少了计算开销。     

CNN-ELM混合短文本分类模型

针对目前自然语言处理研究中,使用卷积神经网络（CNN）进行短文本分类任务时可以结合不同神经网络结构与分类算法以提高分类性能的问题,提出了一种结合卷积神经网络与极速学习机的CNN-ELM混合短文本分类模型。使用词向量训练构成文本矩阵作为输入数据,然后使用卷积神经网络提取特征并使用Highway网络进行特征优化,最后使用误差最小化极速学习机(EM-ELM)作为分类器完成短文本分类任务。与其他模型相比,该混合模型能够提取更具代表性的特征并能快速准确地输出分类结果。在多种英文数据集上的实验结果表明提出的CNN-ELM混合短文本分类模型比传统机器学习模型与深度学习模型更适合完成短文本分类任务。     

基于跨连卷积神经网络的性别分类模型

为提高性别分类准确率, 在传统卷积神经网络(Convolutional neural network, CNN)的基础上, 提出一个跨连卷积神经网络(Cross-connected CNN, CCNN)模型. 该模型是一个9层的网络结构, 包含输入层、6个由卷积层和池化层交错构成的隐含层、全连接层和输出层, 其中允许第2个池化层跨过两个层直接与全连接层相连接. 在10个人脸数据集上的性别分类实验结果表明, 跨连卷积网络的准确率均不低于传统卷积网络.