基于动量分数阶梯度的卷积神经网络优化方法

针对采用传统梯度下降算法训练卷积神经网络收敛速度慢的问题,提出了动量分数阶梯度下降算法.介绍了分数阶微积分的定义,并依据问题描述,通过算法推导,将整数阶梯度下降算法中的动量思想应用到分数阶梯度下降算法中,设计出动量分数阶梯度下降算法.使用测试函数验证算法的收敛性,并分析不同分数阶阶次和动量项系数对算法收敛性的影响.在三...     

基于复合卷积神经网络的图像去噪算法*

基于深度学习理论,将图像去噪过程看成神经网络的拟合过程,构造简洁高效的复合卷积神经网络,提出基于复合卷积神经网络的图像去噪算法.算法第1阶段由2个2层的卷积网络构成,分别训练阶段2中的3层卷积网络中的部分初始卷积核,缩短阶段2中网络的训练时间和增强算法的鲁棒性.最后运用阶段2中的卷积网络对新的噪声图像进行有效去噪.实验表明文中算法在峰值信噪比、结构相识度及均方根误差指数上与当前较好的图像去噪算法相当,尤其当噪声加强时效果更佳且训练时间较短.     

采用分数阶动量的卷积神经网络随机梯度下降法

针对随机梯度下降法可能会收敛到局部最优的问题,文中提出采用分数阶动量的随机梯度下降法,提高卷积神经网络的识别精度和学习收敛速度.结合基于动量的随机梯度下降法和分数阶差分运算,改进参数更新方法,讨论分数阶阶次对网络参数训练效果的影响,给出阶次调整方法.在MNIST、CIFAR-10数据集上的实验表明,文中方法可以提高卷积神经网络的识别精度和学习收敛速度.     

基于卷积计算的多层脉冲神经网络的监督学习

针对脉冲神经元基于精确定时的多脉冲编码信息的特点,提出了一种基于卷积计算的多层脉冲神经网络监督学习的新算法。该算法应用核函数的卷积计算将离散的脉冲序列转换为连续函数,在多层前馈脉冲神经网络结构中,使用梯度下降的方法得到基于核函数卷积表示的学习规则,并用来调整神经元连接的突触权值。在实验部分,首先验证了该算法学习脉冲序列的效果,然后应用该算法对Iris数据集进行分类。结果显示,该算法能够实现脉冲序列复杂时空模式的学习,对非线性模式分类问题具有较高的分类正确率。     

卷积神经网络中基于差分隐私的动量梯度下降算法

针对卷积神经网络（CNN）模型的训练过程中,模型参数记忆数据部分特征导致的隐私泄露问题,提出一种CNN中基于差分隐私的动量梯度下降算法（DPGDM）。首先,在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声,并用加噪后的梯度值参与模型参数的更新过程,从而实现对模型整体的差分隐私保护;其次,为了减少引入差分隐私噪声对模型收敛速度的影响,设计学习率衰减策略,改进动量梯度下降算法;最后,为了降低噪声对模型准确率的影响,在模型优化过程中动态地调整噪声尺度的值,从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明,与DP-SGD (Differentially Private Stochastic Gradient Descent)相比,所提算法可以在隐私预算为0.3和0.5时,模型准确率分别提高约5和4个百分点。可见,所提算法提高了模型的可用性,并实现了对模型的隐私保护。     

基于深度学习的自然环境下花朵识别

基于自然环境下的花朵识别已经成为了现在园艺植物以及计算机视觉方面的交叉研究热点。本文的花朵图像数据集是利用手机直接在自然场景中当场拍摄的，采集了湖南省植物园内26种观赏花朵的2600幅图像，其中还包括同一品种不同类别相似度很高的杜鹃，郁金香等花朵。设计了一种由3个残差块组成的20层深度学习模型Resnet20，模型的优化算法结合了Adam的高效初始化以及Sgd优秀的泛化能力，该优化算法主要是根据每次训练批次以及learning rate来进行转换调整，实验结果表明比单独使用Adam算法正确率高4到5个百分点，比单独使用Sgd算法收敛更快。该模型在Flower26数据集上，通过数据增强识别率可达到 96.29%，表明深度学习是一种很有前途的应用于花朵识别的智能技术。     

基于深度卷积神经网络的图像去噪研究

为更有效地去除图像中的噪声,提出一种深度学习的图像去噪方法。以完整图像作为网络的输入及输出图像,通过隐含层构成由含噪声图像到去噪图像的非线性映射,由卷积子网和反卷积子网构成一种对称式的网络结构,卷积子网学习图像特征,反卷积子网根据特征图恢复原始图像,并结合修正线性单元获取更多的纹理细节。以VOC2012数据集作为训练集,使用Tensorflow在GPU环境下训练网络模型。实验结果表明,与GSM,KSVD,CN2,MLP方法相比,该方法能更有效地去除图像中的噪声,获得更高的峰值信噪比,耗时更短,视觉效果更佳。     

基于卷积神经网络的智能冰箱果蔬图像识别的研究

智能冰箱物体识别主要涉及对水果和蔬菜的识别,冰箱中果蔬数量繁多,光照不均,环境复杂,对此提出了一种用于处理该类识别问题的卷积神经网络。网络采用Re LU作为激活函数,它比传统的Sigmoid函数具有更强的稀疏能力和更大的梯度值,能够极大地加速网络收敛。隐含层中引入随机Dropout,使得某些节点不工作,减少节点间的共同适应,降低网络对某一局部特征的过拟合,可减少网络计算复杂度并有效提升识别率。网络采用带动量项的基于梯度下降的反向传播算法,避免网络陷入局部极小值,提高识别率。最后通过用Supermarket Produce Dataset数据集模拟冰箱果蔬图像进行实验,验证了本文方法的有效性。     

双输入流深度反卷积的插值神经网络

在实际工作中深度学习方法通常不具备大量的训练样本，因此提出了双输入流深度反卷积生成神经网络的构架，依据给定的条件产生新的目标图像，从而扩充训练样本集。该神经网络的整体架构由双输入的卷积网络和一个反卷积网络输出构成，其中双输入卷积网络接收目标物体不同视角的两张图片并提取抽象特征，而反卷积网络则利用抽象特征和设定的参数产生新的插值目标图像。在ShapeNetCore数据集上的实验结果显示，在相同数量的训练样本空间中，与未扩展数据集的卷积网络相比，双输入流深度反卷积生成神经网络的识别率提高了20%左右。结果表明，双输入流深度反卷积生成神经网络无需输入目标物类别，可生成新参数条件下的目标图像，扩充训练样本空间，从而提高识别率，可用于少样本的目标物多角度识别。     

在反卷积网络中引入数值解可视化卷积神经网络

经典的反卷积可视化模型通过反池化、反激活、反卷积将特征图像还原至原图像空间,可视化网络节点从输入图像学习到的特征,有助于探究卷积神经网络运行良好的机制,但是由于采用近似处理,还原特征不明显。本研究引入数值求解方法来代替原模型中直接用卷积核的反转近似反卷积核的方法。先构造数据集:随机生成大小、形状、位置不一的结构简单、角点特征明显的三角形和矩形,用于组成层次结构逐渐复杂的数据集,并利用该数据集测试模型的可视化效果。实验表明,改进后的可视化模型提取的特征更明显,引入的噪音更少,可以更为精确地将激活网络节点从原图像学习的特征可视化。在更大的数据库上进行实验来验证结果,并利用这种结果进一步探究准确率与网络结构之间存在何种关系。     

Deep learning neural network for texture feature extraction in oral cancer: enhanced loss function

Multimedia Tools and Applications - The use of a binary classifier like the sigmoid function and loss functions reduces the accuracy of deep learning algorithms. This research aims to increase the...     

Multimodal emotion recognition based on manifold learning and convolution neural network

Multimedia Tools and Applications - Multimodal emotion recognition task based on physiological signals is becoming a research hotspot. Traditional methods need to design and extract a series of...     

Unsupervised neural network learning procedures for feature extraction and classification

In this article, we review unsupervised neural network learning procedures which can be applied to the task of preprocessing raw data to extract useful features for subsequent classification. The learning algorithms reviewed here are grouped into three sections: information-preserving methods, density estimation methods, and feature extraction methods. Each of these major sections concludes with a discussion of successful applications of the methods to real-world problems.The first author is supported by research grants from the James S. McDonnell Foundation (grant #93–95) and the Natural Sciences and Engineering Research Council of Canada. For part of this work, the second author was supported by a Temporary Lectureship from the Academic Initiative of the University of London, and by a grant (GR/J38987) from the Science and Engineering Research Council (SERC) of the UK.     

基于角微特征的神经网络识别人脸特征

提出一种利用人脸角微特征几何特性的图像预处理,建立BP神经网络识别人脸特征模型的方法。研究了角微特征提取和具体算法,讨论了BP网络结构的设计,输入、输出层设计和隐藏层节点选取问题。微特征提取,可以降低网络输入维度,对于识别不同角度、不同表情的人脸图像提供了可能性。利用ORL人脸图像数据库做实验,结果表明此方法有效。     

基于卷积神经网络的图像隐写分析方法

为了提高卷积神经网络(CNN)在图像隐写分析领域的分类效果,构建了一个新的卷积神经网络模型（steganalysis-convolutional neural networks,S-CNN）进行隐写分析。该模型采用两层卷积层和两层全连接层,减少了卷积层的层数;通过在激活函数前增加批量正规化层对模型进行优化,避免了模型在训练过程中陷入过拟合;取消池化层,减少嵌入信息的损失,从而提高模型的分类效果。实验结果表明,相比传统的图像隐写分析方法,该模型减少了隐写分析步骤,并且具有较高的隐写分析准确率。     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

Algorithm learning based neural network integrating feature selection and classification

Feature selection and classification techniques have been studied independently without considering the interaction between both procedures, which leads to a degraded performance. In this paper, we present a new neural network approach, which is called an algorithm learning based neural network (ALBNN), to improve classification accuracy by integrating feature selection and classification procedures. In general, a knowledge-based artificial neural network operates on prior knowledge from domain experience, which provides it with better starting points for the target function and leads to better classification accuracy. However, prior knowledge is usually difficult to identify. Instead of using unknown background resources, the proposed method utilizes prior knowledge that is mathematically calculated from the properties of other learning algorithms such as PCA, LARS, C4.5, and SVM. We employ the extreme learning machine in this study to help obtain better initial points faster and avoid irrelevant time-consuming work, such as determining architecture and manual tuning. ALBNN correctly approximates a target hypothesis by both considering the interaction between two procedures and minimizing individual procedure errors. The approach produces new relevant features and improves the classification accuracy. Experimental results exhibit improved performance in various classification problems. ALBNN can be applied to various fields requiring high classification accuracy.     

基于多层特征融合可调监督函数卷积神经网络的人脸性别识别

为了进一步提高性别识别的准确率,提出了一种基于多层特征融合与可调监督函数机制的结合的卷积神经网络（L-MFCNN）模型,并将之用于人脸性别识别。与传统卷积神经网络（CNN）不同,L-MFCNN将多个浅层中间卷积层特征输出与最后卷积层特征输出相结合,融合多层卷积层的特征,不仅利用了深层卷积的整体语义信息,还考虑了浅层卷积的细节局部纹理信息,使得性别识别更加准确。此外L-MFCNN还引入具有可调目标监督函数机制的Large-Margin Softmax Loss作为输出层,利用其调节不同的间隔（margin）的机制来有效引导深层卷积网络学习,使得同种性别间的类内间距更小,不同性别间的类间距更大,获得更好的性别识别效果。在多个人脸数据集上的性别识别实验结果表明,L-MFCNN的识别准确率要高于其他传统的卷积网络模型。L-MFCNN模型也为将来的人脸性别识别研究提供了新的思路与方向。     

基于自适应特征卷积网络的行人检测方法

针对行人检测方法未能充分利用卷积网络浅层特征的问题,改进Faster R-CNN框架,提出了一种基于自适应特征卷积网络的行人检测方法。该方法有两处改进：a）设计了SFCM模块,用于提取卷积神经网络浅层细节特征;b）引用挤压与激励操作设计了AFCM模块,用于筛选检测所需的强辨识力行人特征。此外,利用公开的Caltech和INRIA行人数据集,通过在基准框架中逐一添加SFCM和AFCM模块训练行人检测器,验证了所提模块的有效性,并对比了主流行人检测算法。实验结果显示,所提方法的误检率分别降到了9.13%和9.46%,具有更优的检测性能。