一种基于修正动量的RBM算法

受限玻尔兹曼机（Restricted Boltzmann Machine,RBM）是一种随机网络、概率图模型,它是一种比较有效的的无监督学习模型.针对RBM梯度近似的一种计算方法对动量加速不敏感,以及识别效果不理想等问题,本文提出一种基于修正动量的RBM算法.该算法结合RBM梯度近似方法,通过修改隐单元偏置参数的更新方式,避免RBM模型中隐单元取值采用概率值时导致模型识别效果不理想、动量加速有限等问题.同时,在RBM预训练阶段采用快速上升的动量方式,以加速网络收敛;在微调阶段引入缓慢下降的动量项,以避免陷入局部最优点并提高识别效果.本文算法通过在MNIST手写数字体,Extended Yale B和CMU-PIE人脸数据库上的数值实验结果表明,提出的算法能够有效地提高计算效率和提高网络泛化能力.该算法不仅对RBM的应用领域扩展具有十分积极的实际意义,且为深度学习的应用方法提供一种新的研究思路和借鉴.     

基于受限玻尔兹曼机的专家乘积系统的一种改进算法

深度学习在高维特征向量的信息提取和分类中具有很强的能力,但深度学习训练时间也比较长,超参数搜索空间大,从而导致超参数寻优较困难。针对此问题,该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法。先将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中的0~9的手写数字体的识别和CMU-PIE数据库的人脸识别实验,提出的算法减少了学习时间,提高了超参数寻优的效率,进而构建的深层网络能获得较好的分类效果。试验结果表明,提出的改进算法在处理高维大量的数据时,计算效率有较大提高,其算法有效。     

基于优化深度学习的SAR图像地物分类检测方法研究

针对深度学习在SAR遥感图像地物分类检测中存在的问题,文章通过对基于深度学习的卷积神经网络(Convolutional Neural Network,CNN)进行优化改进,从而提高分类检测准确性。首先提出采用Leaky ReLU函数作为非线性整流函数,克服网络反向传播时梯度消失的问题;然后提出变步长动量梯度下降算法,加速网络收敛、减弱震荡,并避免网络陷入局部极小值。最后综合提出了"Leaky ReLU+变步长+动量梯度下降"的优化方法。通过实验,验证了文章所提出方法的有效性和准确性。     

基于改进的扩散平滑和RBM的高光谱图像分类

为了改善传统分类方法在高光谱遥感图像去噪和特征提取方面的不足,提出了一种基于改进的扩散平滑算法和RBM的方法.该方法使用自适应扩散系数,对相应的区域进行不同程度的扩散平滑,实现了对高光谱遥感图像的快速去噪;然后利用多层限制玻尔兹曼机构建DBN网络,实现对高光谱遥感图像的分类.实验表明,与传统的分类方法和DBN相比,该方法在高光谱图像地物分类精度上有所改善.     

基于多尺度主线方向特征的DBN分类方法

针对深度信念网络（DBN）结构自身未考虑到二维图像空间结构信息、分类准确识别率不高等问题,提出了一种基于多尺度主线方向特征的DBN网络图像分类新方法（MSMD-DBN方法）。该方法首先提取多尺度的线方向特征图和能量图,再通过二值化、细化能量图得到主线方向特征图,然后在可视层输入端加入多尺度主线方向信息特征图,并利用深度信念网络进行图像分类识别。旨在通过增加输入信息的维度,来达到提升图像分类性能的目的。在CIFAR-10和MNIST两个数据库上对不同样本的图像进行分类实验,结果表明,与采用传统DBN网络和DBN的改进算法相比,本文算法的分类性能取得了显著的提高。     

基于深度信念网络的烟叶部位近红外光谱分类方法研究

近红外检测作为一种快速无损的检测方法得到广泛关注。但光谱中存在大量噪声以及光谱数据的高维度和非线性等特点影响了分类模型的准确率。将深信网络（DBN）的理论改进并引入光谱特征学习中,解决高维特征间非线性关系的学习问题,采用逐层训练策略和随机梯度上升法分别进行网络预训练和微调获得网络权值;并结合支持向量机（SVM）建立近红外光谱多分类模型DBN-SVM。与基于主成分分析的分类模型PCA-SVM和基于线性判别分析的LDA-SVM分类模型进行应用比较。结果表明:DBN-SVM算法能有效地学习高维数据中的内在结构和非线性关系,由该算法构建的模型具有良好的特征学习能力和分类识别能力,而且在稳健性、各类别的灵敏度和特效度也更优。     

深度学习及其在医学图像分析中的应用研究

深度学习被引入机器学习领域与大数据的完美结合加快了人工智能实现的涉伐,近年来备受学术界和工业界的广泛关注.从深度学习的3种经典模型出发,主要做了5方面的工作:第一,针对深度信念网络,从网络结构(隐含层数、RBM结构、DBN级联),学习算法(基本算法、优化算法与其他方法结合),硬件系统(GPU,FPGA)三个方面进行总结;第二,针对卷积神经网络,从网络结构(输入层、隐含层、CNN个数),学习算法,硬件系统三个方面进行归纳;第三,针对堆栈自编码器,以时间为轴对其发展进行梳理,阐述相应自编码器的方法改进;第四,从医学图像分割、医学图像识别和计算机辅助诊断3个方面详细探讨深度学习在医学图像分析领域中的应用;最后从大数据浪潮、模型构建、特征学习、应用拓展4个方面对深度学习的发展进行展望.     

基于并联卷积神经网络的SAR图像目标识别

基于合成孔径雷达（synthetic aperture radar，SAR）在图像目标识别领域中识别精度低的问题，设计一种利用并联卷积神经网络（convolutional neural network，CNN）来提取SAR图像特征的目标识别方法.首先利用改进的ELU激活函数代替常规的ReLU激活函数，建立与二次代价函数相结合的深度学习模型.其次采用均方根支柱（root mean square Prop，RMSProp）与Nesterov动量结合的优化算法执行代价函数参数迭代更新的任务，利用Nesterov引入动量改变梯度，从两方面改进更新方式，有效地提高网络的收敛速度与精度.通过对美国国防研究规划局（DARPA）和空军研究实验室（AFRL）共同推出的MSTAR数据集进行实验，实验表明，该文提出的算法能充分提取出SAR图像中各类目标所蕴含的信息，具有较好的识别性能，是一种有效的目标识别算法.     

基于深度信念网络的铁路信号设备故障识别

针对现有铁路信号设备故障识别算法特征提取不准确导致正确率偏低的问题,提出了深度信念网络(DBN)的故障识别模型。该模型首先利用无监督训练方法对DBN的多个堆叠受限玻尔兹曼机(RBM)进行预训练,获得网络初始参数;然后,结合铁路信号设备识别问题,构建BP神经网络,利用有标签样本进行反向传播训练,实现网络参数微调。实验结果表明,该模型避免特征提取的人工操作,能够有效实现铁路信号设备故障的准确智能识别。     

深度信念网络在童装样板设计中的应用研究

为了追求童装的时尚化、个性化、品牌化、定制化,满足儿童随着年龄增长对童装的需求,提出采用深度信念网络(DBN)的方法,将儿童相应的各部位尺寸作为输入参数,童装细部规格尺寸作为输出参数,采用CD算法和多层无监督的受限玻尔兹曼机(RBM)训练,引入交叉熵代价函数避免Sigmoid函数曲线变化率接近0时对学习速率的影响,利用改进型BP神经网络的反向传播算法进行整个网络的微调,逐渐逼近童装实际尺寸,建立童装纸样设计的深度信念网络模型。实验结果表明:运用深度信念网络(DBN)进行童装样板设计,有较高的准确度和较高的应用价值。     

基于深度分层特征表示的行人识别方法

该文针对行人识别中的特征表示问题,提出一种混合结构的分层特征表示方法,这种混合结构结合了具有表示能力的词袋结构和学习适应性的深度分层结构。首先利用基于梯度的HOG局部描述符提取局部特征,再通过一个由空间聚集受限玻尔兹曼机组成的深度分层编码方法进行编码。对于每个编码层,利用稀疏性和选择性正则化进行无监督受限玻尔兹曼机学习,再应用监督微调来增强分类任务中视觉特征表示,采用最大池化和空间金字塔方法得到高层图像特征表示。最后采用线性支持向量机进行行人识别,提取深度分层特征遮挡等与目标无关部分自然分离,有效提高了后续识别的准确性。实验结果证明了所提出方法具有较高的识别率。     

基于迁移集成学习的无人机图像识别算法

针对当前小型无人机目标图像识别方法准确率较低的问题,提出了一种基于迁移集成学习的无人机图像识别算法。首先,基于AlexNet、VGGNet-19、Inception-V3以及ResNet-50四种结构具有差异的卷积神经网络对源数据集进行预训练,获取图像的深层次特征;然后,对目标数据集进行迁移学习,得到目标的分类特征,构建分类模型;之后,采用相对多数投票法和加权平均法的集成学习方法,对分类模型进行集成得到迁移集成模型。构建了一个包含小型无人机图像、飞鸟图像以及直升机图像的图像数据集UavNet,在对数据集进行数据增强的基础上开展了图像识别算法性能实验,结果表明,算法对多类目标的识别准确率为99.42%,无人机类目标识别的F1-score指标为99.12%,优于主流的卷积神经网络方法和传统的支持向量机方法,具有一定的理论意义和应用价值。     

Light field imaging based on a parallel SVM method for recognizing 2D fake pedestrians

It is novel to apply three-dimensional(3D) light field imaging technology to recognize two-dimensional(2D) fake pedestrians. In this paper, we propose a parallel support vector machine(SVM) method based on 3D light field imaging(light field camera) and machine learning techniques. A light field(LF) camera with robust sensors, which is able to record rich 3D information, is used as hardware equipment. Histogram of oriented gradient(HOG) feature extraction algorithm and SVM classification method a...     

雾霾天气下的车牌识别

在雾霾天气下,图像采集设备拍摄的图片存在一系列问题,如饱和度低、细节失真、画质模糊等。文中探索了雾霾天气下的车牌识别算法,按照图像去雾、车牌定位、字符分割与识别等步骤来解决雾霾天气下传统车牌识别系统效率低、鲁棒性差等问题。该算法采用暗通道去雾,经去雾算法处理后,图像对比度、信息梯度和信息熵均得到提升;选择数学形态和边缘检测定位车牌的准确位置;利用仿射变换矫正车牌区域,结合投影法分割字符,最后使用基于支持向量机模式的识别算法来识别字符。经过处理后,车牌识别能达到较高的准确率。     

基于卷积神经网络的Android流量分类方法

深度学习就是机器学习研究的过程,主要通过模拟人脑分析学习的过程对数据进行分析。目前,深度学习技术已经在计算机视觉、语音识别、自然语言处理等领域获得了较大发展,并且随着该技术的不断发展,为网络流量分类和异常检测带来了新的发展方向。移动智能手机与大家的生活息息相关,但是其存在的安全问题也日益凸显。针对传统机器学习算法对于流量分类需要人工提取特征、计算量大的问题,提出了基于卷积神经网络模型的应用程序流量分类算法。首先,将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。其次,设计了一种新的卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手,构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中的特征选择问题。最后,通过CICAndmal2017网络公开数据集进行模型测试,相比于传统的机器学习流量分类模型,设计的卷积神经网络模型的查准率和查全率分别提高了2.93%和11.87%,同时在类精度、召回率以及F1分数方面都有较好的提升。     

基于改进BP神经网络的模拟电路故障诊断

针对BP神经网络存在的固有缺陷:收敛速度慢,容易陷入局部极小,文中对所建BP网络的学习算法进行了改进,采用附加动量项和自适应调整学习率的BP算法对网络进行训练,替代标准BP算法中的梯度下降法寻找最优网络连接权值.仿真实验证明,这种学习算法提高了BP网络的学习效率及稳定性,大大提高了网络的收敛速度,更好地实现了对模拟电路...