基于动量方法的受限玻尔兹曼机的一种有效算法

深度学习给模式识别与机器学习带来了巨大的变化,已成功应用于语言处理、图像处理、信号处理、商业经济等方面.受限玻尔兹曼机（Restricted Boltzmann Machine,RBM）是一个表示能力强、很好的生成模型,多个RBM堆叠而构成的深度信念网络模型（Deep Belief Nets,DBN）的学习时间会较长.为加快整个DBN网络的学习时间和提高分类效果,本文提出基于动量方法RBM的一种有效算法.该算法在RBM预训练阶段,结合梯度上升算法特点采取快速上升的动量方式;以及BP算法微调阶段,为了能精确的找到最优点,结合梯度下降算法特点,相应的引入缓慢下降式的动量项,即在梯度上升和梯度下降过程中都使用不同的动量方式.本文算法在MNIST手写数字体和CMU-PIE人脸数据库上进行了实验,结果表明,提出的改进算法能够有效地增强图像特征的表达能力,提高图像的分类效果和实验效率.     

基于受限玻尔兹曼机的专家乘积系统的一种改进算法

深度学习在高维特征向量的信息提取和分类中具有很强的能力,但深度学习训练时间也比较长,超参数搜索空间大,从而导致超参数寻优较困难。针对此问题,该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法。先将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中的0~9的手写数字体的识别和CMU-PIE数据库的人脸识别实验,提出的算法减少了学习时间,提高了超参数寻优的效率,进而构建的深层网络能获得较好的分类效果。试验结果表明,提出的改进算法在处理高维大量的数据时,计算效率有较大提高,其算法有效。     

SSCDenseNet:一种空-谱卷积稠密网络的高光谱图像分类算法

基于深度学习的高光谱遥感图像地物分类是目前研究的热点.但由于其参数规模大以及结构复杂,深度网络通常需要大量训练样本和较长训练时间,如何在小规模样本下建立深度学习监督分类模型是需要解决的关键问题.本文提出了一种小规模样本下高光谱图像分类的空-谱卷积稠密网络算法,称为SSCDenseNet,其包含三种新颖的架构策略：（1）空-谱分离卷积,即采取光谱维一维卷积和空间维二维卷积的分离卷积结构构成隐层单元,并通过多个隐层单元堆叠构造深度网络;（2）隐层单元中使用批归一化,减少数据协方差漂移及加速网络训练;（3）隐层单元间构建稠密连接,缓解梯度消失问题并实现特征复用.通过Indian Pines、Pavia University与Salinas数据集进行综合测评,表明该方法优于若干最新深度学习方法,特别在小规模样本下具有优异的分类性能.     

前向神经网络的神经元分层逐个线性优化快速学习算法

本文提出了一种新的前向神经网络快速分层学习算法.在此学习算法中,其优化策略为对输出层和隐层神经元的连接权值交替优化.对输出层权值优化算法采用基于广义逆的最小二乘递推算法,对隐层神经元的连接权值采取则对每个神经元逐个进行优化,而且采用正交变换加快每一步学习的计算速度和提高算法的数值稳定性.当学习过程停滞时采用随机扰动的方法摆脱过早收敛.数值实验表明,与BP动量因子法、牛顿型方法和现有的分层优化算法相比,新算法不仅学习速度快学习时间短,而且当网络规模增大时仍然比较有效.     

基于优化深度学习的SAR图像地物分类检测方法研究

针对深度学习在SAR遥感图像地物分类检测中存在的问题,文章通过对基于深度学习的卷积神经网络(Convolutional Neural Network,CNN)进行优化改进,从而提高分类检测准确性。首先提出采用Leaky ReLU函数作为非线性整流函数,克服网络反向传播时梯度消失的问题;然后提出变步长动量梯度下降算法,加速网络收敛、减弱震荡,并避免网络陷入局部极小值。最后综合提出了"Leaky ReLU+变步长+动量梯度下降"的优化方法。通过实验,验证了文章所提出方法的有效性和准确性。     

基于并联卷积神经网络的SAR图像目标识别

基于合成孔径雷达（synthetic aperture radar，SAR）在图像目标识别领域中识别精度低的问题，设计一种利用并联卷积神经网络（convolutional neural network，CNN）来提取SAR图像特征的目标识别方法.首先利用改进的ELU激活函数代替常规的ReLU激活函数，建立与二次代价函数相结合的深度学习模型.其次采用均方根支柱（root mean square Prop，RMSProp）与Nesterov动量结合的优化算法执行代价函数参数迭代更新的任务，利用Nesterov引入动量改变梯度，从两方面改进更新方式，有效地提高网络的收敛速度与精度.通过对美国国防研究规划局（DARPA）和空军研究实验室（AFRL）共同推出的MSTAR数据集进行实验，实验表明，该文提出的算法能充分提取出SAR图像中各类目标所蕴含的信息，具有较好的识别性能，是一种有效的目标识别算法.     

BP网络的改进研究

针对标准BP神经网络收敛速度慢，学习精度不高的缺点，在标准BP神经网络算法中附加动量项，并以附加动量项的BP网络算法为基础，提出动量-自适应速率法，动量-可调激活函数法以及动量-自适应速率-激活函数法四种改进算法。以太阳黑子预测为实例分析四种改进算法在BP神经网络迭代次数减少，精度提高两方面的实际效果。事实证明，动量-可调激活函数算法对BP网络结构优化，提高收敛速度有明显效果。     

基于卷积神经网络的网络隐写分析方法研究

针对现有网络隐写分析算法特征提取难度大、算法适用范围单一的问题,文章提出了一种基于卷积神经网络的网络隐写分析方法。对网络数据流进行预处理,将所有数据包处理成大小相同的矩阵,最大限度地保留数据特征完整性;使用异构卷积进行特征提取,减少模型计算量及参数数量,加快模型收敛速度;取消池化层,提高模型训练效率。与传统网络隐写分析方法相比,模型能够自动提取数据特征,识别多种网络隐写算法。     

一种基于改进BP神经网络的物体识别方法

提出基于自适应学习速率动量梯度下降的BP算法进行物体识别,并以修正的Hu不变矩特征作为BP神经网络的输入,通过训练对网络的权值和阈值进行调整.该算法使BP神经网络在学习速率和稳定性上有了进一步的提高.仿真结果表明该方法对物体的平移、旋转、缩放都具有不变性,从而验证了该方法的有效性.     

基于贝叶斯深度学习的一维雷达有源干扰信号识别方法

雷达干扰信号准确识别是雷达抗干扰的前提,对于雷达生存至关重要。针对传统雷达干扰信号识别方法需要繁琐的分析计算提取特征,通用性差,泛化能力弱,难以适应复杂的雷达工作环境问题。本文考虑无需人工提取特征信息且具有较好的分类识别效果的深度学习网络。考虑到传统的深度学习网络由于使用点估计方式,不能够很好的衡量预测结果中的不确定性,本文提出了一种基于贝叶斯深度学习的干扰识别方法。首先,通过概率建模代替网络参数模型的点估计,解决了不确定性随机数据引起的网络过拟合问题。其次,考虑有效利用雷达回波信号的时序特性设计了LSTM层,同时解决训练过程中的梯度消失问题。基于线性调频雷达有源干扰实测数据完成了网络训练与测试,实验结果表明,引入贝叶斯方法可以在加快网络收敛速度的同时有效提高识别准确率。     

基于迁移集成学习的无人机图像识别算法

针对当前小型无人机目标图像识别方法准确率较低的问题,提出了一种基于迁移集成学习的无人机图像识别算法。首先,基于AlexNet、VGGNet-19、Inception-V3以及ResNet-50四种结构具有差异的卷积神经网络对源数据集进行预训练,获取图像的深层次特征;然后,对目标数据集进行迁移学习,得到目标的分类特征,构建分类模型;之后,采用相对多数投票法和加权平均法的集成学习方法,对分类模型进行集成得到迁移集成模型。构建了一个包含小型无人机图像、飞鸟图像以及直升机图像的图像数据集UavNet,在对数据集进行数据增强的基础上开展了图像识别算法性能实验,结果表明,算法对多类目标的识别准确率为99.42%,无人机类目标识别的F1-score指标为99.12%,优于主流的卷积神经网络方法和传统的支持向量机方法,具有一定的理论意义和应用价值。     

基于改进BP神经网络的数字识别

针对BP(Back Propagation)神经网络易陷入局部极小、收敛速度慢的缺点,提出了一种新的BP神经网络改进算法.与标准BP算法比较,该系统通过结合附加动量法和自适应学习速率形成新的BP改进算法.附加动量法虽然可以使BP算法避免陷入局部极小,但是对初始值的选取比较敏感,而且选取合适的学习速率比较困难.而自适应学...     

基于深度强化学习的维吾尔语人称代词指代消解

针对深度神经网络模型仅学习当前指代链语义信息忽略了单个指代链识别结果的长期影响问题,提出一种结合深度强化学习（deep reinforcement learning）的维吾尔语人称代词指代消解方法.该方法将指代消解任务定义为强化学习环境下顺序决策过程,有效利用之前状态中先行语信息判定当前指代链指代关系.同时,采用基于整体奖励信号优化策略,相比于使用损失函数启发式优化特定的单个决策,该方法直接优化整体评估指标更加高效.最后在维吾尔语数据集进行实验,实验结果显示,该方法在维吾尔语人称代词指代消解任务中的F值为85.80%.实验结果表明,深度强化学习模型能显著提升维吾尔语人称代词指代消解性能.     

基于深度学习的人体骨架动作识别

基于人体骨架的动作识别具有鲁棒性和视点不变性的优点,为进一步提高骨架动作识别的识别率,打破以往大部分基于深度学习的方法的输入内容为人体关节坐标的局限性,文中提出一种将几何特征与LSTM网络结合的人体骨架动作识别算法。该算法选择基于关节与选定直线之间距离的几何特征作为网络的输入,引入了一种时间选择LSTM网络进行训练。利用时间选择LSTM网络拥有选出最具识别性时间段特征的能力,在SBU Interaction数据集和UT Kinect数据集上分别取得了99.36%和99.20%的识别率。实验结果证明了该方法对人体骨架动作识别的有效性。     

Function Approximation Based on a Network with Kernel Functions of Bounds and Locality: an Approach of Non-Parametric Estimation

This paper presents function approximation based on nonparametric estimation. As an estimation model of function approximation, a three layered network composed of input, hidden and output layers is considered. The input and output layers have linear activation units while the hidden layer has nonlinear activation units or kernel functions which have the characteristics of bounds and locality. Using this type of network, a many-to-one function is synthesized over the domain of the input space by a number of kernel functions. In this network, we have to estimate the necessary number of kernel functions as well as the parameters associated with kernel functions. For this purpose, a new method of parameter estimation in which linear learning rule is applied between hidden and output layers while nonlinear (piecewise-linear) learning rule is applied between input and hidden layers, is considered. The linear learning rule updates the output weights between hidden and output layers based on the Linear Minimization of Mean Square Error (LMMSE) sense in the space of kernel functions while the nonlinear learning rule updates the parameters of kernel functions based on the gradient of the actual output of network with respect to the parameters (especially, the shape) of kernel functions. This approach of parameter adaptation provides near optimal values of the parameters associated with kernel functions in the sense of minimizing mean square error. As a result, the suggested nonparametric estimation provides an efficient way of function approximation from the view point of the number of kernel functions as well as learning speed.     

Gesture recognition for human–machine interaction in table tennis video based on deep semantic understanding

The analysis of moving objects in videos, especially the recognition of human motions and gestures, is attracting increasing emphasis in computer vision area. However, most existing video analysis methods do not take into account the effect of video semantic information. The topological information of the video image plays an important role in describing the association relationship of the image content, which will help to improve the discriminability of the video feature expression. Based on the above considerations, we propose a video semantic feature learning method that integrates image topological sparse coding with dynamic time warping algorithm to improve the gesture recognition in videos. This method divides video feature learning into two phases: semi-supervised video image feature learning and supervised optimization of video sequence features. Next, a distance weighting based dynamic time warping algorithm and K-nearest neighbor algorithm is leveraged to recognize gestures. We conduct comparative experiments on table tennis video dataset. The experimental results show that the proposed method is more discriminative to the expression of video features and can effectively improve the recognition rate of gestures in sports video.