焊缝缺陷图像分类识别的深度置信网络研究

由于工业生产中所获取的焊缝缺陷图像背景较为复杂,对其分类识别效率较低,因此提出了一个由三层受限玻尔兹曼机叠加组成的深度置信网络模型.该网络模型在对焊缝原始图像进行更为全面的信息抽取前提下,能够借助深度置信网络自下而上对输入信息进行学习与训练的特点,逐渐减少对焊缝缺陷信息的误判;借助网络最后一层后向传播算法的作用,可以在确保更高正确率的同时缩短收敛时间,有效提升识别效率;通过与传统的支持向量机和人工神经网络进行对比实验,结果表明深度置信网络能更为有效地避免过拟合的发生,对于焊缝缺陷的特征识别具有更为理想的精度.     

拉普拉斯阶梯网络

阶梯网络不仅是一种基于深度学习的特征提取器，而且能够应用于半监督学习中.深度学习在实现了复杂函数逼近的同时，也缓解了多层神经网络易陷入局部最小化的问题.传统的自编码、玻尔兹曼机等方法易忽略高维数据的低维流形结构信息，使用这些方法往往会获得无意义的特征表示，这些特征不能有效地嵌入到后续的预测或识别任务中.从流形学习的角度出发，提出一种基于阶梯网络的深度表示学习方法，即拉普拉斯阶梯网络LLN （Laplacian ladder network）.拉普拉斯阶梯网络在训练的过程中不仅对每一编码层嵌入噪声并进行重构，而且在各重构层引入图拉普拉斯约束，将流形结构嵌入到多层特征学习中，以提高特征提取的鲁棒性和判别性.在有限的有标签数据情况下，拉普拉斯阶梯网络将监督学习损失和非监督损失融合到了统一的框架进行半监督学习.在标准手写数据数据集MNIST和物体识别数据集CIFAR-10上进行了实验，结果表明，相对于阶梯网络和其他半监督方法，拉普拉斯阶梯网络都得到了更好的分类效果，是一种有效的半监督学习算法.     

弱监督分层深度学习的车辆识别算法

针对已有分类器在结构形式和训练方法的不足,构建了一个以二维深度置信网络（2D deep belief networks,2D DBN）为架构的弱监督分层深度学习车辆识别算法。首先,将传统一维的深度置信网络(Deep belief networks,DBN)扩展成2D-DBN,并构建相应分类器结构,从而能够直接以二维图像像素矩阵作为输入; 其次,在传统无监督训练的目标函数中,引入了一个具有适当权重的判别度正则化项,将原有无监督训练转化为带有较弱监督性的弱监督训练方式,从而使提取的特征较传统无监督特征更具判别性。多组对比实验表明,本文所提算法在识别率等指标上要优于已有深度学习算法。     

基于深度学习的监督型典型相关分析

典型相关分析（CCA）是利用综合变量对之间的相关关系反映两组指标之间整体相关性的多元统计方法。传统的CCA方法无法有效利用样本的标签信息,导致准确率降低。将类信息融入到深度学习与CCA相结合的深度典型相关分析中,提出一种监督型降维方法DL-SCCA,用于处理带标签的非线性可分数据。在2个独立的深度神经网络（DNN）结构上,增加1个公共的输出维数与数据集类别数相同的全连接层,并且以softmax函数作为该层的激活函数,输出带有概率意义的编码向量。在此基础上,利用全连接输出与样本标签信息之间的交叉熵对DNN进行训练,获得分类性能较优的低维特征。实验结果表明,该方法采用最近邻分类器和网络本身结构得到的分类准确率分别为98.00%和97.82%,相比CCA、DisCCA、DCCA等方法,能够有效利用样本的标签信息,并且具有较优的分类性能。     

改进的深度置信网络分类算法研究

深度置信网络(deep belief network,DBN)通过逐层无监督学习进行训练,但训练过程中易产生大量冗余特征,进而影响特征提取能力。为了使模型更具有解释和辨别能力,基于对灵长类视觉皮层分析的启发,在无监督学习阶段的似然函数中引入惩罚正则项,使用CD(contrastive divergence)训练最大化目标函数的同时,通过稀疏约束获得训练集的稀疏分布,可以使无标签数据学习到直观的特征表示。其次,针对稀疏正则项中存在的不变性问题,提出一种改进的稀疏深度置信网络,使用拉普拉斯函数的分布诱导隐含层节点的稀疏状态,同时将该分布中的位置参数用来控制稀疏的力度,即根据隐藏单元的激活概率与给定稀疏值的偏差程度而具有不同的稀疏水平。通过在MNIST和Pendigits手写体数据集上进行验证分析,并与多种现有方法相比,该方法始终达到最好识别准确度,并且具有良好的稀疏性能。     

结合深度学习的监督主题模型

无监督主题模型在降维过程中缺少标签信息的指导,丢失一些具有判别性的文本特征,导致最终的分类结果不理想.因此,文中提出结合深度学习的监督主题模型,利用深度网络强大的非线性拟合能力建立文档主题分布与标签之间的映射,利用变分期望最大化(EM)和深度网络训练方法共同完成贝叶斯框架下模型参数的更新,通过改变网络结构和激活函数的类型,用于分类和回归任务.实验表明文中模型既能保持无监督主题模型隐含主题的提取能力,还能更好地完成分类和回归任务.     

基于FR-ResNet的车辆型号精细识别研究

车辆型号精细识别的关键是提取有区分性的细节特征. 以"特征重用"为核心, 以有效提取车辆图像细节特征并进行高效利用为目的, 提出了一种基于残差网络特征重用的深度卷积神经网络模型FR-ResNet (Improved ResNet focusing on feature reuse). 该网络以ResNet残差结构为基础, 分别采用多尺度输入、低层特征在高层中重用和特征图权重学习策略来实现特征重用. 多尺度输入可以防止网络过深导致性能退化以及陷入局部最优; 对各层网络部分加以不同程度的特征重用, 可以加强特征传递, 高效利用特征并降低参数规模; 在中低层网络部分采用特征图权重学习策略, 可以有效抑制冗余特征的比重. 在公开车辆数据集CompCars和StanfordCars上进行实验, 并与其他的网络模型进行比较, 实验结果表明FR-ResNet在车辆型号精细识别任务中对车辆姿态变化和复杂背景干扰等具有鲁棒性, 获得了较高的识别准确率.     

基于无监督学习的语音签到系统

针对语音签到系统在实际运用中识别率较低的问题,从提高对标签缺失数据的利用角度出发,提出一种利用无监督学习来提高识别率的方法。该方法基于深度置信网络隐马尔可夫混合模型(DBN-HMM),利用受限波尔茨曼机(RBM)为无监督学习提取特征参数,接着利用深度置信网络(DBN)得到对原始数据的观测概率。隐马尔可夫(HMM)据此通过前向算法求出数据的似然概率,并将概率值最大的类别作为识别结果。实验表明,使用DBN-HMM模型可以有效利用存在标签缺失的数据,提高语音签到系统的识别能力。     

一种简单的共享式多层梯度补给方法

深度学习通过多层特征提取方式,可以将原始复杂数据自动表征为高级抽象特征,该模型具有很强的建模能力,普遍应用于图像识别语音识别、自然语言处理等高复杂问题中.但深度学习由于网络层数深、参数规模庞大,训练时常常会产生梯度消失、陷入局部最优解、过度拟合等现象.借鉴集成学习的思想,提出一个新颖的深度共享集成网络,该网络通过在深度学习各隐藏层引出多个独立输出层的联合训练的方式,在网络的各层注入梯度,从而对低层隐藏层进行梯度补给,从而降低深度学习中的梯度消失现象,并通过集成多输出层的方式使得整个网络拥有更强的泛化性能.     

基于半监督深度生成对抗网络的图像识别方法

基于生成对抗网络的图像识别方法拥有很高的识别率,但训练时需要大量有标签样本,在有标签样本较少的情况时识别效果不佳。针对这个问题,结合深度卷积生成对抗网络和半监督生成对抗网络的特点建立半监督深度生成对抗网络。根据有标签样本和无标签样本分布,模型生成拟合真实分布的样本输入并训练分类器,增加了训练样本数从而提升识别率。将模型优化调整并进行图像识别实验,结果表明,该方法仅用少量有标签样本即可实现准确的图像识别。     

基于多尺度和特征融合的肺癌识别方法

针对病人肺结节大小各异、结节征象复杂造成的结节检测困难问题,基于迁移学习提出一种多尺度和特征融合的肺癌识别方法,根据CT图像预测病人未来一年内患肺癌的概率。根据肺结节和肺肿块大小,采用3种不同尺度的图像块输入三维结节检测网络,避免小尺度输入的结节检测网络难以获取大区域病灶整体特征的问题;在多尺度输入基础上采用特征融合策略,将网络提取的瓶颈层特征和输出层特征融合,充分描述病灶的详细特征。在Kaggle Data Science Bowl 2017数据集上的实验结果表明,所提方法降低了肺癌预测的损失值,提高了肺癌识别精度。     

基于BP神经网络的人脸识别方法

人脸自动识别是计算机模式识别领域的一个活跃课题,有着十分广泛的应用前景。文中提出了基于ＢＰ神经网络的人脸识别方法,论述了人脸图像矢量的特征压缩问题、网络隐含层神经元数选取问题、网络输入矢量的标准化处理问题以及网络连接权值选取问题。对于１８人、每人１２幅图像组成的脸图像数据库做识别实验,实验结果表明文中所设计的神经网络分类器比常用的最近邻分类器有效地降低了识别错误率。     

基于深信度网络分类算法的行人检测方法

针对目前浅层分类方法存在训练样本数量过大和拟合复杂函数能力较弱等不足,提出一种改进的基于深信度网络分类算法的行人检测方法。首先,通过搭建带T分布函数显层节点的受限波兹曼机输入端改进深信度网络的输入方式,将行人特征提取信息通过输入端的显层结构转化为分类器可以识别的伯努利分布方式;其次,搭建多隐层受限波兹曼机中间层结构,实现隐层结构间的数据传递,保留关键信息。最后,利用BP神经网络搭建分类结构的输出端,实现分类误差信息反向传播并对分类结构的参数进行微调,不断优化分类器结构。实验证明,改进的深信度网络行人检测算法性能优于经典浅层分类算法,算法的检测速度也能满足使用要求。     

一类反馈过程神经元网络模型及其学校算法

提出了一种基于权函数基展开的反馈过程神经元网络模型．该模型为三层结构，由输入层、过程神经元隐层和过程神经元输出层组成．输入层完成系统时变过程信号的输入及隐层过程神经元输出信号向系统的反馈；过程神经元隐层用于完成输入信号的空间加权聚合和激励运算，同时将输出信号传输到输出层并加权反馈到输入层；输出层完成隐层输出信号的空间加权聚集和对时间的聚合运算以及系统输出．文中给出了学习算法，并以旋转机械故障自动诊断问题为例验证了模型和算法的有效性．     

具有时变输入输出函数的反馈过程神经网络及应用

针对输入和输出均为时变函数或过程的实际系统建模和仿真问题,提出一种输入和输出均为时变函数的反馈过程神经网络模型,该模型的第1隐层对来自输入层的时变信号进行空间加权聚合和激励运算,并在将其输出传送至第2隐层的同时反馈至输入层;第2隐层完成对其时变输入的空间加权聚合、时间累积聚合和激励运算,并将其输出传送至输出层．给出了相应的学习算法,并以实例验证了该模型及其学习算法的有效性．     

Design of a proposed neural network control system for trajectory controlling of walking robots

The use of a proposed recurrent hybrid neural network to control of walking robot with four legs is investigated in this paper. A neural networks based control system is utilized to the control of four-legged walking robot. The control system consists of four proposed neural controllers, four standard PD controllers and four-legged planar walking robot. The proposed neural network (NN) is employed as an inverse controller of the robot. The NN has three layers, which are input, hybrid hidden and output layers. In addition to feedforward connections from the input layer to the hidden layer and from the hidden layer to the output layer, there is also feedback connection from the output layer to the hidden layer and from the hidden layer to itself. The reason to use hybrid layer is that robot’s dynamics consists of linear and non-linear parts. The results show that the proposed neural control system has superior performance to control trajectory of walking robot with payload.     

基于股票市场灵敏度分析的神经网络预测模型

股票市场是非线性系统,具有内部结构复杂性和外部因素多变性,建立基于股票市场灵敏度分析的神经网络预测模型。针对神经网络结构设计问题,计算网络输入层与隐层神经元的灵敏度,并修剪网络中不敏感的神经元,在保证模型泛化能力的同时,实现网络结构精简;针对神经网络黑箱问题,根据输入层神经元灵敏度解决各输入变量对股票市场的重要性和反馈机制。以上证指数为例,在不同的时间跨度下对股票市场运行规律进行学习,并分析不同结构修剪模型的适用性和市场意义。最后,通过与其他神经网络预测模型比较,验证本文模型的有效性。     

基于改进BP神经网络的非均衡数据分类算法

传统的分类算法大都默认所有类别的分类代价一致,导致样本数据非均衡时产生分类性能急剧下降的问题.对于非均衡数据分类问题,结合神经网络与降噪自编码器,提出一种改进的神经网络实现非均衡数据分类算法,在神经网络模型输入层与隐层之间加入一层特征受损层,致使部分冗余特征值丢失,降低数据集的不平衡度,训练模型得到最优参数后进行特征分类得到结果.选取UCI标准数据集的3组非均衡数据集进行实验,结果表明采用该算法对小数据集的分类精度有明显改善,但是数据集较大时,分类效果低于某些分类器.该算法的整体分类效果要优于其他分类器.     

深度特征选择网络在雷达信号识别中的应用

在现有的雷达辐射源信号识别研究中,传统人工提取到的特征虽具有较为良好的物理表征,但特征中还存在冗余、噪声特征,而通过深度神经网络虽可以挖掘到对信号更深层次的表达,但其特征存在的“黑箱”难以解释性无法避免.结合人工特征良好的物理表征性和深度学习强大的学习能力,本文提出将一种深度特征选择网络（DFS,Deep Feature Selection）应用到雷达信号识别技术中.DFS通过在深度神经网络的输入层和第一隐藏层之间增添一对一层,获取针对每维特征与分类相关性度量得到的权值,以此权值作为衡量标准,加强敏感特征的输入影响,削弱冗余、噪声特征的输入影响,提高分类准确率.方法先对雷达信号提取复杂度特征、小波脊频级联特征、信息熵特征,合并建立原始特征集,利用DFS进行学习训练,以达到在输入级别实现特征选择的目的.本文已利用上述方法对5类辐射源信号进行仿真实验,识别效果良好,验证了方法有效.     

A context layered locally recurrent neural network for dynamic system identification

This paper puts forward a novel recurrent neural network (RNN), referred to as the context layered locally recurrent neural network (CLLRNN) for dynamic system identification. The CLLRNN is a dynamic neural network which appears in effective in the input–output identification of both linear and nonlinear dynamic systems. The CLLRNN is composed of one input layer, one or more hidden layers, one output layer, and also one context layer improving the ability of the network to capture the linear characteristics of the system being identified. Dynamic memory is provided by means of feedback connections from nodes in the first hidden layer to nodes in the context layer and in case of being two or more hidden layers, from nodes in a hidden layer to nodes in the preceding hidden layer. In addition to feedback connections, there are self-recurrent connections in all nodes of the context and hidden layers. A dynamic backpropagation algorithm with adaptive learning rate is derived to train the CLLRNN. To demonstrate the superior properties of the proposed architecture, it is applied to identify not only linear but also nonlinear dynamic systems. The efficiency of the proposed architecture is demonstrated by comparing the results to some existing recurrent networks and design configurations. In addition, performance of the CLLRNN is analyzed through an experimental application to a dc motor connected to a load to show practicability and effectiveness of the proposed neural network. Results of the experimental application are presented to make a quantitative comparison with an existing recurrent network in the literature.