一种数值属性的深度置信网络分类方法

深度置信网络是个包含多个受限玻尔兹曼机的深层架构。针对深度置信网络分类时由于受限玻尔兹曼机的输入一般是二值向量而造成的信息的丢失从而使分类效果降低的问题,提出了通过在sigmoid单元中增加噪声来将输入缩放到[0,1]区间,使用带有一个高斯隐藏节点的顶层受限玻尔兹曼机实现分类功能的一种数值属性深度置信网络分类方法。深度置信网络和受限玻尔兹曼机可以作为特征提取方法也可以认为是带有训练的初始权值的神经网络。由于连接权值的初始化而不仅仅是神经网络的随机权值,深度置信网络分类应该比原有的传统的神经网络分类拥有更好的性能。在UCI的多个数据集上进行对比验证,实验结果表明深度置信网络分类方法比传统的SVM算法拥有更高的准确性。     

基于复合优化的深度玻尔兹曼机的路牌文字图像识别算法

为提高自然场景中路牌文字图像的识别率,提出一种复合优化的深度玻尔兹曼机文字识别算法。算法以提高目标概率分布的逼近程度为目的,采用两种抽样初始化方法:灰度初始化抽样与二值初始化抽样,构造受限玻尔兹曼机,并由两种初始化方法的受限玻尔兹曼机交叠构成深度玻尔兹曼机。文中提出复合共轭梯度法改进深度玻尔兹曼机的微调算法。实验结果表明,使用文中获取的路牌文字数据,所提算法能够对路牌文字实现较理想的识别效果。与原深度玻尔兹曼机相比,识别率取得有效提高。     

基于混合受限玻尔兹曼机的肺结节良恶性诊断

针对传统计算机辅助诊断中肺结节的特征提取方法依靠人工设计、操作复杂、识别率低等问题,提出了一种基于混合受限玻尔兹曼机的肺结节良恶性诊断方法。首先采用多层无监督卷积受限玻尔兹曼机自动对肺结节图像进行特征学习,然后利用分类受限玻尔兹曼机对获得的特征进行良恶性分类。为避免分类受限玻尔兹曼机在训练中出现的特征同质化问题,引入了交叉熵稀疏惩罚对其进行优化。实验结果表明,该方法有效避免了手动特征提取的复杂性,在肺结节良恶性分类的准确率、敏感性、特异性、ROC曲线下面积值上均优于传统诊断方法。     

结合迁移学习模型的卷积神经网络算法研究

针对传统的卷积神经网络算法在训练集与测试集分布不同时分类精度较低且标注成本较高的问题,提出结合迁移学习模型的卷积神经网络算法。使用主成分分析算法对源域数据进行无监督降维,同时结合自编码机算法对目标数据集降维,使源域和目标数据集在低维度下具有相似的特征分布;根据卷积神经网络特征提取的特点,利用JS散度来判别卷积池层能否迁移,并使用初始化的隐藏层补全trCNN模型;使用少量带标注的目标数据集进行训练,完成分类模型的构建。设计实验验证分类模型能够在使用少量标注数据情况下准确地完成分类工作。     

基于改进eRCNN的局部路网交通流预测

针对误差反馈循环卷积神经网络在运用到短时交通流预测时存在仅仅能接收时序误差序列,忽略交通流误差数据中隐含的空间拓扑特征,且在模型初始化时其采用的通用卷积神经网络初始化方法降低了模型训练效率的问题,本文提出一种优化的误差反馈循环卷积神经网络模型,在误差反馈循环卷积神经网络模型基础上根据预测误差数据的时空特性对误差反馈层进行结构强化,能够处理包含简单空间关系的误差序列。同时通过在模型训练的过程中分离模型产生的历史预测误差和训练误差,使得模型构建过程更加高效,加速了模型收敛速度。通过北京市四环道路交通数据的实验表明,优化的误差反馈循环卷积神经网络预测模型在预测精度、构建效率及鲁棒性上均得到有效提高。     

基于降噪自编码神经网络的事件相关电位脑电信号分析方法

提出一种基于降噪自编码神经网络事件相关电位分析方法,首先建立3层神经网络结构,利用降噪自编码对神经网络进行初始化,实现了降噪自编码深度学习模型的无监督学习.从无标签数据中自动学习数据特征,通过优化模型训练得到的权值作为神经网络初始化参数.其次,经过有标签的样本进行网络参数的微调即可完成对神经网络的训练,该方法有效解决了神经网络训练中因随机选择初始化参数,而导致网络易陷入局部极小的缺陷.最后,利用上述神经网络对第3届脑机接口竞赛数据集Data set Ⅱ(事件相关电位脑电信号)进行分类分析.实验结果表明:利用降噪自编码迭代2500次训练神经网络模型,在受试者A和受试者B样本数据叠加5次、10次、15次3种情况下获得的分类准确率分别为73.4%, 87.4%和97.2%.该最高准确率优于其他分类方法,比竞赛第1名联合支持向量机(SVM)分类器(ESVM)提高了0.7%,为事件相关电位脑电信号提供了一种深度学习分析方法.     

基于融合机制的多模型神经网络人物群体分类模型

有效识别图像或视频中人物的不同群体, 是进行图像智能分析的重要环节, 归根结底是研究如何获取图像中的“有效特征”. 本文以卷积神经网络模型为基础模型, 提出多模型融合卷积神经网络的方法, 利用ImageNet训练得到的模型参与本文神经网络模型的权值初始化, 在有效节省时间和计算资源成本的前提下获取更多有效的特征. 实验结果证明, 本模型对于自然场景中的个体分类中成年男性、成年女性、儿童识别准确率可以保持在85%左右, 提高了人物群体分类的准确度和可靠度.     

基于深度卷积限制玻尔兹曼机的步态识别

传统的步态识别方法难以得到有效的步态特征,而深度学习方法可以通过学习自动获得特征,然而现有的深度学习模型用于步态识别时存在一些问题。深度卷积神经网络训练速度快,但训练精度较低;深度置信网络模型精度较高,但模型收敛速度较慢。针对这两种模型的特点,提出一种两者平衡的算法模型,即深度卷积限制玻尔兹曼机。将卷积神经网络中权值共享、提取图像局部特征等方面的优势融入深度玻尔兹曼机模型中,提高训练精度,减少参数数量。所提算法在CASIA步态数据库上的实验结果验证了该算法在步态识别问题上的有效性和可行性。     

基于无效卷积核权值回退的神经网络优化方法

在神经网络模型训练过程中,存在部分卷积核退化为无效卷积核,在神经网络推理过程失去作用的问题。针对该问题,提出了一种仅使用单个模型就能在训练过程中激活无效卷积核,提高模型性能的方法。首先将初始模型训练至收敛时刻;然后通过L1正则和卷积核相关性两种方式衡量卷积核的有效性;最后将无效卷积核的权值回退到模型训练的初期阶段并对模型进行重训练。在CIFAR-10、CIFAR-100等图像分类的数据集上的实验结果表明,无论是在残差网络还是在轻量级网络上,提出的方法都能有效地恢复无效卷积核,提高神经网络模型精度。相比之前的方法,该方法在低代价下达到了最佳效果,在图像分类任务上平均提高了0.93%的准确率。     

基于非线性重构模型的植物叶片图像集分类方法

提出一种基于非线性重构模型的植物叶片图像集的分类识别方法。该方法首先使用高斯受限玻尔兹曼机(GRBMs)通过非监督预训练来初始化模型的权值;然后针对每一个植物叶片图像集用初始化的模型训练得到一个特定的模型;最后根据测试样本的最小重构误差和测试样本集的最多投票策略来判定测试样本集的类别。该方法通过图像预处理来处理图像,避免了图像在缩放时发生形变,并采用基于k-means的特征提取方法来提取植物叶片图像特征。实验结果表明,该方法能够准确地对植物叶片图像集进行分类识别。     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

受限波兹曼机联合稀疏近似的脑功能检测模型

人脑功能连通性检测是神经科学研究的重要技术．使用受限制波兹曼机（RestrictedBoltzmannMachine,RBM）对大量多被试功能磁共振（functionalMagneticResonanceImaging,fMRI）数据进行建模可以检测人脑功能连接,但是不能有效检测单被试数据的功能连接．本文研究一种新颖的融合了稀疏近似与RBM技术的脑功能连通性检测模型,该模型充分利用fMRI数据的稀疏性,采用稀疏近似理论对fMRI数据进行空间域稀疏近似压缩,然后使用RBM建立模型,以检测脑功能连通性．实验结果表明,该融合模型可以有效地提取单被试数据的脑功能时间域混合模型及其相应的脑功能图谱,解决了RBM在单被试数据分析上的瓶颈．     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

基于CNN与双向LSTM的行为识别算法

针对传统行为识别依赖手工提取特征,智能化程度不高,识别精度低的问题,提出一种基于3D骨骼数据的卷积神经网络(CNN)与双向长短期记忆网络(Bi-LSTM)的混合模型。使用3D骨骼数据作为网络输入,CNN提取每个时间步的3D输入数据间的空间特征,Bi-LSTM更深层地提取3D数据序列的时间特征。该混合模型自动提取特征完成分类,实现骨骼数据到识别结果的端对端学习。在UTKinect-Action3D标准数据集上,模型的识别率达到97.5%,在自制Kinect数据集上的准确率达到98.6%,实验结果表明,该网络有效提高了分类准确率,具备可用性和有效性。     

An improved convolutional neural network with an adaptable learning rate towards multi-signal fault diagnosis of hydraulic piston pump

Hydraulic piston pump is a vital component of hydraulic transmission system and plays a critical role in some modern industrials. On account of the deficiencies of traditional fault diagnosis in preprocessing of original data and feature extraction, the intelligent methods based on deep learning accomplish the automatic learning of fault information by integrating feature extraction and classification. As a popular deep learning model, convolutional neural network (CNN) has been demonstrated to be potent and effective in image classification. In this research, an improved intelligent method based on CNN with adapting learning rate is constructed for fault diagnosis of a hydraulic piston pump. Firstly, three raw signals are converted into two dimensional time–frequency images by continuous wavelet transform, including vibration signal, pressure signal and sound signal. Secondly, an improved deep CNN model is built with an adaptive learning rate strategy for identifying the different fault types. Moreover, t-distributed stochastic neighbor embedding is employed to visualize the distribution of features learned by the main layers of CNN model. Confusion matrix is used to analyze the classification accuracy of each fault type. Compared with the CNN model without adapting learning rate, the improved model achieves a higher accuracy based on the selected three kinds of signals. Experiments indicate that the improved CNN model can effectively and accurately identify various faults for a hydraulic piston pump.     

基于Lorentz函数的稀疏约束RBM模型的算法研究

受限玻尔兹曼机（Restricted Boltzmann Machine,RBM）是一种有效的特征提取算法,受视觉皮层稀疏表示的启发,人们试图将稀疏这一概念引入到RBM中,以期学习到原始数据的稀疏表示,提高其特征提取性能。将Lorentz函数引入到RBM中,作为RBM的稀疏约束正则项,构建基于Lorentz函数的稀疏约束RBM模型,将其称之为LRBM模型。对该模型的特征提取性能进行了可视化评价,同时对稀疏度和分类率进行了实验分析;最后将多个LRBM叠加,构造基于LRBM的深度置信网模型并分析该深度网络的性能。实验表明,LRBM模型有效地提取了数据集中的特征信息,在分类效果上较RBM平均提高了2%左右,增强了目标分类的可靠性。     

基于多时序特征和卷积神经网络的农作物分类

近年来,以卷积神经网络为主的深度学习模型在各种遥感应用中都显示出巨大的潜力。以加州帝国郡为研究区,以Landsat 8 OLI年内时序遥感影像计算时序植被指数NDVI、EVI、RVI以及TVI,组合后输入到构建的一维卷积神经网络 模型,以实现作物的高精度精细分类。为了验证卷积模型的优越性,另搭建了基于递归神经网络及其变体的深度学习模型。结果表明：①引入其他时序特征后,能够有效地提高卷积神经网络的分类精度。NDVI+EVI+TVI+RVI组合特征总体精度和Kappa系数最高,分别是89.667 4%和0.856 0,对比NDVI时序特征总体精度和Kappa系数提高了近4%和0.6。②在与其他深度学习模型的对比中,一维卷积神经网络分类精度最高,能够从时序数据中较为准确捕捉作物时序特征信息,尽管递归神经网络被广泛应用于序列数据的研究,但分类结果要略差于卷积神经网络。实验表明在NDVI的基础上引入其他植被指数辅助,能够有效地提高分类精度。基于一维卷积神经网络的深度学习框架为长时间序列分类任务提供了一种有效且高效的方法。     

融合整体与局部信息的武夷岩茶叶片分类方法

针对武夷岩茶鲜茶叶叶片图像分类问题,提出一种融合整体与局部信息的分类方法。该方法使用两分支并行结构构建了一个整体与局部信息融合的卷积神经网络模型。实验表明,在9个品种共计7330张武夷岩茶鲜茶叶叶片图像数据集上,基于ResNet18构造的两分支并行卷积神经网络模型的分类准确率为96.68%,超过了其他CNN模型的分类准确率。这表明通过融合全局信息、边缘形状信息和纹理局部信息能有效提高分类准确率。     

CNN和三维Gabor滤波器的高光谱图像分类

卷积神经网络(CNN)具有强大的特征提取能力,能够有效地提高高光谱图像的分类精度.然而CNN模型训练需要大量的训练样本参与,以防止过拟合,Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息,能够减轻CNN模型对训练样本的依赖度及特征提取的压力.为了充分利用CNN和Gabor滤波器的优势,提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN.首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据,提取图像的深层空间特征;同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据,进一步提取图像的深层光谱-纹理特征.连接2个CNN模型的全连接层实现特征融合,并将融合特征输入到分类层中完成分类.实验结果表明,该方法能够有效地提高分类精度,在Indian Pines,Pavia University和Kennedy Space Center 3组数据上分别达到98.95%,99.56%和99.67%.     

基于自适应图卷积网络的心电图多标签分类模型

心电图分析是一种被广泛应用的心脏疾病诊断方法。传统的心电图分析严重依赖医生个人水平,容易出现误诊、漏诊现象,效率较低,且不能有效利用高频信号提供的有价值信息。基于卷积神经网络（CNN）的心电图自动分类方法在一定程度上提高了诊断效率,但依然存在对高频信息利用不充分的问题,且单一的卷积神经网络由于受感受野的限制和权重共享的影响,导致无法充分利用全局信息,分类准确率有待提高。提出一种基于注意力机制与图卷积网络的心电图多标签分类模型MLECG-AGCN,通过设计基于注意力机制的CNN网络,提高网络对高频信号的利用率。引入图卷积网络,以有效利用全局信息和特征空间邻域样本信息,从而协助样本进行分类,提高分类结果的准确率。基于注意力机制的CNN网络通过高通滤波器突出原始信号的高频位置,生成注意力图,并将注意力图嵌入到原始信号中,增强网络关注高频信号的能力。在PTB-XL数据集上的实验结果表明,基于注意力机制的CNN网络与自适应图卷积网络的结合有效提高了心电图分类精度,与Multi-ECGNet、ResNet18、ResNet101等模型相比,MLECG-AGCN模型取得了较高的AUROC值,为0.943 639。