基于深度置信网络的维吾尔语人称代词待消解项识别

针对维吾尔语人称代词指代消解研究忽略了待消解项识别而引入了噪声的问题,提出一种基于深度置信网络(Deep Belief Networks,DBN)的维吾尔语人称代词待消解项识别方法。在分析维吾尔语人称代词语法特征和语言规则的基础上,总结出包含10项特征的维吾尔语人称代词待消解项特征集。所提方法首先通过逐层贪婪地训练每一层受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)网络,来保证特征向量映射到不同的特征空间,尽可能多地保留特征信息;并在最后一层设置BP网络,对RBM输出的特征向量进行分类,以有监督的方式训练整个网络并进行微调。实验结果表明,所提方法正确识别维吾尔语人称代词待消解项的准确率达到95.17%,比SVM算法提高了9%,从而验证了其有效性和可行性。     

基于改进的DBN的WLAN指纹定位数据库构建算法

提出了一种基于改进的深度置信网络(Deep Belief Network,DBN)的 WLAN指纹定位数据库构建算 法。首先,从需要实地测量的参考点中选取一部分参考点测量位置坐标和接收信号强度,并 将其作为训练数据输入改进的 DBN,经过训练不断改善DBN的性能;然后,将其他剩余参考点的位置坐标输入训练好的DBN 中,将DBN的输出数据作 为这些参考点的接收信号强度,从而对指纹定位数据库进行构建;最后,将实测的部分参考 点的数据与基于DBN预测出的 剩余参考点的数据共同组成构建后的指纹定位数据库,并使用KNN和WKNN定位算法对构建效 果进行评价。实验结果表 明,在使用相同的数据集时,改进的DBN算法训练用时更短,对指纹库的构建效果更好。     

基于主成分分析和线性判别的航空发动机状态监视

利用航空发动机传感器数据对发动机状态进行监视,采用主成分分析（PCA）方法和线性判别法（LDA）对发动机传感器数据进行二次特征提取,按照最优近邻思想进行分类。将2008年IEEE PHM数据作为实验数据,将基于PCA和LDA的分类结果与基于PCA的分类方法以及深度信念网（DBN）分类方法的结果进行了对比分析,结果表明,基于PCA和LDA方法的识别率综合最优且结构简单,对于工程应用该方法有效可行。     

基于优化正交匹配追踪和深度置信网的声音识别

针对各种环境声音对声音事件识别的影响,提出一种基于优化的正交匹配追踪（OOMP）和深度置信网（DBN）的声音事件识别方法。首先,利用粒子群优化（PSO）算法优化OMP稀疏分解,在实现正交匹配追踪（OMP）的快速稀疏分解的同时,保留声音信号的主体部分,抑制噪声对声音信号的影响;接着,对重构声音信号提取Mel频率倒谱系数（MFCC）、OMP时-频特征和基音频率（Pitch）特征,组成OOMP的复合特征;最后,使用DBN对提取的OOMP特征进行特征学习,并对40种声音事件在不同环境不同信噪比下进行识别。实验结果表明,OOMP特征结合DBN的方法适用于各种环境声下的声音事件识别,而且能有效地识别各种环境下的声音事件,即使在信噪比（SNR）为0 dB的情况下,仍然能保持平均60%的识别率。     

基于集成深度学习的时间序列预测模型

基于高斯过程的条件受限玻尔兹曼机(GCRBM)时序模型可以很好的预测单一种类时序数据,但是该模型难以预测多类别的真实高维数据。针对这个问题,提出基于集成深度学习的时间序列预测模型,对多类时序对应训练多个深可信网络(deep belief networks, DBN)模型来学习低维特征,利用低维特征对应训练多个GCRBM时序模型。预测时序时先通过训练出的一组DBN模型对目标数据进行降维并通过重建误差识别类别,然后通过识别到的类别所对应的GCRBM模型预测目标数据的后期时序。在CASIA-A步态数据集上的试验结果表明:本方法能够准确识别出步态序列,而且预测结果能够模拟出真实的步态序列,证实了本模型的有效性。     

基于深度神经网络的特征加权融合人脸识别方法

针对目前难以提取到适合用于分类的人脸特征以及在非限条件下进行人脸识别准确率低的问题,提出了一种基于深度神经网络的特征加权融合人脸识别方法(DLWF)。首先,应用主动形状模型(ASM)提取出人脸面部的主要特征点,并根据主要特征点对人脸不同器官区域进行采样;然后,将所得采样块分别输入到对应的深度信念网络(DBN)中进行训练,获得网络最优参数;最后,利用Softmax回归求出各个区域的相似度向量,将多区域的相似度向量加权融合得到综合相似度评分进行人脸识别。经ORL和WFL人脸库上进行实验验证,DLWF算法的识别准确率分别达到97%和88.76%,与传统算法主成分分析(PCA)、支持向量机(SVM)、DBN及FIP+线性判别式分析(LDA)相比,无论是限制条件还是非限制条件下,识别率均有提高。实验结果表明,该算法具有高效的人脸识别能力。     

基于多流多状态动态贝叶斯网络的音视频连续语音识别

语音和唇部运动的异步性是多模态融合语音识别的关键问题,该文首先引入一个多流异步动态贝叶斯网络(MS-ADBN)模型,在词的级别上描述了音频流和视频流的异步性,音视频流都采用了词-音素的层次结构.而多流多状态异步DBN(MM-ADBN)模型是MS-ADBN模型的扩展,音视频流都采用了词-音素-状态的层次结构.本质上,MS-ADBN是一个整词模型,而MM-ADBN模型是一个音素模型,适用于大词汇量连续语音识别.实验结果表明：基于连续音视频数据库,在纯净语音环境下,MM-ADBN比MS-ADBN模型和多流HMM识别率分别提高35.91%和9.97%.     

QPSO算法的改进及其在DBN参数优化中应用

为了提升标准量子粒子群算法（Quantum Particle Swarm Optimization,QPSO）的收敛精度,提出了基于粒子势阱长度变化率的粒子平均最优位置权重计算方法,通过平均最优位置的调节,来提升粒子的寻优能力,并将改进后的QPSO算法应用于深度置信网络（Depth Belief Network,DBN）模型的学习率参数寻优中,以便找到最优的DBN模型参数,来提升DBN模型的识别准确率。将通过改进后QPSO算法进行参数寻优的DBN网络（LQ_DBN）应用于蛋黄形状检测中,与现有典型的DBN网络模型对比表明,LQ_DBN模型在蛋黄形状检测实验中的识别准确率比CC-PSO-DBN、PSO_MDBN和标准DBN模型都要高,且检测识别准确率的稳定性也是四种对比模型中最高的,表明基于改进的QPSO算法的DBN网络模型取得了较好的优化效果。     

基于权值不确定性的玻尔兹曼机算法

受限制的玻尔兹曼机（RBM）是一种无向图模型.基于RBM的深度学习模型包括深度置信网（DBN）和深度玻尔兹曼机（DBM）等.在神经网络和RBM的训练过程中,过拟合问题是一个比较常见的问题.针对神经网络的训练,权值随机变量（weight random variables）、Dropout方法和早期停止方法已被用于缓解过拟合问题.首先,改变RBM模型中的训练参数,使用随机变量代替传统的实值变量,构建了基于随机权值的受限的波尔兹曼机（weight uncertainty RBM,简称WRBM）,接下来,在WRBM基础上构建了相应的深度模型：Weight uncertainty Deep Belief Network（WDBN）和Weight uncertainty Deep Boltzmann Machine（WDBM）,并且通过实验验证了WDBN和WDBM的有效性.最后,为了更好地建模输入图像,引入基于条件高斯分布的RBM模型,构建了基于spike-and-slab RBM（ssRBM）的深度模型,并通过实验验证了模型的有效性.     

深度信念网络研究进展

深度信念网络（Deep Belief Networks,DBN）作为深度学习（Deep Learning,DL）中的重要模型,目前已被成功应用于人脸识别、手写字体识别、医学图像分析处理等诸多领域。从深度信念网络出发,主要做了四个方面的工作：第一,从受限玻尔兹曼机以及深度信念网络的网络结构和学习过程两个方面阐述了深度信念网络的基本原理;第二,从网络结构和学习算法两个方面总结了深度信念网络的研究进展：在网络结构方面,从网络深度、RBM结构和DBN级联三个角度进行归纳;在学习算法方面,从基本算法、优化算法和融合方法三个方面进行梳理;第三,对深度信念网络在医学图像分析领域中的应用进行了总结;第四,总结了目前DBN存在的问题。