基于Map-Reduce并行构架和AE的大数据指纹监控识别算法

传统的指纹识别监控方法在应用到以海量、在线和增量为特征的大数据环境中时,不能自动高效地进行识别;由此设计了一种基于Map-Reduce并行框架和AE的大数据智能监控指纹识别算法;首先,设计了基于AE和BP神经网络的识别模型,采用AE进行指纹图像自动特征提取,然后提出了一种基于比较差异算法对AE进行参数初始化的训练算法,采用BP神经网络进行具体识别;最后,将识别过程分解为Map函数和Reduce函数;在Map-Reduce并行框架下对FVC2004中的指纹数据库进行实验,实验结果表明了文中方法能自动、高效地进行指纹识别。     

深度学习应用技术研究

本文针对深度学习应用技术进行了研究性综述。详细阐述了RBM（Restricted Boltzmann Machine）逐层预训练后再用BP（back-propagation）微调的深度学习贪婪层训练方法,对比分析了BP算法中三种梯度下降的方式,建议在线学习系统,采用随机梯度下降,静态离线学习系统采用随机小批量梯度下降;归纳总结了深度学习深层结构特征,并推荐了目前最受欢迎的5层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活函数优点,并推荐ReLU （rectified linear units）激活函数。最后简要概括了深度CNNs(Convolutional Neural Networks), 深度RNNs(recurrent neural networks), LSTM(long short-termmemory networks)等新型深度网络的特点及应用场景,并归纳总结了当前深度学习可能的发展方向。     

一种基于RBM的深层神经网络音素识别方法

为提高连续语音识别中的音素识别准确率,采用深可信网络提取语音音素后验概率进行音素识别.首先利用受限玻尔兹曼机的学习原理,对深可信网络进行逐层的预训练;然后通过增加一个“软最大化（softmax）”输出层,得到用于音素状态后验概率检测的深层神经网络,并采用后向传播算法进行网络权值的精细调整;最后以后验概率为HMM发射概率,使用Viterbi解码器进行音素识别.针对TIMIT语料库的实验结果表明,该系统的音素识别率优于GMM/HMM,MLP/HMM和TANDEM系统性能.     

基于改进对比散度的GRBM语音识别

对比散度作为训练受限波尔兹曼机模型的主流技术之一,在实验训练中具有较好的测试效果。通过结合指数平均数指标算法和并行回火的思想,提出一种改进对比散度的训练算法,包括模型参数的更新和样本数据的采样,并将改进后的训练算法应用于高斯伯努利受限玻尔兹曼机( GRBM)中训练语音识别模型参数。在TI-Digits数字语音训练和数字测试数据库上的实验结果表明,采用改进的对比散度训练的GRBM明显优于传统的模型训练算法,语音识别率能够达到80%左右,最高提升7%左右,而且应用改进算法训练的其他GRBM对比模型的语音识别率也都有所提高,具有较好的识别性能。     

基于权值不确定性的玻尔兹曼机算法

受限制的玻尔兹曼机（RBM）是一种无向图模型.基于RBM的深度学习模型包括深度置信网（DBN）和深度玻尔兹曼机（DBM）等.在神经网络和RBM的训练过程中,过拟合问题是一个比较常见的问题.针对神经网络的训练,权值随机变量（weight random variables）、Dropout方法和早期停止方法已被用于缓解过拟合问题.首先,改变RBM模型中的训练参数,使用随机变量代替传统的实值变量,构建了基于随机权值的受限的波尔兹曼机（weight uncertainty RBM,简称WRBM）,接下来,在WRBM基础上构建了相应的深度模型：Weight uncertainty Deep Belief Network（WDBN）和Weight uncertainty Deep Boltzmann Machine（WDBM）,并且通过实验验证了WDBN和WDBM的有效性.最后,为了更好地建模输入图像,引入基于条件高斯分布的RBM模型,构建了基于spike-and-slab RBM（ssRBM）的深度模型,并通过实验验证了模型的有效性.     

RBM学习方法对比

随着深度学习在模型、算法与理论上的突破性进展,以玻尔兹曼机为基础的各类深度模型近年来在目标识别与自然语言处理等诸多领域得到广泛应用。概述了玻尔兹曼机的相关概念,分析了受限玻尔兹曼机模型所具有的优势。对RBM中的学习方法进行了详细的描述,对应用最为广泛的受限玻尔兹曼机的几种典型学习算法进行了对比,并指出学习算法的研究在未来仍将是深度学习中的一项核心问题。     

RBM20-Mediated Pre-mRNA Splicing Has Muscle-Specificity and Differential Hormonal Responses between Muscles and in Muscle Cell Cultures

Pre-mRNA splicing plays an important role in muscle function and diseases. The RNA binding motif 20 (RBM20) is a splicing factor that is predominantly expressed in muscle tissues and primarily regulates pre-mRNA splicing of Ttn, encoding a giant muscle protein titin that is responsible for muscle function and diseases. RBM20-mediated Ttn splicing has been mostly studied in heart muscle, but not in skeletal muscle. In this study, we investigated splicing specificity in different muscle types in Rbm20 knockout rats and hormonal effects on RBM20-mediated splicing both in cellulo and in vivo studies. The results revealed that RBM20 is differentially expressed across muscles and RBM20-mediated splicing is muscle-type specific. In the presence of RBM20, Ttn splicing responds to hormones in a muscle-type dependent manner, while in the absence of RBM20, Ttn splicing is not affected by hormones. In differentiated and undifferentiated C2C12 cells, RBM20-mediated splicing in response to hormonal effects is mainly through genomic signaling pathway. The knowledge gained from this study may help further understand muscle-specific gene splicing in response to hormone stimuli in different muscle types.     

基于特征选择和深度信念网络的文本情感分类算法

由于人类语言的复杂性，文本情感分类算法大多都存在因为冗余而造成的词汇量过大的问题。深度信念网络（DBN）通过学习输入语料中的有用信息以及它的几个隐藏层来解决这个问题。然而对于大型应用程序来说，DBN是一个耗时且计算代价昂贵的算法。针对这个问题，提出了一种半监督的情感分类算法，即基于特征选择和深度信念网络的文本情感分类算法（FSDBN）。首先使用特征选择方法（文档频率（DF）、信息增益（IG）、卡方统计（CHI）、互信息（MI））过滤掉一些不相关的特征从而使词汇表的复杂性降低；然后将特征选择的结果输入到DBN中，使得DBN的学习阶段更加高效。将所提算法应用到中文以及维吾尔语中，实验结果表明在酒店评论数据集上，FSDBN在准确率方面比DBN提高了1.6%，在训练时间上比DBN缩短一半。     

基于竞争学习的稀疏受限玻尔兹曼机机制

针对受限玻尔兹曼机（RBM）无监督训练存在特征同质化问题以及现有稀疏受限玻尔兹曼机（SRBM）难以自适应稀疏的缺陷,提出了一种基于竞争学习的RBM稀疏机制方法。首先设计基于神经元权值向量与输入向量间夹角余弦值的距离度量,评估两者相似度;然后在训练过程中对不同样本选择出基于距离度量的最优匹配隐单元;其次根据最优匹配隐单元激活状态计算对其他隐单元的稀疏惩罚度;最后执行参数更新并依据深度模型训练过程,将竞争稀疏应用于深度玻尔兹曼机（DBM）的构建中。通过手写数字识别实验证明,与误差平方和正则化因子相比,基于该稀疏机制的DBM分类准确率提高了0.74%,平均稀疏度提高了5.6%,且无需设置稀疏参数,因此,该稀疏机制可提高RBM等无监督训练模型的训练效率,并应用于深度模型的构建中。