单元化单隐变量变结构DDBN推理算法

变结构动态贝叶斯网络（DBN）描述的是一个非稳态随机过程,是一种更灵活、更有效的动态网络。为了克服现有变结构DBN的推理算法不能实现在线推理的缺陷,提出了一种近似在线推理算法--单元化单隐变量变结构离散DBN（DDBN）推理算法。在定义了单隐变量变结构离散动态贝叶斯模型和单元的基础上,提出了算法的基本思想,并从理论上对算法进行了推导。仿真实验验证了该算法的正确性和有效性。     

结合侧抑制机制的自动编码器训练新算法

深度学习是目前最热门的机器学习方法之一。针对深度学习中的自动编码器在训练时容易产生网络模型复杂度过高、输出矩阵不够稀疏、小样本训练过拟合等问题,提出一种结合侧抑制机制的自动编码器训练新算法。算法构建了用于隐藏层的侧抑制神经元筛选模型。首先设定抑制限寻找符合抑制条件的神经元,然后通过侧抑制函数对符合条件的神经元进行快速输出抑制,运用反向传播算法对模型进行优化,最终输出权重特征。实验结果表明,算法能够使隐藏层输出近似满足稀疏条件并学习得到更加鲁棒的特征,提高分类正确率的同时还能一定程度上抑制过拟合现象。     

QPSO算法的改进及其在DBN参数优化中应用

为了提升标准量子粒子群算法（Quantum Particle Swarm Optimization,QPSO）的收敛精度,提出了基于粒子势阱长度变化率的粒子平均最优位置权重计算方法,通过平均最优位置的调节,来提升粒子的寻优能力,并将改进后的QPSO算法应用于深度置信网络（Depth Belief Network,DBN）模型的学习率参数寻优中,以便找到最优的DBN模型参数,来提升DBN模型的识别准确率。将通过改进后QPSO算法进行参数寻优的DBN网络（LQ_DBN）应用于蛋黄形状检测中,与现有典型的DBN网络模型对比表明,LQ_DBN模型在蛋黄形状检测实验中的识别准确率比CC-PSO-DBN、PSO_MDBN和标准DBN模型都要高,且检测识别准确率的稳定性也是四种对比模型中最高的,表明基于改进的QPSO算法的DBN网络模型取得了较好的优化效果。     

一种改进的深度置信网络及其在自然图像分类中的应用

深度置信网络DBN(deep belief network)由受限玻尔兹曼机RBM(restricted Boltzmann machine)堆叠而成。针对RBM只能接受二值输入而导致的信息丢失问题,给出将可视层节点替换为具有高斯噪音的实数节点的解决方法,并且用线性修正节点替代隐层的Sigmoid节点。线性修正单元具有良好的稀疏性,可以很好地提高网络性能。DBN自底向上逐层训练网络,初始化网络的参数。在自然图像数据库中与传统DBN以及BP神经网络做分类性能比较,实验结果表明,改进的DBN的图像平均分类正确率以及时间复杂度都得到了较好的改善。     

基于特征选择和深度信念网络的文本情感分类算法

由于人类语言的复杂性，文本情感分类算法大多都存在因为冗余而造成的词汇量过大的问题。深度信念网络（DBN）通过学习输入语料中的有用信息以及它的几个隐藏层来解决这个问题。然而对于大型应用程序来说，DBN是一个耗时且计算代价昂贵的算法。针对这个问题，提出了一种半监督的情感分类算法，即基于特征选择和深度信念网络的文本情感分类算法（FSDBN）。首先使用特征选择方法（文档频率（DF）、信息增益（IG）、卡方统计（CHI）、互信息（MI））过滤掉一些不相关的特征从而使词汇表的复杂性降低；然后将特征选择的结果输入到DBN中，使得DBN的学习阶段更加高效。将所提算法应用到中文以及维吾尔语中，实验结果表明在酒店评论数据集上，FSDBN在准确率方面比DBN提高了1.6%，在训练时间上比DBN缩短一半。     

基于LBP/VAR与DBN模型的人脸表情识别*

针对现有表情识别研究中均采用有监督模型实现特征提取,提出一种新的基于DBN（Deep Belief Net）模型无监督的表情特征提取与识别方法。首先对人脸表情图片提取对光照与旋转具有鲁棒性的LBP/VAR初次特征,再通过DBN网络对初次特征来实现人脸表情的二次特征提取与分类学习。对DBN参数本文采用动态搜索的方法,即在一个大范围内搜索确定RBM Mini-batch 、BP Mini-batch与RBM隐层数量的最优值,再确定DBN深度与迭代次数最佳值。在CK 数据库上与传统k-NN、SVM有监督分类模型进行的对比实验表明,本文提出的方法在识别率上分别提高了19.34%和14.22%。     

动态深度信念网络模型构建

深度学习是一类新兴的多层神经网络学习算法,因其缓解了传统训练算法的局部最小性,故引起机器学习领域的广泛关注。但是,如何使一个网络模型在选取任意数值的隐藏层节点数时都能够得到一个比较合适的网络结构是目前深度学习界普遍存在的一个开放性问题。文章提出了一种能够动态地学习模型结构的算法——最大判别能力转换法,根据Fisher准则来评估隐藏层每一个节点的判别性能,然后通过动态地选择部分隐层节点来构建最优的模型结构。     

一种基于胶质细胞链的改进深度信念网络模型

深度信念网络(Deep belief network, DBN) 是一种从无标签数据学习特征的多层结构模型. 在同一层单元间缺少连接, 导致数据中的深度关联特征难以提取. 受到人脑中胶质神经细胞机制的启示, 提出一种基于胶质细胞链的改进 DBN 模型及其学习算法, 以提取更多数据信息. 在标准图像分类数据集上的实验结果表明, 与其他几种模型相比, 本文提出的改进 DBN 模型可以提取更为优秀的图像特征, 提高分类准确率.     

动态加权网络中的演化社区发现算法研究

在动态网络中发现社区结构是一个非常复杂而有意义的过程,可以更好地观察和分析网络的演化情况。针对动态加权网络中的社区发现问题,提出了一种结合历史网络社区结构的算法,叫做动态加权网络中的演化社区发现算法（ECDA）。该算法分为两步：结合历史社区和网络结构信息,计算当前时间跳的输入矩阵;然后通过该输入矩阵计算得到结合历史时间跳信息的社区划分结果。该算法有以下优点：可以自动发现动态加权网络中每个时间跳的社区结构;对网络结构的变化和社区结构的变化具有较高的敏锐性。在人工数据集和真实数据集中进行了实验,实验结果证明该算法可以有效地发现动态加权网络中的社区结构,与其他算法相比具有较好的竞争力。     

一种基于EM和分类损失的半监督主动DBN学习算法

对于建立动态贝叶斯网络(DBN)分类模型时,带有类标注样本数据集获得困难的问题,提出一种基于EM和分类损失的半监督主动DBN学习算法.半监督学习中的EM算法可以有效利用未标注样本数据来学习DBN分类模型,但是由于迭代过程中易于加入错误的样本分类信息而影响模型的准确性.基于分类损失的主动学习借鉴到EM学习中,可以自主选择有用的未标注样本来请求用户标注,当把这些样本加入训练集后能够最大程度减少模型对未标注样本分类的不确定性.实验表明,该算法能够显著提高DBN学习器的效率和性能,并快速收敛于预定的分类精度.