基于值函数估计的参数探索策略梯度算法

策略梯度估计方差大是策略梯度算法存在的普遍问题,基于参数探索的策略梯度算法（PGPE）通过使用确定性策略有效缓解了这一问题。然而,PGPE算法基于蒙特卡罗方法进行策略梯度的估计,需要大量学习样本才能保证梯度估计相对稳定,因此,梯度估计方差大阻碍了其在现实问题中的实际应用。为进一步减小PGPE算法策略梯度估计的方差,提出了基于值函数估计的参数探索策略梯度算法（PGPE-FA）,该算法在PGPE算法中引入Actor-Critic框架。具体地,提出的方法使用价值函数估计策略梯度,代替了PGPE方法使用轨迹样本估计策略梯度的方式,从而减小梯度估计方差。最后,通过实验验证了所提算法能够减小梯度估计的方差。     

基于协同过滤的美食推荐算法

为了解决传统的基于用户的协同过滤算法中的数据稀疏性问题,提高推荐的准确率,本文对推荐算法进行了改进并将改进后的算法应用在美食推荐领域。首先,利用均值中心化方法对实验数据进行处理,减少因个人评分习惯差异造成的推荐误差。然后,通过使用改进的空值填补法降低评分矩阵的稀疏性。最后,在计算相似度时引入了遗忘函数和用户间的信任度,进一步提高了推荐系统的准确性。实验表明,本文提出的改进算法比传统算法有更高的准确率,并得出了在推荐过程中考虑用户和项目外的其他因素以及针对不同的数据信息采用不同的算法,都有利于提高推荐准确率的重要结论。     

基于互信息最大化的意图强化学习方法的研究

强化学习主要研究智能体如何根据环境作出较好的决策,其核心是学习策略。基于传统策略模型的动作选择主要依赖于状态感知、历史记忆及模型参数等,其智能体行为很难受到控制。然而,当人类智能体完成任务时,通常会根据自身的意愿或动机选择相应的行为。受人类决策机制的启发,为了让强化学习中的行为选择可控,使智能体能够根据意图选择动作,将意图变量加入到策略模型中,提出了一种基于意图控制的强化学习策略学习方法。具体地,通过意图变量与动作的互信息最大化使两者产生高相关性,使得策略能够根据给定意图变量选择相关动作,从而达到对智能体的控制。最终,通过复杂的机器人控制仿真任务Mujoco验证了所提方法能够有效地通过意图变量控制机器人的移动速度和移动角度。     

胶囊网络模型综述

基于动态路由规则的胶囊网络模型是近年来新提出的神经网络模型，被认为可能成为下一代重要的神经网络模型。近年来，众多研究表明胶囊网络具备更好地拟合特征的能力，但是由于计算开销巨大，网络模型始终无法适应大数据集的要求。减少计算开销成为了胶囊网络的研究热点。减少胶囊网络的计算开销通常有两种方式，即优化胶囊法和优化路由法。优化胶囊法通常以应用目的为驱动，设计专门针对某种分类任务的网络模型；优化路由法则更具一般性，从算法角度提升胶囊网络的性能。     

基于Ising计算树的均值场区间传播算法

基于不完全泛函迭代,设计一个均值场区间传播算法,可给出变量期望界.首先,定义Ising均值场计算树模型来表示Ising均值场迭代计算过程.然后,基于Ising计算树设计均值场区间传播算法,通过在计算树上进行消息区间传播,计算出根变量簇变量期望区间.同时证明在2层计算树上区间传播算法给出的变量期望区间包含期望精确值,即给出变量期望界.最后,通过对比实验验证该算法的有效性和期望界的紧致性.     

Ising图模型概率推理的计算复杂性

图模型概率推理的主要任务是通过对联合概率分布进行变量求和来计算配分函数、变量边缘概率分布、条件 概率分布等。图模型概率推理计算复杂性及近似概率推理的计算复杂性是一重要的理论问题,也是设计概率推理算 法和近似概率推理算法的理论基础。研究了Ising图模型概率推理的计算复杂性,包括概率推理的难解性及不可近似 性。具体地,通过构建#2 SA"I'问题到Icing图模型概率推理问题的多项式时间计数归约,证明在一般 Ising图模型上 计算配分函数、变量边缘概率分布、条件概率分布的概率推理问题是#P难的,同时证明Icing图模型近似概率推理问 题是NP难的,即一般Icing图模型上的概率推理问题是难解且不可近似的。     

熵正则化下的变分深度生成聚类模型

基于深度学习的聚类方法可以自动学习到数据的隐层特征表示,并可方便应用于高维大规模数据集上。传统深度聚类方法更多关注通过深层神经网络去提取数据的隐层特征来提升聚类精度,较少对聚类任务中数据类别的确定性问题进行分析,同时缺乏对施加约束后的离散隐向量分布的分析。提出熵正则化下的变分深度生成聚类模型（VDGC-ER）,以变分自编码为基础框架,对连续向量进行高斯混合先验建模,并以高斯混合中的离散隐向量作为类别向量。通过对离散隐向量引入样本熵正则化项增强预测聚类类别的区分度,同时对离散隐向量定义聚合样本熵正则化项以降低聚类不平衡,避免局部最优,并提升生成数据多样性。之后,采用蒙特卡洛采样及重参策略估计VDGC-ER模型的优化目标,并利用随机梯度下降法求解模型参数。最后在MNIST数据集、REUTERS数据集、REUTERS-10K数据集和HHAR数据集上设计了对比实验,验证了VDGCER模型不仅可以生成高质量的样本,而且可以显著提升聚类精度。     

概率生成模型变分推理方法综述

概率生成模型是知识表示的重要方法,在该模型上计算似然函数的概率推理问题一般是难解的.变分推理是重要的确定性近似推理方法,具有较快的收敛速度、坚实的理论基础.尤其随着大数据时代的到来,概率生成模型变分推理方法受到工业界和学术界的极大关注.综述了多种概率生成模型变分推理框架及最新进展,具体包括:首先综述了概率生成模型变分推理一般框架及基于变分推理的生成模型参数学习过程;然后对于条件共轭指数族分布,给出了具有解析优化式的变分推理框架及该框架下可扩展的随机化变分推理;进一步,对于一般概率分布,给出了基于随机梯度的黑盒变分推理框架,并简述了该框架下多种变分推理算法的具体实现;最后分析了结构化变分推理,通过不同方式丰富变分分布提高推理精度并改善近似推理一致性.此外,展望了概率生成模型变分推理的发展趋势.     

高斯均值场变分推理的收敛性和精确性

高斯马尔可夫随机场模型是具有马尔可夫性质、符合多元高斯分布的概率模型.均值场变分方法是图模型最基本的变分近似推理方法.基于指数族变分近似推理框架,分析了高斯马尔可夫随机场模型均值场变分近似推理的收敛性和精确性,证明了均值场变分近似推理关于一阶均值参数是收敛的.进一步给出了模型的各个变量不完全独立时,对数配分函数的最优下界和迭代误差的解析式.最后,通过数值模拟实验,验证了理论分析的结果.