胶囊网络模型综述

基于动态路由规则的胶囊网络模型是近年来新提出的神经网络模型，被认为可能成为下一代重要的神经网络模型。近年来，众多研究表明胶囊网络具备更好地拟合特征的能力，但是由于计算开销巨大，网络模型始终无法适应大数据集的要求。减少计算开销成为了胶囊网络的研究热点。减少胶囊网络的计算开销通常有两种方式，即优化胶囊法和优化路由法。优化胶囊法通常以应用目的为驱动，设计专门针对某种分类任务的网络模型；优化路由法则更具一般性，从算法角度提升胶囊网络的性能。     

基于Ising计算树的均值场区间传播算法

基于不完全泛函迭代,设计一个均值场区间传播算法,可给出变量期望界.首先,定义Ising均值场计算树模型来表示Ising均值场迭代计算过程.然后,基于Ising计算树设计均值场区间传播算法,通过在计算树上进行消息区间传播,计算出根变量簇变量期望区间.同时证明在2层计算树上区间传播算法给出的变量期望区间包含期望精确值,即给出变量期望界.最后,通过对比实验验证该算法的有效性和期望界的紧致性.     

基于互信息最大化的意图强化学习方法的研究

强化学习主要研究智能体如何根据环境作出较好的决策,其核心是学习策略。基于传统策略模型的动作选择主要依赖于状态感知、历史记忆及模型参数等,其智能体行为很难受到控制。然而,当人类智能体完成任务时,通常会根据自身的意愿或动机选择相应的行为。受人类决策机制的启发,为了让强化学习中的行为选择可控,使智能体能够根据意图选择动作,将意图变量加入到策略模型中,提出了一种基于意图控制的强化学习策略学习方法。具体地,通过意图变量与动作的互信息最大化使两者产生高相关性,使得策略能够根据给定意图变量选择相关动作,从而达到对智能体的控制。最终,通过复杂的机器人控制仿真任务Mujoco验证了所提方法能够有效地通过意图变量控制机器人的移动速度和移动角度。     

Ising图模型概率推理的计算复杂性

图模型概率推理的主要任务是通过对联合概率分布进行变量求和来计算配分函数、变量边缘概率分布、条件 概率分布等。图模型概率推理计算复杂性及近似概率推理的计算复杂性是一重要的理论问题,也是设计概率推理算 法和近似概率推理算法的理论基础。研究了Ising图模型概率推理的计算复杂性,包括概率推理的难解性及不可近似 性。具体地,通过构建#2 SA"I'问题到Icing图模型概率推理问题的多项式时间计数归约,证明在一般 Ising图模型上 计算配分函数、变量边缘概率分布、条件概率分布的概率推理问题是#P难的,同时证明Icing图模型近似概率推理问 题是NP难的,即一般Icing图模型上的概率推理问题是难解且不可近似的。     

基于协同过滤的美食推荐算法

为了解决传统的基于用户的协同过滤算法中的数据稀疏性问题,提高推荐的准确率,本文对推荐算法进行了改进并将改进后的算法应用在美食推荐领域。首先,利用均值中心化方法对实验数据进行处理,减少因个人评分习惯差异造成的推荐误差。然后,通过使用改进的空值填补法降低评分矩阵的稀疏性。最后,在计算相似度时引入了遗忘函数和用户间的信任度,进一步提高了推荐系统的准确性。实验表明,本文提出的改进算法比传统算法有更高的准确率,并得出了在推荐过程中考虑用户和项目外的其他因素以及针对不同的数据信息采用不同的算法,都有利于提高推荐准确率的重要结论。     

概率生成模型变分推理方法综述

概率生成模型是知识表示的重要方法,在该模型上计算似然函数的概率推理问题一般是难解的.变分推理是重要的确定性近似推理方法,具有较快的收敛速度、坚实的理论基础.尤其随着大数据时代的到来,概率生成模型变分推理方法受到工业界和学术界的极大关注.综述了多种概率生成模型变分推理框架及最新进展,具体包括:首先综述了概率生成模型变分推理一般框架及基于变分推理的生成模型参数学习过程;然后对于条件共轭指数族分布,给出了具有解析优化式的变分推理框架及该框架下可扩展的随机化变分推理;进一步,对于一般概率分布,给出了基于随机梯度的黑盒变分推理框架,并简述了该框架下多种变分推理算法的具体实现;最后分析了结构化变分推理,通过不同方式丰富变分分布提高推理精度并改善近似推理一致性.此外,展望了概率生成模型变分推理的发展趋势.     

高斯均值场变分推理的收敛性和精确性

高斯马尔可夫随机场模型是具有马尔可夫性质、符合多元高斯分布的概率模型.均值场变分方法是图模型最基本的变分近似推理方法.基于指数族变分近似推理框架,分析了高斯马尔可夫随机场模型均值场变分近似推理的收敛性和精确性,证明了均值场变分近似推理关于一阶均值参数是收敛的.进一步给出了模型的各个变量不完全独立时,对数配分函数的最优下界和迭代误差的解析式.最后,通过数值模拟实验,验证了理论分析的结果.     

基于均值场计算树的Ising图模型消息族传播算法

提出基于均值场计算树的Ising图模型消息族传播算法。首先定义Ising图模型均值场计算树和均值场剪枝计算树概念来描述Ising图模型均值场推理方法的迭代计算过程。然后基于均值场计算树设计Ising图模型消息族传播算法,指出沿着计算树自底向上逐层进行消息族传播,可计算根节点变量的边缘概率分布族。同时证明基于均值场剪枝计算树的消息族传播算法可计算出变量边缘概率分布的界,即此时的边缘概率分布族包括边缘概率分布精确值。最后通过数值实验验证消息族传播算法的有效性和边缘概率分布界的紧致性。     

基于耦合度的高斯均值场归一化结构选择算法

高斯Markov随机场是具有Markov性质、符合多元高斯分布的概率模型. 高斯均值场是高斯Markov随机场模型上一种基本的变分推理方法,该方法通过引入基于变量簇分解的自由分布进行变分转换,计算出目标函数的下界. 自由分布结构选择是变分推理的重要步骤,也是折中变分精度与计算复杂性的关键. 提出了一个新的结构选择标准,并设计了一个结构选择算法. 首先,在高斯Markov随机场上定义了耦合度和类耦合度概念来度量变量簇间的依赖关系,证明了高斯均值场的耦合度-精度定理,并进一步给出了类耦合度结构选择指标;然后,结合类耦合度指标和变量簇归一化技术,设计了一个高斯均值场结构选择算法;通过对比实验验证了算法的有效性.