一种基于独立任务的POMDP问题的解决方法*

部分可观测马尔可夫决策过程(POMDP)是马尔可夫决策过程(MDP)的扩展。通常利用POMDPs来模拟在部分可观测的随机环境中决策的Agents。针对完整POMDP的求解方法扩展能力弱的问题,提出把一个多元的POMDP分解成一组受限制的POMDPs,然后分别独立地求解每个这样的模型,获得一个值函数并将这些受限制的POMDPs的值函数结合起来以便获得一个完整POMDP的策略。该方法主要阐述了识别与独立任务相关的状态变量的过程,以及如何构造一个被限制在一个单独任务上的模型。将该方法应用到两个不同规模的岩石采样问题中,实验结果表明,该方法能够获得很好的策略。     

基于用户偏好特征挖掘的个性化推荐算法

为了提升社交网络个性化推荐能力,结合用户行为分布进行个性化推荐设计,文中提出基于用户行为特征挖掘的个性化推荐算法,构建社交网络的用户行为信息特征挖掘模型,采用显著数据分块检测方法对社交网络用户特征的行为信息进行融合处理,提取反映用户偏好的语义信息特征量。从情感、关键词和结构等方面根据用户行为特征组,结合模糊信息感知方法进行社交网络个性化推荐过程中的信息融合处理,在关联规则约束控制下,构建社交网络用户偏好特征的混合推荐模型,实现用户偏好特征挖掘,根据语义分布和用户的行为偏好实现社交网络的个性化信息推荐。仿真结果表明,采用所提方法进行社交网络个性化推荐的特征分辨能力较好,对用户行为特征的准确识别能力较强,提高了社交网络推荐输出的准确性。     

基于改进相似度传播算法的本体匹配

为解决本体异构、实现不同本体应用程序间互操作以及数据集成,提出一种基于RDF图的改进相似度传播匹配算法。首先通过WordNet发现初始相似对种子,经过预处理把本体表示成RDF三元组形式,针对RDF图的特点,将相似度传播的条件扩展到三元组中,发现可能相似对;然后采用综合元素特征的方法计算相似度。相似度传播、发现可能相似对种子、相似度计算是一个循环迭代的过程,直到满足收敛条件。实验表明了该算法的有效性,并在时间性能上也有所提高。     

基于自适应归一化 RBF 网络的Q-V 值函数协同逼近模型

径向基函数网络逼近模型可以有效地解决连续状态空间强化学习问题。然而,强化学习的在线特性决定了 RBF 网络逼近模型会面临“灾难性扰动”,即新样本作用于学习模型后非常容易对先前学习到的输入输出映射关系产生破坏。针对 RBF 网络逼近模型的“灾难性扰动”问题,文中提出了一种基于自适应归一化 RBF（ANRBF）网络的 Q-V 值函数协同逼近模型及对应的协同逼近算法———QV（λ）。该算法对由 RBFs 提取得到的特征向量进行归一化处理,并在线自适应地调整 ANRBF 网络隐藏层节点的个数、中心及宽度,可以有效地提高逼近模型的抗干扰性和灵活性。协同逼近模型中利用 Q 和V 值函数协同塑造 TD 误差,在一定程度上利用了环境模型的先验知识,因此可以有效地提高算法的收敛速度和初始性能。从理论上分析了 QV（λ）算法的收敛性,并对比其他的函数逼近算法,通过实验验证了 QV（λ）算法具有较优的性能。     

一种基于高斯过程的行动者评论家算法

强化学习领域的一个研究难点是在大规模或连续空间中平衡探索和利用的问题。针对该问题,应运函数近似与高斯过程方法,提出新的行动者评论家 (Actor-Critic,AC)算法。该算法在Actor中使用时间差分误差构造关于策略参数的更新公式;在Critic中利用高斯过程对线性带参值函数建模,结合生成模型,根据贝叶斯推理,求解值函数的后验分布。将该算法应用于平衡杆实验中,实验结果表明,算法收敛速度较快,可以有效解决在大规模或连续空间中探索和利用的平衡问题,具有较好的性能。     

一种三角形网格空洞修复算法

无线传感器网络由大量传感器节点组成,在网络初始化时节点随机部署在目标区域中,导致某一区域未被覆盖而形成覆盖空洞.针对目标区域中存在覆盖空洞问题,设计了一种基于三角形网格的无需地理信息的空洞探测算法ATN和空洞修复算法TNR.利用ATN算法检测节点与其邻居形成的三角形网格是否被完全覆盖,TNR算法以ATN算法理论为基础,向三角形网格中添加节点使目标区域完全覆盖.理论与仿真实验分析表明,ANR算法能够探测出目标区域中所有空洞,TNR算法在部署密集的传感网络中能够快速完成空洞修复.     

一种基于语义Tableau的不相容知识处理方法

Tableau作为自动推理的有效方法之一，在许多人工智能领域中有重要的应用。在Tableau基础上，该文提出了Tableau开放和封闭的推理标准，应用于数据库实例不满足完整性约束的不相容关系数据库中，并对其进行修正。采用了逻辑程序的方法，对数据库进行修正，解决了传统修正方法丢失信息、出现不相容等问题。     

空间索引的混合树结构研究

针对大型的空间数据库和多媒体数据库的应用,R-树索引结构是一种有效的高维数据索引结构,但R树也有其缺点,文章提出了一种基于四叉树和R-树的混合树空间索引结构,研究结果表明:在存储开销上,混合树比R-树略高,但插入、删除、特别是查找的性能得到了显著的提高,且索引量越大,混合树的查找性能越明显优于R-树。     

基于双重注意力机制的异步优势行动者评论家算法

深度强化学习是目前机器学习领域发展最快的技术之一.传统的深度强化学习方法在处理高维度大状态的空间任务时,庞大的计算量导致其训练时间过长.虽然异步深度强化学习利用异步方法极大缩短了训练时间,但会忽略某些更具价值的图像区域和图像特征.针对上述问题,本文提出了一种基于双重注意力机制的异步优势行动者评论家算法.新算法利用特征注意力机制和视觉注意力机制来改进传统的异步深度强化学习模型.其中,特征注意力机制为卷积神经网络卷积后的所有特征图设置不同的权重,使得智能体聚焦于重要的图像特征;同时,视觉注意力机制为图像不同区域设置权重参数,权重高的区域表示该区域信息对智能体后续的策略学习有重要价值,帮助智能体更高效地学习到最优策略.新算法引入双重注意力机制,从表层和深层两个角度对图像进行编码表征,帮助智能体将聚焦点集中在重要的图像区域和图像特征上.最后,通过Atari 2600部分经典实验验证了基于双重注意力机制的异步优势行动者评论家算法的有效性.     

虚拟现实GIS核心技术的研究

数字城市、数字流域是GIS的研究热点，而虚拟现实GIS是实现数字城市、数字流域的手段之一，文中研究了实现基于虚拟现实技术的三维Web GIS的若干核心技术。