强化学习算法研究

针对智能Agent运动中普遍存在的避障问题,结合强化学习具有的试错和环境交互获得在莱状态下选择动作的策略以及无导师在线学习等特性.在介绍强化学习的原理、分类以及主要算法(TD(λ)、Q_learning、Dyna,Prioritized Sweeping、Sarsa)的基础上,对TS(λ)、Q_learning的算法进行分析,并将其应用到实验中.实验结果表明,强化学习中的TS(λ)、Q_learning等算法在不同情况下都能高效地解决避障等问题.     

基于强化学习的相关反馈图像检索算法

相关反馈算法是图像检索不可缺的重要组成部分,是近来图像检索中研究的一个热点。提出了基于强化学习的相关反馈算法。根据强化学习中的Q_学习函数,建立矩阵Q,对每幅图像建立对应的一项Q_i（i=1,2,…,n）,记录每幅图像的本次检索中的累计反馈值,并根据加权特征法计算新的特征,对于每幅反馈的图像根据Q_学习函数计算其当前的累计反馈值。Q值越大即越与例子图像相关。由于强化学习是通过不断对环境的反馈来获得最佳的路径,这与相关反馈通过对用户检索意图的摸索来获得最优答案的思想一致。实验表明,提出的相关反馈算法具有更大的优越性。     

MPSK数字解调器同步方案的实现

多进制相移键控MPSK调制信号的解调中,为提高解调性能,得到精确快速的载波同步和时钟同步,需要对载波检测和时钟检测作精心的设计。对MPSK的数字解调方法做了一些探讨,在载波同步中,分析了基于功率检测的频差检测方法及基于相差检测进行相位锁定的方法;详细介绍了时钟同步的波形估计方法的基本原理及幅度和频谱宽度对定时误差的影响。     

基于用户偏好特征挖掘的个性化推荐算法

为了提升社交网络个性化推荐能力,结合用户行为分布进行个性化推荐设计,文中提出基于用户行为特征挖掘的个性化推荐算法,构建社交网络的用户行为信息特征挖掘模型,采用显著数据分块检测方法对社交网络用户特征的行为信息进行融合处理,提取反映用户偏好的语义信息特征量。从情感、关键词和结构等方面根据用户行为特征组,结合模糊信息感知方法进行社交网络个性化推荐过程中的信息融合处理,在关联规则约束控制下,构建社交网络用户偏好特征的混合推荐模型,实现用户偏好特征挖掘,根据语义分布和用户的行为偏好实现社交网络的个性化信息推荐。仿真结果表明,采用所提方法进行社交网络个性化推荐的特征分辨能力较好,对用户行为特征的准确识别能力较强,提高了社交网络推荐输出的准确性。     

一种基于独立任务的POMDP问题的解决方法*

部分可观测马尔可夫决策过程(POMDP)是马尔可夫决策过程(MDP)的扩展。通常利用POMDPs来模拟在部分可观测的随机环境中决策的Agents。针对完整POMDP的求解方法扩展能力弱的问题,提出把一个多元的POMDP分解成一组受限制的POMDPs,然后分别独立地求解每个这样的模型,获得一个值函数并将这些受限制的POMDPs的值函数结合起来以便获得一个完整POMDP的策略。该方法主要阐述了识别与独立任务相关的状态变量的过程,以及如何构造一个被限制在一个单独任务上的模型。将该方法应用到两个不同规模的岩石采样问题中,实验结果表明,该方法能够获得很好的策略。     

塔贝拉水电站扩建工程水库深水探测技术研究

在简述深水水下机器人探测和混合气潜水技术的基础上,针对塔贝拉水电站叠梁门安装工程水下探测中水下情况不明、水深大、能见度低等特点,探索了水下机器人初探结合潜水员进行复杂作业的库底深水探测技术,并在叠梁门门槽淤积情况探测、门槽水下锈蚀状况与上方淤积体勘测、百米深水下清障和除锈除垢作业等方面成功应用。研究成果对水库和浅海水下探测工程具有借鉴意义。     

GIS技术在FTTx网络接入规划中的应用

针对大规模FTTx网络建设与已有维护模式不相适应的问题,利用GIS技术设计实现FTTx接入规划决策支撑系统。应用结果表明,该系统提高了FTTx接入规划工作的效率和质量,降低了管理成本。     

工程决算文件自动生成系统的开发与应用

系统能归并工程信息并按规则进行检验,最后自动生成决算文件。应用结果表明,通过使用该系统使工程管理员搜集基础数据和编制决算文件,以及项目管理员和工程财务人员审核所花的平均时长,可由传统方式下的1．5h减少到目前的15min,大大提高了工程管理工作效率,节约了大量人力成本。     

一种优先级扫描的Dyna结构优化算法

不确定环境的时序决策问题是强化学习研究的主要内容之一,agent的目标是最大化其与环境交互过程中获得的累计奖赏值.直接学习方法寻找最优策略的算法收敛效率较差,而采用Dyna结构将学习与规划并行集成,可提高算法的收敛效率.为了进一步提高传统Dyna结构的收敛速度和收敛精度,提出了Dyna-PS算法,并在理论上证明了其收敛性.该算法在Dyna结构规划部分使用优先级扫描算法的思想,对优先级函数值高的状态优先更新,剔除了传统值迭代、策略迭代过程中不相关和无更新意义的状态更新,提升了规划的收敛效率,从而进一步提升了Dyna结构算法的性能.将此算法应用于一系列经典规划问题,实验结果表明,Dyna-PS算法有更快的收敛速度和更高的收敛精度,且对于状态空间的增长具有较强的鲁棒性.