多伺服电机智能化协调容错轨迹跟踪控制系统设计

针对一类具有执行器、传感器故障的多伺服电机控制系统,设计了相应的多伺服电机智能化协调容错轨迹跟踪控制系统.首先,提出了一种新结构的分布式中间估计器,修改了其设计结构,提高了估计方案的可行性.其次,通过在线强化学习估计策略,可以显著提高估计性能,其核心是自适应切换机制与源故障模式定位功能块的集成,并根据估计值设计了协调容...     

基于自监督网络的DDPG算法的建筑能耗控制

针对强化学习方法训练能耗控制系统时所存在奖赏稀疏的问题,将一种基于自监督网络的深度确定策略梯度(deep deterministic policy gradient,DDPG)方法应用到建筑能耗控制问题中.首先,处理状态和动作变量作为自监督网络前向模型的输入,预测下一个状态特征向量,同时将预测误差作为好奇心设计内部奖赏...     

融合强化学习和关系网络的样本分类

针对少量训练样本在深度学习算法中难以实现高精度分类的问题,提出一种融合强化学习和关系网络的小样本分类算法。采用图像预处理过程中基于强化学习的美学意识图像自动裁剪模型,通过构建美学意识奖励函数来输出最佳裁剪图像,从而保留图像最具特征部分。利用关系网络模型,将自动裁剪后的小样本图像中的训练样本图像与测试图像通过关系网络中的嵌入模块进行特征提取。将提取后的特征进行特征映射级联,并将级联后的特征映射馈送到关系网络中的关系模块中进行比较,将最终产生的0到1范围内的关系评分作为比较结果,从而判断测试图像所属的类别。在小样本数据集上进行实验并与现有方法进行对比,实验表明该方法能够实现较高精度的小样本分类。     

采用增强学习算法的排课模型

时间表问题是典型的组合优化和不确定性调度问题。课表问题是时间表问题的一种形式,分析了排课问题的数学模型，并研究了用增强学习(Reinforcement Leaming)算法中的Q学习(Q-Leaming)算法和神经网络技术结合解决大学课表编排问题，给出了一个基于该算法的排课模型，并对其排课效果进行了分析和探讨。     

一种基于启发式奖赏函数的分层强化学习方法

针对强化学习在应用中经常出现的维数灾问题,即状态空间的大小随着特征数量的增加而发生指数级的增长,以及收敛速度过慢的问题,提出了一种基于启发式奖赏函数的分层强化学习方法.该方法不仅能够大幅度减少环境状态空间,还能加快学习的收敛速度.将此算法应用到俄罗斯方块的仿真平台中,通过对实验中的参数进行设置及对算法性能进行分析,结果表明:采用启发式奖赏函数的分层强化学习方法能在一定程度上解决维数灾问题,并具有很好的收敛速度.     

基于梯度增强的新闻字幕分割算法

新闻字幕的分割在基于语义的新闻视频检索系统中具有重要的意义,为此提出一种基于梯度增强的新闻字幕分割箅法.该算法使用图像多方向梯度的加权和代替图像的标准方差,通过各方向权值的调节加强某些方向的边缘信息,以提高分割效果.与一些经典的自适应阈值分割算法相比,该算法不仅能够保留大部分笔画,也能有效地减少断笔问题.基于光学文字识别的实验结果证明了文中算法的有效性.     

智能机器人避碰行为学习方法研究

该文采用了两种学习方法,即遗传算法和强化学习实现了智能机器人的避碰行为学习。在介绍了两种学习机制后,给出了仿真实验结果,并对两种学习方法的异同进行了分析。     

基于内部结构MPOMDP模型的策略梯度学习算法

为了提高MPOMDP模型的知识表示能力和推理效率,提出一种基于Agent内部结构的MPOMDP模型。该模型能表示Agent的内部结构及其时间演化,并通过将系统联合概率分布表示成每个Agent内部变量集的局部因式形式,以提高模型的推理效率。将GPI-POMDP算法扩展到基于内部结构的MPOMDP模型中,给出基于内部状态的多Agent策略梯度算法（MIS-GPOMDP）,来求解基于内部结构的MPOMDP。实验结果表明MIS-GPOMDP算法具有较高的推理效率,且算法是收敛的。     

Implicit Continuous User Authentication for Mobile Devices based on Deep Reinforcement Learning

The predominant method for smart phone accessing is confined to methods directing the authentication by means of Point-of-Entry that heavily depend on physiological biometrics like, fingerprint or face. Implicit continuous authentication initiating to be loftier to conventional authentication mechanisms by continuously confirming users’ identities on continuing basis and mark the instant at which an illegitimate hacker grasps dominance of the session. However, divergent issues remain unaddressed. This research aims to investigate the power of Deep Reinforcement Learning technique to implicit continuous authentication for mobile devices using a method called, Gaussian Weighted Cauchy Kriging-based Continuous Czekanowski’s (GWCK-CC). First, a Gaussian Weighted Non-local Mean Filter Preprocessing model is applied for reducing the noise present in the raw input face images. Cauchy Kriging Regression function is employed to reduce the dimensionality. Finally, Continuous Czekanowski’s Classification is utilized for proficient classification between the genuine user and attacker. By this way, the proposed GWCK-CC method achieves accurate authentication with minimum error rate and time. Experimental assessment of the proposed GWCK-CC method and existing methods are carried out with different factors by using UMDAA-02 Face Dataset. The results confirm that the proposed GWCK-CC method enhances authentication accuracy, by 9%, reduces the authentication time, and error rate by 44%, and 43% as compared to the existing methods.     

NeurIPS 2020观察与分析

神经信息处理系统大会（Conference on Neural Information Processing Systems,NeurIPS）是机器学习领域的顶级会议,在中国计算机学会（China Computer Federation,CCF）推荐国际学术会议中被评为人工智能领域的A类会议,一直广受关注。NeurIPS 2020收到了创纪录的9 467篇投稿,最终录用1 898篇论文。收录的论文涵盖了人工智能的各种主题,包括深度学习及其应用、强化学习与规划、纯理论研究、概率方法、优化及机器学习与社会等。本文回顾了NeurIPS 2020的亮点及论文录用情况,详细解读了特邀报告、最佳论文、口头报告及部分海报论文,希望能帮助读者快速了解NeurIPS 2020的盛况。