面向图像自动语句标注的注意力反馈模型

图像自动语句标注利用计算机自动生成描述图像内容的语句,在服务机器人等领域有广泛应用.许多学者已经提出了一些基于注意力机制的算法,但是注意力分散问题以及由注意力分散引起的生成语句错乱问题还未得到较好解决.在传统注意力机制的基础上引入注意力反馈机制,利用关注信息的图像特征指导文本生成,同时借助生成文本中的关注信息进一步修正图像中的关注区域,该过程不断强化图像和文本中的关键信息匹配、优化生成的语句.针对常用数据集Flickr8k, Flickr30k和MSCOCO的实验结果表明,该模型在一定程度上解决了注意力分散和语句顺序错乱问题,比其他基于注意力机制方法标注的关注区域更加准确,生成语句更加通顺.     

基于分类DQN的建筑能耗预测

本文提出一种可用于建筑能耗预测的基于KNN分类器的DQN算法——K-DQN. 其在利用马尔科夫决策过程对建筑能耗进行建模时, 针对大规模动作空间问题, 将原始动作空间缩减进而提高算法的预测精度及收敛速率. 首先, K-DQN将原始动作空间平均划分为多个子动作空间, 并将每个子动作空间对应的状态分为一类, 以此构建KNN分类器. 其次, 利用KNN分类器, 将不同类别相同次序动作进行统一表示, 以实现动作空间的缩减. 最后, K-DQN将状态类别概率与原始状态相结合, 在构建新状态的同时, 帮助确定缩减动作空间内每一动作的具体含义, 从而确保算法的收敛性. 实验结果表明, 文章提出的K-DQN算法可以获得优于DDPG、DQN算法的能耗预测精度, 且降低了网络训练时间.     

基于自监督网络的DDPG算法的建筑能耗控制

针对强化学习方法训练能耗控制系统时所存在奖赏稀疏的问题,将一种基于自监督网络的深度确定策略梯度(deep deterministic policy gradient,DDPG)方法应用到建筑能耗控制问题中.首先,处理状态和动作变量作为自监督网络前向模型的输入,预测下一个状态特征向量,同时将预测误差作为好奇心设计内部奖赏,以解决奖赏稀疏问题.然后,采用数据驱动的方法训练建筑能耗模型,构建天气数据作为输入、能耗数据作为输出.最后,利用基于自监督网络的DDPG方法求解最优控制策略,并以此设定空气处理装置(air handling unit,AHU)的最优排放温度,减少设备能耗.实验结果表明,该方法能够在保持建筑环境舒适的基础上,实现较好的节能效果.     

自适应序列生成的建筑能耗预测

提出一种基于强化学习的生成对抗网络(Reinforcement learning-based Generative Adversarial Networks,Re-GAN)能耗预测方法.该算法将强化学习与生成对抗网络相结合,将GAN(Generative Adversarial Nets)中的生成器以及判别器分别构建为强化学习中Agent(生成器)以及奖赏函数.在训练过程中,将当前的真实能耗序列作为Agent的输入状态,构建一组固定长度的生成序列,结合判别器及蒙特卡洛搜索方法进一步构建当前序列的奖赏函数,并以此作为真实样本序列后续第一个能耗值的奖赏.在此基础之上,构建关于奖赏的目标函数,并求解最优参数.最后使用所提算法对唐宁街综合大楼公开的建筑能耗数据进行预测试验,实验结果表明,所提算法比多层感知机、门控循环神经网络和卷积神经网络具有更高的预测精度.     

基于相对熵的元逆强化学习方法

针对传统逆强化学习算法在缺少足够专家演示样本以及状态转移概率未知的情况下,求解奖赏函数速度慢、精度低甚至无法求解的问题,提出一种基于相对熵的元逆强化学习方法.利用元学习方法,结合与目标任务同分布的一组元训练集,构建目标任务学习先验,在无模型强化学习问题中,采用相对熵概率模型对奖赏函数进行建模,并结合所构建的先验,实现利用目标任务少量样本快速求解目标任务奖赏函数的目的.将所提算法与REIRL算法应用于经典的Gridworld和Obj ect World问题,实验表明,在目标任务缺少足够数目的专家演示样本和状态转移概率信息的情况下,所提算法仍能较好地求解奖赏函数.     

基于随机方差减小方法的DDPG算法

针对深度确定性策略梯度算法（DDPG）收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法（SVR-DDPG）。该算法通过利用随机方差减小梯度技术（SVRG）提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性。     

基于多重指数移动平均评估的DDPG算法

针对深度确定性策略梯度算法中双网络结构的不稳定及单评论家评估不准确的问题,提出基于多重指数移动平均评估的DDPG算法.介绍EM A-Q网络和目标Q网络合作得出目标更新值,对多个评论家给出的Q值求平均,降低单评论家评估的不准确性.样本池部分引入双重经验回放方法,采用两个样本池分别存储不同的经验,提高算法的收敛性能.将所提算法及原始DDPG算法分别实验于经典的Pendulum问题和Mountain Car问题中.实验结果表明,与传统的DDPG算法相比,所提算法准确性更好,稳定性更高,收敛速度明显提升.     

基于Q-Learning算法的建筑能耗预测

提出一种基于Q-learning算法的建筑能耗预测方法.通过将建筑能耗预测问题建模为一个标准的马尔科夫决策过程,利用深度置信网对建筑能耗进行状态建模,结合Q-learning算法,实现对建筑能耗的实时预测.通过美国巴尔的摩燃气和电力公司公开的建筑能耗数据进行测试实验,结果表明,基于本文所提出的模型,利用Q-learning算法可以实现对建筑能耗的有效预测,并在此基础上,基于深度置信网的Q-learning算法具有更高的预测精度.此外,实验部分还进一步验证了算法中相关参数对实验性能的影响.     

基于STM32控制的仓储搬运机器人

针对实际工业生产过程对自动化的需求,阐明了实现精确搬运的智能机器人的设计.该机器人运用灰度、颜色传感器完成循迹、颜色识别的导向识别功能;通过STM32产生PMW波形控制伺服电机的转动,精确搬运物料;模拟真实厂区环境,规划高容错率行进路线.实验表明,机器人设计简单,易于实现与批量生产,实用可靠,可在自动化领域广泛推广.