结合LSTM的强化学习动态环境路径规划算法

在路径规划领域已经涌现出了诸多的优秀的经典算法,但这些传统方法往往基于静态环境,对于动态可变环境缺乏处理能力.本文提出一种结合LSTM强化学习动态环境路径规划算法.首先,本文以环境图像作为输入,最大限度了保证了原始的信息来源.而后构建了自动编码器用来对环境图像进行特征降维,降低了整体模型的复杂程度.最后采用深度强化学习算法DDPG进行路径规划,其中Actor部分采用LSTM的网络构建,使Actor在决策时可以参考前序信息,做到有预测的避开动态障碍.最后通过实验证明了本文算法的可行性和高效性.     

基于随机方差减小方法的DDPG算法

针对深度确定性策略梯度算法（DDPG）收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法（SVR-DDPG）。该算法通过利用随机方差减小梯度技术（SVRG）提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性。     

基于DDPG的柔性伺服系统级联陷波器设计

针对柔性伺服系统的多频谐振抑制问题,提出一种基于DDPG的级联陷波器参数整定方法。以系统速度环开环bode图及陷波器bode图预处理结果作为训练数据,并以相位裕度作为奖励函数训练神经网络,实现所设计的伺服系统级联陷波器深度及宽度参数优化训练。搭建了三质量柔性伺服系统实验平台,并开展了多频谐振抑制实验,实验结果表明所提出的参数选择方法能够 找到具有最大相位裕度的陷波器参数,并有效地抑制系统多频谐振。     

基于深度强化学习的机械臂控制快速训练方法

人工智能在机器人控制中得到广泛应用,机器人控制算法也逐渐从模型驱动转变为数据驱动。深度强化学习算法可在复杂环境中感知并决策,能够解决高维度和连续状态空间下的机械臂控制问题。然而,目前深度强化学习中数据驱动的训练过程非常依赖计算机GPU算力,且训练时间成本较大。提出基于深度强化学习的先简化模型（2D模型）再复杂模型（3D模型）的机械臂控制快速训练方法。采用深度确定性策略梯度算法代替机械臂传统控制算法中的逆运动学解算方法,直接通过数据驱动的训练过程控制机械臂末端到达目标位置,从而减小训练时间成本。同时,对于状态向量和奖励函数形式,使用不同的设置方式。将最终训练得到的算法模型在真实机械臂上进行实现和验证,结果表明,其控制效果达到了分拣物品的应用要求,相比于直接在3D模型中的训练,能够缩短近52%的平均训练时长。     

双掺杂多晶Si栅MOSFET的截止频率研究

在前期对双掺杂多晶Si栅(DDPG)LDMOSFET的电场、阈值电压、电容等特性所作分析的基础上,仍然采用双掺杂多晶Si栅结构,以低掺杂漏/源MOS(LDDMOS)为基础,重点研究了DDPG-LDDMOSFET的截止频率特性.通过MEDICI软件,模拟了栅长、栅氧化层厚度、源漏区结深、衬底掺杂浓度以及温度等关键参数对器件截止频率的影响,并与相同条件下P型单掺杂多晶Si栅(p-SDPG)MOSFET的频率特性进行了比较.仿真结果发现,在栅长90 nm、栅氧厚度2 nm,栅极P,n掺杂浓度均为5×1019cm-3条件下,截止频率由78.74 GHz提高到106.92 GHz,幅度高达35.8%.此结构很好地改善了MOSFET的频率性能,得出的结论对于结构的设计制作和性能优化具有一定的指导作用,在射频领域有很好的应用前景.     

复合多晶硅栅LDD MOSFET制造工艺研究

通过工艺模拟软件TSUPREM,设计了一种复合多晶硅栅(DDPG-MOS FET)的制造工艺,并使用MEDICI软件对采用该工艺的器件的频率特性和瞬态特性进行分析。结果表明,DDPG-MOS制造工艺简单、完全与CMOS工艺兼容,其结构明显改善了传统MOSFET的多项性能,在射频领域具有很好的应用前景。     

基于奖励预测误差的内在好奇心方法

针对状态预测误差直接作为内在好奇心奖励,在状态新颖性与奖励相关度低的任务中强化学习智能体不能有效探索环境的问题,提出一种基于奖励预测误差的内在好奇心模块（RPE-ICM）。RPE-ICM利用奖励预测误差网络（RPE-Network）学习并修正状态预测误差奖励,并将奖励预测误差（RPE）模型的输出作为一种内在奖励信号去平衡探索过度与探索不足,使得智能体能够更有效地探索环境并利用奖励去学习技能,从而达到更好的学习效果。在不同的MuJoCo环境中使用RPE-ICM、内在好奇心模块（ICM）、随机蒸馏网络（RND）以及传统的深度确定性策略梯度（DDPG）算法进行对比实验。结果表明,相较于传统DDPG、ICM-DDPG以及RND-DDPG,基于RPE-ICM的DDPG算法的平均性能在Hopper环境中分别提高了13.85%、13.34%和20.80%。     

基于DDPG算法的混动铲运机能量管理策略研究

目前混合动力铲运机能量管理策略通常为基于规则的策略,为了进一步优化铲运机的燃油经济性与系统能量稳定性,首次将深度确定性策略梯度(DDPG)算法应用于混合动力铲运机的能量管理策略,针对铲运机高频率循环、短时大功率输出的特点,协调控制系统能量流动,满足整车功率需求的同时,对发动机的工作区域进行“削峰填谷”,在减少油耗的同时保持超级电容SOC的控制目标下,设计奖励函数。利用基于DDPG算法的能量管理策略在铲运机不同循环工况下进行了仿真实验。结果表明,相比于传统的基于规则的能量管理策略,利用基于DDPG算法的能量管理策略,在两种工况下节油效果分别达到了8.36%与8.41%,同时更充分地利用到了超级电容的能量缓冲作用。     

复杂煤层条件下采煤机自适应截割控制策略

采煤机是综采工作面的核心装备,复杂煤层条件下,其工况恶劣、环境复杂,采掘装备智能化程度不高,导致我国煤矿开采灾害多、煤机适应性不强、故障率高、效率低,提高煤机装备的可靠性与适应性是煤矿智能化发展的主要任务之一.采煤机工作机构与复杂煤层耦合作用机理及煤岩截割状态与动力传递系统的导控机制,是实现采煤机智能高效截割的关键.基...     

基于自监督网络的DDPG算法的建筑能耗控制

针对强化学习方法训练能耗控制系统时所存在奖赏稀疏的问题,将一种基于自监督网络的深度确定策略梯度(deep deterministic policy gradient,DDPG)方法应用到建筑能耗控制问题中.首先,处理状态和动作变量作为自监督网络前向模型的输入,预测下一个状态特征向量,同时将预测误差作为好奇心设计内部奖赏...