基于随机方差减小方法的DDPG算法

针对深度确定性策略梯度算法（DDPG）收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法（SVR-DDPG）。该算法通过利用随机方差减小梯度技术（SVRG）提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性。     

基于DDPG的柔性伺服系统级联陷波器设计

针对柔性伺服系统的多频谐振抑制问题,提出一种基于DDPG的级联陷波器参数整定方法。以系统速度环开环bode图及陷波器bode图预处理结果作为训练数据,并以相位裕度作为奖励函数训练神经网络,实现所设计的伺服系统级联陷波器深度及宽度参数优化训练。搭建了三质量柔性伺服系统实验平台,并开展了多频谐振抑制实验,实验结果表明所提出的参数选择方法能够 找到具有最大相位裕度的陷波器参数,并有效地抑制系统多频谐振。     

基于奖励预测误差的内在好奇心方法

针对状态预测误差直接作为内在好奇心奖励,在状态新颖性与奖励相关度低的任务中强化学习智能体不能有效探索环境的问题,提出一种基于奖励预测误差的内在好奇心模块（RPE-ICM）。RPE-ICM利用奖励预测误差网络（RPE-Network）学习并修正状态预测误差奖励,并将奖励预测误差（RPE）模型的输出作为一种内在奖励信号去平衡探索过度与探索不足,使得智能体能够更有效地探索环境并利用奖励去学习技能,从而达到更好的学习效果。在不同的MuJoCo环境中使用RPE-ICM、内在好奇心模块（ICM）、随机蒸馏网络（RND）以及传统的深度确定性策略梯度（DDPG）算法进行对比实验。结果表明,相较于传统DDPG、ICM-DDPG以及RND-DDPG,基于RPE-ICM的DDPG算法的平均性能在Hopper环境中分别提高了13.85%、13.34%和20.80%。     

基于自监督网络的DDPG算法的建筑能耗控制

针对强化学习方法训练能耗控制系统时所存在奖赏稀疏的问题,将一种基于自监督网络的深度确定策略梯度(deep deterministic policy gradient,DDPG)方法应用到建筑能耗控制问题中.首先,处理状态和动作变量作为自监督网络前向模型的输入,预测下一个状态特征向量,同时将预测误差作为好奇心设计内部奖赏...     

基于DDPG算法的微网负载端接口变换器自抗扰控制

直流微电网是新能源综合利用的重要形式,但其中的分布式接口往往存在着强随机性扰动,这给直流变换器的稳压控制带来了诸多问题。为了尽可能地抑制控制器参数固定时这种不确定性特征引起的不利影响,提出了一种利用深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法整定线性自抗扰控制器参数的方法。依靠引入了智能算法的自抗扰微电网控制系统,实现了控制器参数的自适应调整,从而实现了微电网接口变换器的稳定运行。通过仿真对比了各类典型工况下,DDPG-LADRC与传统线性自抗扰控制器(linearactivedisturbance rejection control, LADRC)、双闭环比例-积分控制器的性能差异,验证了所提控制策略的有效性。而参数摄动下的鲁棒性分析结果结合多项指标下的系统整体性分析,充分体现了控制器参数的智能化调整所带来的多工况自适应性增益的优越性,具备较强的工程价值。     

复合多晶硅栅LDD MOSFET制造工艺研究

通过工艺模拟软件TSUPREM,设计了一种复合多晶硅栅(DDPG-MOS FET)的制造工艺,并使用MEDICI软件对采用该工艺的器件的频率特性和瞬态特性进行分析。结果表明,DDPG-MOS制造工艺简单、完全与CMOS工艺兼容,其结构明显改善了传统MOSFET的多项性能,在射频领域具有很好的应用前景。     

基于深度强化学习的端到端无人驾驶决策

端到端的驾驶决策是无人驾驶领域的研究热点.本文基于DDPG（Deep Deterministic Policy Gradient）的深度强化学习算法对连续型动作输出的端到端驾驶决策展开研究.首先建立基于DDPG算法的端到端决策控制模型,模型根据连续获取的感知信息（如车辆转角,车辆速度,道路距离等）作为输入状态,输出车辆驾驶动作（加速,刹车,转向）的连续型控制量.然后在TORCS（The Open Racing Car Simulator）平台下不同的行驶环境中进行训练并验证,结果表明该模型可以实现端到端的无人驾驶决策.最后与离散型动作输出的DQN（Deep Q-learning Network）模型进行对比分析,实验结果表明DDPG决策模型具有更优越的决策控制效果.     

双掺杂多晶Si栅MOSFET的截止频率研究

在前期对双掺杂多晶Si栅(DDPG)LDMOSFET的电场、阈值电压、电容等特性所作分析的基础上,仍然采用双掺杂多晶Si栅结构,以低掺杂漏/源MOS(LDDMOS)为基础,重点研究了DDPG-LDDMOSFET的截止频率特性.通过MEDICI软件,模拟了栅长、栅氧化层厚度、源漏区结深、衬底掺杂浓度以及温度等关键参数对器件截止频率的影响,并与相同条件下P型单掺杂多晶Si栅(p-SDPG)MOSFET的频率特性进行了比较.仿真结果发现,在栅长90 nm、栅氧厚度2 nm,栅极P,n掺杂浓度均为5×1019cm-3条件下,截止频率由78.74 GHz提高到106.92 GHz,幅度高达35.8%.此结构很好地改善了MOSFET的频率性能,得出的结论对于结构的设计制作和性能优化具有一定的指导作用,在射频领域有很好的应用前景.     

基于DDPG算法的混动铲运机能量管理策略研究

目前混合动力铲运机能量管理策略通常为基于规则的策略,为了进一步优化铲运机的燃油经济性与系统能量稳定性,首次将深度确定性策略梯度(DDPG)算法应用于混合动力铲运机的能量管理策略,针对铲运机高频率循环、短时大功率输出的特点,协调控制系统能量流动,满足整车功率需求的同时,对发动机的工作区域进行“削峰填谷”,在减少油耗的同时保持超级电容SOC的控制目标下,设计奖励函数。利用基于DDPG算法的能量管理策略在铲运机不同循环工况下进行了仿真实验。结果表明,相比于传统的基于规则的能量管理策略,利用基于DDPG算法的能量管理策略,在两种工况下节油效果分别达到了8.36%与8.41%,同时更充分地利用到了超级电容的能量缓冲作用。     

复杂煤层条件下采煤机自适应截割控制策略

采煤机是综采工作面的核心装备,复杂煤层条件下,其工况恶劣、环境复杂,采掘装备智能化程度不高,导致我国煤矿开采灾害多、煤机适应性不强、故障率高、效率低,提高煤机装备的可靠性与适应性是煤矿智能化发展的主要任务之一.采煤机工作机构与复杂煤层耦合作用机理及煤岩截割状态与动力传递系统的导控机制,是实现采煤机智能高效截割的关键.基...