基于逐次超松弛技术的Double Speedy Q-Learning算法

Q-Learning是目前一种主流的强化学习算法,但其在随机环境中收敛速度不佳,之前的研究针对Speedy Q-Learning存在的过估计问题进行改进,提出了Double Speedy Q-Learning算法。但Double Speedy Q-Learning算法并未考虑随机环境中存在的自循环结构,即代理执行动作时,存在进入当前状态的概率,这将不利于代理在随机环境中学习,从而影响算法的收敛速度。针对Double Speedy Q-Learning中存在的自循环结构,利用逐次超松弛技术对Double Speedy Q-Learning算法的Bellman算子进行改进,提出基于逐次超松弛技术的Double Speedy Q-Learning算法(Double Speedy Q-Learning based on Successive Over Relaxation,DSQL-SOR),进一步提升了Double Speedy Q-Learning算法的收敛速度。通过数值实验将DSQL-SOR与其他算法的实际奖励和期望奖励之间的误差进行对比,实验结果表明,所提算法比现有主流的算法SQL的误差低0.6,比逐次超松弛算法GSQL低0.5,这表明DSQL-SOR算法的性能较其他算法更优。实验同时对DSQL-SOR算法的可拓展性进行测试,当状态空间从10增加到1000时,每次迭代的平均时间增长缓慢,始终维持在10^-4数量级上,表明DSQL-SOR的可拓展性较强。     

基于同步更新外部归档集的NSGA-II改进算法

NSGA-II在执行拥挤系数计算时不考虑父子代种群各自独立的个体分布情况,使某些在全局空间中分布优秀的个体被淘汰。针对NSGA-II收敛结果的较差分布性,提出了改进算法（UEA-NSGA-II）,在迭代过程中随机填充一定量子代种群的非支配个体到外部归档集内,使用拥挤系数算子用于归档集的剪枝操作。同时,针对二进制编码存在陷入局部最优的问题,采用格雷码和动态变异算子增强算法在解空间上搜索速度与宽度。在ZDT系列问题上执行测试,并与两种典型算法和三种NSGA-II改进算法对比,结果表明UEA-NSGA-II在算法的稳定性与优化效果方面均优于所对比的算法。     

一种面向高校实验室的远程电能监控与管理方案

为实现高校实验室的远程实时监测与智能管理,提出了一种实验室电能实时监测与综合管理方案.方案由基于STM32微控制器的实验室电能实时监测与控制终端,以及基于Spring+Spring MVC+My Batis(SSM)框架的人性化Web客户端和管理端构成,解决了实验室用电设备的远程实时监测与智能管理问题.经软硬件联合测试,验证了系统的有效性、实时性、鲁棒性与准确性.     

SOME/IP车载以太网服务协议的关键技术与性能分析

首先对SOME/IP协议服务发现（SD）模块和传输协议（TP）模块中客户端与服务端的通信行为与关键技术特性进行了详细分析；然后在Arm Linux环境下基于C++和CommonAPI构建了面向服务的车载应用开发通信架构，并在该架构下结合不同负载规格对SOME/IP服务协议的一致性、可靠性和可扩展性进行了详细测试。实验结果表明，SOME/IP协议面向服务的通信方式具备高可用性，能够有效提高整车的数据通信效率，降低车载应用软件开发的复杂性。     

一种自适应优化松弛量的装箱算法

装箱问题是物流系统和生产系统中的一个经典而重要的数学优化问题。装箱指把一系列物品按照一定顺序放进具有固定容量的箱子中,并最小化所使用的箱子数量,以最大限度地获取装箱问题的近似最优解。然而,现有的装箱算法存在明显的缺陷。遗传算法计算量过大,甚至无法求出所需解,启发式算法无法处理极端值问题,而现有的改进算法即使在引入松弛量的情况下,也极易陷入局部最小值。文中提出的Adaptive-MBS算法采用自适应权重来改进原有方法,即允许方法有一定的松弛量,并具有捕捉物体样本空间随时间变化的直觉,以使用更好的松弛量策略来装箱。Adaptive-MBS算法首先以当前箱子为中心,使用Adaptive_Search搜索算法迭代找到适合箱子容量的集合中所有物体的子集,Adaptive_Search搜索算法不要求完全装满箱子,而是允许箱子具有一定的松弛量,在训练过程中根据当前状态的变化,实现自动地调整松弛量,在找到完全填满箱子的子集后迭代至下轮搜索直至遍历完成。该方法不易陷入局部最优,具有较强的发现全局最优解的能力。文中使用装箱问题中经典的BINDATA和SCH_WAE数据集进行实验,结果表明,数据集中多达991例问题可以通过Adaptive-MBS算法得到最优解。在没有求解出最优解的实例上,所提算法也在所有对比算法上具有最低的相对偏移量百分比。数值实验结果表明,相较于其他经典的装箱算法,Adaptive-MBS算法有更好的效果,其收敛速度也显著优于其他算法。