改进Q学习算法在多智能体强化学习中的应用

Q-learning作为一种经典的强化学习算法,其在离散状态下存在计算量高、收敛速度慢等问题。Speedy Q-learning是Q-learning的变种,目的是解决Q-learning算法收敛速度慢问题。为解决多智能体强化学习中“维数灾”问题,在Speedy Q-learning算法的基础上提出了一种基于动作采样的(action sampling based on Speedy Q-learning, ASSQ)算法。该算法采用集中训练-分散执行(centralized training with decentralized execution, CTDE)的框架,将上一迭代步更新后的Q值作为下一状态的最大Q值,有效降低了Q值的比较次数,整体上提升了算法的收敛速度。为减少学习阶段计算量,算法在集中训练阶段求取下一状态最大Q值时,并没有遍历所有联合动作Q值,而只在联合动作空间上进行部分采样。在动作选择和执行阶段,每个智能体又根据学习到的策略独立选择动作,从而有效提高了算法的学习效率。通过在目标运输任务上验证,ASSQ算法能够以100%的成功率学习到最优联合策略,且计算量明显少于Q-l...     

一种基于改进ResNet的疲劳检测方法

为了避免因疲劳驾驶导致的交通事故的发生，该文提出一种基于改进ResNet网络的疲劳检测方法。通过在残差模块中引入深度卷积，对标准化方法进行优化并引入平均池化和注意机制，有效提升了模型对脑电信号全局信息的捕捉能力。通过SEED-VIG的功率谱特征和微分熵特征数据集、多熵融合疲劳检测数据集和SPIS静息状态数据集对该文模型进行验证。实验结果表明，该文模型在各数据集上的平均准确率达到97.4%，较原ResNet网络提升17.9%。此模型对疲劳检测十分有效，可在一定程度上降低交通事故发生率。