面向深度强化学习的对抗攻防综述

深度强化学习技术以一种端到端学习的通用形式融合了深度学习的感知能力与强化学习的决策能力,在多个领域得到了广泛应用,形成了人工智能领域的研究热点.然而,由于对抗样本等攻击技术的出现,深度强化学习暴露出巨大的安全隐患.例如,通过在真实世界中打印出对抗贴纸便可以轻松地使基于深度强化学习的智能系统做出错误的决策,造成严重的损失.基于此,本文对深度强化学习领域对抗攻防技术的前沿研究进行了全面的综述,旨在把握整个领域的研究进展与方向,进一步推动深度强化学习对抗攻防技术的长足发展,助力其应用安全可靠.结合马尔科夫决策过程中可被扰动的空间,本文首先从基于状态、基于奖励以及基于动作角度的详细阐述了深度强化学习对抗攻击的进展;其次,通过与经典对抗防御算法体系进行对齐,本文从对抗训练、对抗检测、可证明鲁棒性和鲁棒学习的角度归纳总结了深度强化学习领域的对抗防御技术;最后,本文从基于对抗攻击的深度强化学习机理理解与模型增强的角度分析了对抗样本在强化学习领域的应用并讨论了领域内的挑战和未解决问题.