MTDCD:一种对抗网络入侵的混合防御机制

移动目标防御和网络欺骗防御均是通过增加攻击者获取的信息的不确定性来保护己方系统和网络,该方法能够在一定程度上减缓网络入侵。然而,单一的移动目标防御技术无法阻止利用多元信息进行网络入侵的攻击者,同时,部署的诱饵节点可能会被攻击者识别和标记,降低了防御效能。因此,提出了融合移动目标防御和网络欺骗防御的混合防御机制MTDCD,并通过深入分析实际网络对抗,构建了网络入侵威胁模型,最后基于Urn模型建立了防御有效性评估模型,并从虚拟网络拓扑大小、诱饵节点的欺骗概率、IP地址随机化周期、IP地址转移概率等多个方面评估了所提混合防御机制MTDCD的防御效能,为后续防御策略设计提供了一定的参考和指导。     

未知环境下自主机器人的行为学习研究

机器人为实现在未知环境下的探索任务,必须具有自主学习其行为策略的能力.本文提出了一种自主机器人行为学习机制.机器人通过与环境的交互,基于Q学习进行行为的自主学习.为降低学习时的计算复杂度,状态空间通过分段映射为不同的类别,从而减少状态-动作对的数量.自主机器人在未知环境中的行为学习是增量式的过程,本文将基于案例的学习与Q学习结合,使机器人在试错时获得的经验以案例的形式保存,并实现案例库的动态更新相关案例同时可以降低机器人行为学习时的计算复杂度和试错时的风险.在文中的最后给出了仿真结果.     

基于人工免疫系统的异构多机器人联盟形成

对动态环境下多机器人联盟形成问题进行了研究,提出了一种基于人工免疫系统的异构多机器人联盟形成方法.该方法在对比人工免疫系统与多机器人系统相似关系的基础上,利用人工免疫系统的隐喻机制为面向动态感知任务的异构多机器人联盟形成问题提供了一种新的思路和解决方法.进行了未知非结构化环境下的多机器人协作搜集仿真实验,仿真结果表明所提方法可以使多机器人系统自主地形成机器人联盟以完成动态感知任务,提高了多机器人系统执行任务的效率.     

多智能体强化学习及其在足球机器人角色分配中的应用

足球机器人系统是一个典型的多智能体系统, 每个机器人球员选择动作不仅与自身的状态有关, 还要受到其他球员的影响, 因此通过强化学习来实现足球机器人决策策略需要采用组合状态和组合动作. 本文研究了基于智能体动作预测的多智能体强化学习算法, 使用朴素贝叶斯分类器来预测其他智能体的动作. 并引入策略共享机制来交换多智能体所学习的策略, 以提高多智能体强化学习的速度. 最后, 研究了所提出的方法在足球机器人动态角色分配中的应用, 实现了多机器人的分工和协作.     

一种新的多智能体强化学习算法及其在多机器人协作任务中的应用

在多机器人系统中，评价一个机器人行为的好坏常常依赖于其它机器人的行为，此 时必须采用组合动作以实现多机器人的协作，但采用组合动作的强化学习算法由于学习空间 异常庞大而收敛得极慢．本文提出的新方法通过预测各机器人执行动作的概率来降低学习空 间的维数，并应用于多机器人协作任务之中．实验结果表明，基于预测的加速强化学习算法 可以比原始算法更快地获得多机器人的协作策略．     

面向深度强化学习的对抗攻防综述

深度强化学习技术以一种端到端学习的通用形式融合了深度学习的感知能力与强化学习的决策能力,在多个领域得到了广泛应用,形成了人工智能领域的研究热点.然而,由于对抗样本等攻击技术的出现,深度强化学习暴露出巨大的安全隐患.例如,通过在真实世界中打印出对抗贴纸便可以轻松地使基于深度强化学习的智能系统做出错误的决策,造成严重的损失.基于此,本文对深度强化学习领域对抗攻防技术的前沿研究进行了全面的综述,旨在把握整个领域的研究进展与方向,进一步推动深度强化学习对抗攻防技术的长足发展,助力其应用安全可靠.结合马尔科夫决策过程中可被扰动的空间,本文首先从基于状态、基于奖励以及基于动作角度的详细阐述了深度强化学习对抗攻击的进展;其次,通过与经典对抗防御算法体系进行对齐,本文从对抗训练、对抗检测、可证明鲁棒性和鲁棒学习的角度归纳总结了深度强化学习领域的对抗防御技术;最后,本文从基于对抗攻击的深度强化学习机理理解与模型增强的角度分析了对抗样本在强化学习领域的应用并讨论了领域内的挑战和未解决问题.     

网络深层防御体系模型的研究和实现

针对单一技术在安全防御上存在的缺陷.提出了一个基于三层防御机制的网络安全防御体系模型.该体系有机结合了防火墙、NIPS、基于异常的入侵检测、蜜罐等多种安全技术深层抵御入侵,各组件通过传递XML信息互相协作.首先对网络的安全和结构进行分析,在此基础上给出了体系模型并说明了模型的工作流程,对涉及的关键技术做了探讨,给出了蠕虫攻击实验测试系统的性能.实验结果证明该体系不仅能阻断已知攻击,对未知攻击也做到了有效防御.     

动作预测在多机器人强化学习协作中的应用

在多机器人系统中,协作环境探索的强化学习的空间规模是机器人个数的指数函数,学习空间非常庞大造成收敛速度极慢。为了解决这个问题,将基于动作预测的强化学习方法及动作选择策略应用于多机器人协作研究中,通过预测机器人可能执行动作的概率以加快学习算法的收敛速度。实验结果表明,基于动作预测的强化学习方法能够比原始算法更快速地获取多机器人的协作策略。     

基于一种蚁群算法的多机器人动态感知任务分配

多机器人系统在具有任务聚集特征的动态感知任务环境下执行搜集任务时,存在着由于任务分配不当而引起的冲突加剧问题.针对这一问题,提出了一种基于排斥信息素型蚁群算法的多机器人任务自主分配方法.进行了未知非结构化环境下的多机器人协作搜集仿真实验.仿真结果表明,采用本文所提方法可以实现多机器人搜集任务的自主分配,有效减少机器人的空间冲突,尤其在机器人数量较多的情况下,更能显示出该方法的优势.     

基于仿生机理的内生安全防御体系研究

针对防火墙、入侵检测、防病毒等外壳式防御技术来不及检测、分析和过滤恶意流量,防御机制没有与网络设备的安全状态关联,导致安全效能低的问题,提出一种基于仿生机理的内生安全防御体系.模仿生物体的高效安全防御机理,在设计和建造信息系统时,将巨量安全机制部署进入网络的每一个安全部件中,通过网络互联将所有节点中的安全组件关联在一起...     

多智能体专家型策略梯度的目标跟踪与清障

为适应复杂环境下目标跟踪机器人高效运动规划需求,本文提出一种基于多智能体强化学习的专家型策略梯度(ML-DDPG) 方法。为此首先构建了基于最小化任务单元的分布式多Actor-Critic网络架构;随后针对机器人主动障碍清除和目标跟踪任务建立了强化学习运动学模型和视觉样本预处理机制,由此提出一种专家型策略引导的最优目标价值估计方法;进一步通过并行化训练与集中式经验共享,提升了算法的训练效率;最后在不同任务环境下测试了ML-DDPG 算法的目标跟踪与清障性能表现,和其它算法对比验证了其在陌生环境中良好的迁移与泛化能力。     

主动防御技术在烟草企业中的应用研究

随着企业信息化技术的不断发展,局域网计算机终端安全受到的威胁日益增加,传统的被动防御反病毒技术已经无法应对目前非常严峻的病毒挑战。为了应对被动防御策略在这种趋势下的不足,基于主动安全防御技术的产品应运而生,主动防御技术克服了传统反病毒技术的缺陷。文章首先介绍了主动防御技术的产生背景,阐述了传统反病毒技术的现状并指出了其局限性,提出了研究主动防御技术的必要性,并结合一个主动防御软件产品,从系统架构和技术特点的角度,分析主动防御体系的运行机制,最后结合襄阳市烟草公司的应用实际展现主动防御软件的优势所在。     

稀疏奖励下基于情感的异构多智能体强化学习

在强化学习中,当处于奖励分布稀疏的环境时,由于无法获得有效经验,智能体收敛速度和效率都会大幅下降.针对此类稀疏奖励,文中提出基于情感的异构多智能体强化学习方法.首先,建立基于个性的智能体情感模型,为异构多智能体提供激励机制,作为外部奖励的有效补充.然后,基于上述激励机制,融合深度确定性策略,提出稀疏奖励下基于内在情感激...     

多Agent深度强化学习综述

近年来, 深度强化学习(Deep reinforcement learning, DRL)在诸多复杂序贯决策问题中取得巨大突破.由于融合了深度学习强大的表征能力和强化学习有效的策略搜索能力, 深度强化学习已经成为实现人工智能颇有前景的学习范式.然而, 深度强化学习在多Agent系统的研究与应用中, 仍存在诸多困难和挑战, 以StarCraft Ⅱ为代表的部分观测环境下的多Agent学习仍然很难达到理想效果.本文简要介绍了深度Q网络、深度策略梯度算法等为代表的深度强化学习算法和相关技术.同时, 从多Agent深度强化学习中通信过程的角度对现有的多Agent深度强化学习算法进行归纳, 将其归纳为全通信集中决策、全通信自主决策、欠通信自主决策3种主流形式.从训练架构、样本增强、鲁棒性以及对手建模等方面探讨了多Agent深度强化学习中的一些关键问题, 并分析了多Agent深度强化学习的研究热点和发展前景.     

基于机器学习的用户与实体行为分析技术综述

随着网络安全技术的更新迭代,新型攻击手段日益增加,企业面临未知威胁难以识别的问题。用户与实体行为分析是识别用户和实体行为中潜在威胁事件的一种异常检测技术,广泛应用于企业内部威胁分析和外部入侵检测等任务。基于机器学习方法对用户和实体的行为进行模型建立与风险点识别,可以有效解决未知威胁难以检测的问题,增强企业网络安全防护能力。回顾用户与实体行为分析的发展历程,重点讨论用户与实体行为分析技术在统计学习、深度学习、强化学习等3个方面的应用情况,研究具有代表性的用户与实体行为分析算法并对算法性能进行对比分析。介绍4种常用的公共数据集及特征工程方法,总结两种增强行为表述准确性的特征处理方式。在此基础上,阐述归纳典型异常检测算法的优劣势,指出内部威胁分析与外部入侵检测的局限性,并对用户与实体行为分析技术未来的发展方向进行展望。     

移动机器人运动规划中的深度强化学习方法

随着移动机器人作业环境复杂度的提高、随机性的增强、信息量的减少,移动机器人的运动规划能力受到了严峻的挑战.研究移动机器人高效自主的运动规划理论与方法,使其在长期任务中始终保持良好的复杂环境适应能力,对保障工作安全和提升任务效率具有重要意义.对此,从移动机器人运动规划典型应用出发,重点综述了更加适应于机器人动态复杂环境的运动规划方法——深度强化学习方法.分别从基于价值、基于策略和基于行动者-评论家三类强化学习运动规划方法入手,深入分析深度强化学习规划方法的特点和实际应用场景,对比了它们的优势和不足.进而对此类算法的改进和优化方向进行分类归纳,提出了目前深度强化学习运动规划方法所面临的挑战和亟待解决的问题,并展望了未来的发展方向,为机器人智能化的发展提供参考.     

Feature Selection with Deep Reinforcement Learning for Intrusion Detection System

An intrusion detection system (IDS) becomes an important tool for ensuring security in the network. In recent times, machine learning (ML) and deep learning (DL) models can be applied for the identification of intrusions over the network effectively. To resolve the security issues, this paper presents a new Binary Butterfly Optimization algorithm based on Feature Selection with DRL technique, called BBOFS-DRL for intrusion detection. The proposed BBOFSDRL model mainly accomplishes the recognition of intrusions in the network. To attain this, the BBOFS-DRL model initially designs the BBOFS algorithm based on the traditional butterfly optimization algorithm (BOA) to elect feature subsets. Besides, DRL model is employed for the proper identification and classification of intrusions that exist in the network. Furthermore, beetle antenna search (BAS) technique is applied to tune the DRL parameters for enhanced intrusion detection efficiency. For ensuring the superior intrusion detection outcomes of the BBOFS-DRL model, a wide-ranging experimental analysis is performed against benchmark dataset. The simulation results reported the supremacy of the BBOFS-DRL model over its recent state of art approaches.     

基于改进双重深度Q网络的入侵检测模型

入侵检测技术作为网络安全有效的防御手段,是网络安全体系中的重要组成部分。随着互联网的快速发展,网络数据量快速增加,网络攻击更加趋于复杂化和多元化,目前主流的入侵检测技术无法有效识别各种攻击。针对实际网络环境中正常流量和攻击流量数据不平衡,且对攻击类流量检测率低的问题,基于深度强化学习提出一种基于改进双重深度Q网络的CBL_DDQN网络入侵检测模型。该模型将一维卷积神经网络和双向长短期记忆网络的混合网络模型引入深度强化学习的DDQN框架,并使用深度强化学习中的反馈学习和策略生成机制训练智能体来对不同类别的攻击样本进行分类,在一定程度上减弱了训练模型过程中对数据标签的依赖性。采用Borderline-SMOTE算法降低数据的不平衡度,从而提高稀有攻击的检测率。通过NSL_KDD和UNSW_NB15数据集对模型的性能进行评估,结果表明：该模型在准确率、精确率、召回率这三项指标上均取得了良好的结果,检测效果远优于Adam-BNDNN、KNN、SVM等检测方法,是一种高效的网络入侵检测模型。