基于二维GDSOM的路标动态自组织提取方法

提出一种基于距离传感器的结构化特征的动态、自组织提取方法。该方法由3个部分组成:主动感知行为的设计,时空信息的降维处理及路标的自组织提取。设计基于沿墙走的“主动感知行为”来获得高相关性的感知时空序列信息;给出基于变化检测和激活强度的活性神经元来对时空序列信息降维;最后提出一种二维动态增长自组织特征图方法,实现环境路标的自组织提取和识别。实验结果验证该方法的有效性。     

基于线性预测与马尔可夫模型的入侵检测技术研究

入侵检测技术是现代计算机系统安全技术中的重要组成部分．该文提出了基于线性预测与马尔可夫模型相结合的入侵检测方法．首先提取特权进程的行为特征,引入时间序列分析技术——用线性预测技术对特权进程产生的系统调用序列提取特征向量来建立正常特征库,并在此基础上建立了马尔可夫模型．由马尔可夫模型产生的状态序列计算状态概率,根据状态序列概率来评价进程行为的异常情况．然后,利用马尔可夫信源熵与条件熵进行参数选取,对模型进行优化,进一步提高了检测率．实验表明该算法准确率高、实时性强、占用系统资源少．     

基于加权值函数分解的多智能体分层强化学习技能发现方法

针对目前大多数多智能体强化学习算法在智能体数量增多以及环境动态不稳定的情况下导致的维度爆炸和奖励稀疏的问题，提出了一种基于加权值函数分解的多智能体分层强化学习技能发现算法。首先，该算法将集中训练分散执行的架构与分层强化学习相结合，在上层采用加权值函数分解的方法解决智能体在训练过程中容易忽略最优策略而选择次优策略的问题；其次，在下层采用独立Q学习算法使其能够在多智能体环境中分散式地处理高维复杂的任务；最后，在底层独立Q学习的基础上引入技能发现策略，使智能体之间相互学习互补的技能。分别在简易团队运动和星际争霸Ⅱ两个仿真实验平台上对该算法与多智能体强化学习算法和分层强化学习算法进行对比，实验表明，该算法在奖励回报以及双方对抗胜率等性能指标上都有所提高，提升了整个多智能体系统的决策能力和收敛速度，验证了算法的可行性。