用于求解旅行商问题的深度智慧型蚁群优化算法

启发式算法是求解组合优化问题求解的重要手段,其主要特征是能够以可接受的计算代价找到足够好的可行解.然而,设计良好的用于求解组合优化问题的启发式算法需要大量的专业领域知识以及大量的试错工作,且人工设计的启发式算法不能够保证在不同问题集上均具有一致性表现.另一方面,深度学习方法能够通过学习自动设计启发式规则,然而深度学习方法通常缺少在解空间内搜索的能力.为克服以上问题,提出了一种基于蚁群优化和深度强化学习的混合启发式算法框架.在该框架中,蚁群算法能够利用深度强化学习提取的启发式信息,而深度强化学习方法的解空间搜索性能也由于蚁群算法的加入而获得提高.采用经典的TSPLIB中的算例对该算法求解旅行商问题的效能进行了计算验证,结果表明采用深度学习方法能够极大地提升蚁群算法的计算表现,并降低其计算代价.     

基于拉普拉斯特征映射的启发式Q学习

在基于目标的强化学习任务中, 欧氏距离常作为启发式函数用于策略选择, 其用于状态空间在欧氏空间内不连续的任务效果不理想. 针对此问题, 引入流形学习中计算复杂度较低的拉普拉斯特征映射法, 提出一种基于谱图理论的启发式策略选择方法. 所提出的方法适用于状态空间在某个内在维数易于估计的流形上连续, 且相邻状态间的连接关系为无向图的任务. 格子世界的仿真结果验证了所提出方法的有效性.

     

共享经验的多主体强化学习研究

合作多主体强化学习的关键问题在于如何提高强化学习的学习效率。在追捕问题的基础上,该文提出一种共享经验的多主体强化学习方法。通过建立合适的状态空间使猎人共享学习经验,根据追捕问题的对称性压缩状态空间。实验结果表明,共享状态空间能够加快多主体强化学习的过程,状态空间越小,Q学习算法收敛越快。     

一种基于启发式轮廓表的逻辑强化学习方法

强化学习通过试错与环境交互获得策略的改进,其自学习和在线学习的特点使其成为机器学习研究的一个重要分支.针对强化学习一直被"维数灾"问题所困扰的问题,提出在关系强化学习的基础上,引入启发式轮廓表的方法,采用含轮廓表的一阶谓词表示状态、活动和Q-函数,充分发挥Prolog表的优势,将逻辑谓词规则与强化学习相结合,形成一种新的逻辑强化学习方法--CCLORRL,并对其收敛性进行了证明.该方法使用轮廓形状谓词产生形状状态表,大幅度地减少状态空间;利用启发式规则指导动作的选择,减少了样本中不存在状态选择的盲目性.CCLORRL算法应用于俄罗斯方块中,实验表明,该方法是比较高效的.     

归纳学习算法CAP2的研究与应用

本文提出以实例空间中状态划分概率的大小作为启发式信息，以提供的正反实例集为依据，基于二叉树分类方法的示例式归纳学习算法ＣＡＰ２．它输出的分类规则是谓词演算表达式．该算法可根据用户对精度的要求控制分类深度，得到不同精度的规则，并能处理连续数据、噪音数据和利用用户提供的背景知识，既适用于同时给定概念的正、反例集的情况，也适用于只给正例集的情况．本文还介绍了ＣＡＰ２算法的应用情况，并和著名的ＩＤ３算法进行了比较．ＣＡＰ２已嵌入到一个自动知识获取系统．     

状态空间搜索算法的进一步探索

主要讨论了BFS、DFS、A＊算法在状态空间搜索中的应用并且给出其在Mathematics下实现。在Mathematics中根据节点数据绘制出节点分布图,分别使用BFS、DFS、A＊搜索对给定的源点和目标点之间的路径进行搜索,并比较得到的路径耗散数据,说明引入启发式函数对搜索效率的影响。     

人工智能中求解八数码问题算法的实现与分析

针对八数码问题的求解,给出了深度优先搜索、广度优先搜索和启发式搜索(譬如A*算法)之间的算法比较,通过实验验证各种算法并得出结论:在通常情况下,采用启发式搜索算法来进行状态空间的搜索更为方便、高效。     

基于启发式奖赏塑形方法的智能化攻击路径发现

渗透测试作为一种评估网络系统安全性能的重要手段, 是以攻击者的角度模拟真实的网络攻击, 找出网络系统中的脆弱点。而自动化渗透测试则是利用各种智能化方法实现渗透测试过程的自动化, 从而大幅降低渗透测试的成本。攻击路径发现作为自动化渗透测试中的关键技术, 如何快速有效地在网络系统中实现智能化攻击路径发现, 一直受到学术界的广泛关注。现有的自动化渗透测试方法主要基于强化学习框架实现智能化攻击路径发现, 但还存在奖赏稀疏、学习效率低等问题, 导致算法收敛速度慢, 攻击路径发现难以满足渗透测试的高时效性需求。为此, 提出一种基于势能的启发式奖赏塑形函数的分层强化学习算法(HRL-HRSF), 该算法首先利用渗透测试的特性, 根据网络攻击的先验知识提出了一种基于深度横向渗透的启发式方法, 并利用该启发式方法设计出基于势能的启发式奖赏塑形函数, 以此为智能体前期探索提供正向反馈, 有效缓解了奖赏稀疏的问题;然后将该塑形函数与分层强化学习算法相结合, 不仅能够有效减少环境状态空间与动作空间大小, 还能大幅度提高智能体在攻击路径发现过程中的奖赏反馈, 加快智能体的学习效率。实验结果表明, HRL-HRSF 相较于没有奖赏塑形的分层强化学习算法、DQN 及其改进算法更加快速有效, 并且随着网络规模和主机漏洞数目的增大, HRL-HRSF 均能保持更好地学习效率, 拥有良好的鲁棒性和泛化性。     

基于节点生长k-均值聚类算法的强化学习方法

处理连续状态强化学习问题,主要方法有两类:参数化的函数逼近和自适应离散划分.在分析了现有对连续状态空间进行自适应划分方法的优缺点的基础上,提出了一种基于节点生长k均值聚类算法的划分方法,分别给出了在离散动作和连续动作两种情况下该强化学习方法的算法步骤.在离散动作的MountainCar问题和连续动作的双积分问题上进行仿真实验.实验结果表明,该方法能够根据状态在连续空间的分布,自动调整划分的精度,实现对于连续状态空间的自适应划分,并学习到最佳策略.     

一种新的求解集装箱装载问题算法

本文根据改进的Pisinger启发式规则将集装箱进行体积最大化装载，在长度方向根据货物将空间分层分条，每一条用0-1背包算法求最优解；并且，有效消除不必要的空隙，将各层进行重心位置最优化调整。提高了装栽效率。     

空间激光通信网络拓扑算法设计与仿真研究

研究自由空间激光通信网络移动节点的拓扑控制问题,针对特定场景空间激光通信自组织网络提出一种基于集合划分的启发式拓扑算法.根据空间节点的位置姿态信息和激光建链的约束条件计算节点间的可连接关系及链路稳定度,通过启发式迭代生成较优的全连通稳定拓扑,实现所有节点间的网络层通信.所提算法不仅可优化网络直径,还可在遇到链路断开时,...     

面向梯形箱子的三维装箱问题算法研究

针对梯形箱子的三维装箱问题,提出了一种基于空间分割的构造性启发式算法,根据梯形箱子三维装箱问题的特点,设计了相应的空间分割策略、空间合并策略与空间重组策略,在此基础上加入遗传算法,提高算法局部与全局搜索能力。实验结果表明,该算法能有效处理梯形箱子三维装箱问题。     

一种大规模并行程序模型的检测方法

JPF是NASA开发的Java程序模型检测工具。该文通过改写JPF内核中生成状态空间的模块,使待检测程序在受监控状态下模拟执行。用Data-Race算法收集警告信息,引导程序模型检测工具只对死锁相关线程进行模型检测,避免了状态空间爆炸,实现了对大规模并行程序部分线程死锁问题的模型检测。利用启发式搜索算法,在不同的搜索深度赋给待执行线程不同的权值,进一步优化了模拟执行 结果。     

评价优化算法的一般性方法及其应用

现有的评价启发式算法性能的方法有许多种,但是它们的评价标准各不相同.从启发式算法的共性出发,通过分析影响算法性能的各方面因素,提出评价启发式优化算法的一般性方法. 介绍了为寻找最简洁版本优化算法而得到的学习算法(LA),并且将该方法运用到对学习算法性能的评价中,得出了学习算法是一种优于经典的遗传算法(GA)和微粒群算法(PSO)的有效的启发式优化算法.     

模式数据库在智能规划中的应用

该规划器通过对智能规划领域里传统的构造模式数据库的方法进行改进,从而改进模式数据库启发式的效率：通过分析和移除一些在实际问题空间里不可能存在对应的完整状态的模式有效地减少了模式数据库的构造时间,并提高了模式数据库启发值的紧致性,使得模式数据库启发式能更好的指导搜索算法以求得问题的最优解。该规划器在linux系统下设计,通过使用规划器解决积木世界领域的规划问题来研究改进前后模式数据库启发式在搜索过程中所起的作用。     

基于启发式NDFS的模型检测新算法

以带有多个可接受条件的广义Büchi自动机为研究对象,提出基于启发式NDFS的模型检测新算法.该算法结合on-the-fly算法与启发式NDFS算法,能较快地判断出广义Büchi自动机非空性,通过理论证明和实验验证了算法的正确性和可行性.与已有算法相比,在广义Büchi自动机非空的情况下,该算法减少了系统状态空间的搜索,提高了检测效率,且能形成相应反例,为缓解形式化验证中的状态空间爆炸问题提供了有效的解决途径,为安全苛求系统的安全性保障提供了有力支撑,丰富了基于模型的软件形式化开发方法.     

一种概念获取算法CAP及其应用

本文提出以实例空间中状态出现的概率大小作为启发式信息,以提供的正例集为依据进行分类的概念获取算法CAP.该算法是一种二叉树的分类方法,输出的分类规则是一个谓词演算表达式.CAP算法既适用于给定概念的正例集,也适用于仅提供正例集的情况,并能根据用户对精度的不同要求得到不同精度的分类规则.本文还给出CAP算法应用实例,并和著名的ID3算法进行了比较,CAP可用于一个自动知识获取系统.     

多阶段模糊决策问题的模糊启发式搜索算法FDA

文中提出了多阶段模糊决策问题的自底向上的模糊启发式搜索算法ＦＤＡ＾＊，并证明了只要启发式估价函数ｈ＾↑￣可采纳，则ＦＤＡ＾＊算法亦可采纳，且定能找到具有最小耗散的最佳决策序列。对于可采纳启发式估价函数ｈ↑￣通常难以设计这一问题，文中提出了启发式估价函数的渐进式学习算法Ｌｅａｒｎｉｎｇ－ｈ↑￣。证明了通过ＦＤＡ＾＊算法的大量解题，Ｌｅａｒｎｉｎｇ－ｈ↑￣算法能以概率为１使启发式估价函数学习并收敛为可     

基于强化学习的车辆路径规划问题研究

从机器学习的角度理解,车辆路径规划问题(VRP)可转化为单代理有限状态空间的强化学习问题进行研究.针对小规模VRP问题,提出时间差分模型,使用Sarsa和Q-learning算法进行优化.针对大规模VRP问题,构建环境模型,通过蒙特卡洛法优化代理策略和值函数.在公开数据集上的实验结果表明,强化学习能有效求解小规模VRP问题,并在大规模VRP问题上超过一般的启发式算法.     

基于八数码游戏的两种搜索策略比较

利用状态空间法描述八数码问题,将其抽象成为一个从起始状态搜索到达目标状态的路径的问题,并在Visual C++6.0环境下,用C++语言实现了其盲目搜索和启发式搜索算法。其中,盲目搜索采用的是宽度搜索和深度搜索,启发式搜索策略采用的是有序搜索。通过比较两种搜索策略的时间复杂度和空间复杂度,在搜索步骤较多的情况下,启发式搜索具有明显的优势,并在此结论的基础上分析了启发式搜索具有优势的原因。