动态环境中的分层强化学习

现有的强化学习方法都不能很好地处理动态环境中的学习问题,当环境变化时需要重新学习最优策略,若环境变化的时间间隔小于策略收敛时间,学习算法则不能收敛.本文在Option分层强化学习方法的基础上提出一种适应动态环境的分层强化学习方法,该方法利用学习的分层特性,仅关注分层任务子目标状态及当前Option内部环境状态的变化,将策略更新过程限制在规模较小的局部空间或维数较低的高层空间上,从而加快学习速度.以二维动态栅格空间内两点间最短路径规划为背景进行了仿真实验,实验结果表明,该方法策略学习速度明显高于以往的方法,且学习算法收敛性对环境变化频率的依赖性有所降低.     

网络扫描技术实现及其在网络安全中的应用

在介绍了网络扫描器和其基本工作原理后，归纳并且详细分析了网络安全扫描软件所涉及到的几种关键技术，其中包括：全TCP连接扫描、TCP SYN扫描、ICMP扫描、TCP FIN扫描等。然后介绍了几种常见的端口扫描工具以及网络安全扫描软件：Safety。最后给出了解决端口扫描问题的建议和对策。     

利用非确定性DHT解决覆盖网络的非传递连通问题

为了解决网络中广泛存在的非传递连通（NTC）问题,提出了一种利用非确定分布式哈希表（DHT）解决覆盖网络的NTC问题的方法,通过解除底层节点ID与逻辑空间位置的对应关系,避免了NTC节点对网络结构的影响,同时利用重定向路由机制实现网络的消息路由。仿真结果表明,非确定DHT能够有效地解决覆盖网络的NTC问题。     

从悉尼大学看澳洲的本科办学特色

笔者根据对澳大利亚悉尼大学的了解,从课程设置和人才培养、教师教学方式和学生学习方式、校园文化、商业化倾向等几个方面介绍了澳大利亚本科阶段的办学特色,并指出了值得学习和借鉴之处。     

非参数变换和改进动态规划的立体匹配算法

针对传统稠密立体匹配方法在非纹理区、深度不连续处和遮挡处存在错误匹配率过高的问题,提出一种基于非参数变换和改进动态规划相结合的立体匹配算法.采用稀疏非参数变换相关方法计算初始局部匹配代价,并利用行列双向约束动态规划算法对匹配代价进行全局优化,在获取初始视差后分别对原始图像每一像素点进行可信性与纹理性检测,最后利用视差平面拟合结果代替非纹理与非可信区域像素点的原始视差,得到稠密视差图.实验表明,该算法具有较高的鲁棒性与匹配精度,尤其在处理图像的非纹理区、深度不连续处和遮挡处,可获得精确的匹配结果.     

基于有向无环图网格独立任务调度算法*

提出了基于有向无环图多约束网格环境下独立任务的调度模型,为其建立多约束线性规划模型,通过求解模型节点的优先级,获得网格各计算节点最优任务调度数;然后基于多约束最优任务调度方案,提出多约束带宽优先启发式算法(MCOPBHATS)和多约束计算速度优先启发式算法(MCOPCHATS)。实验结果表明,在多约束异构的网格环境下实现大量独立任务调度时, MCOPBHATS和MCOPCHATS算法的性能优于基于多约束最优任务调度方案的MinMin 算法。     

基于网络编码的混合式P2P内容分发机制*

对P2P网络结构进行混合式拓扑设计,并采取网络编码策略,使节点在存储、转发的单一功能之上增加编/解码操作.仿真结果表明,该方法有效地提高了资源的下载速率和成功率,同时也增强了P2P内容分发系统的鲁棒性和安全性.     

基于扩展Petri网的系统建模及形式化验证方法*

嵌入式实时系统对时间约束性、安全性和可靠性具有非常高的要求,但是传统的建模和形式化验证方法难以满足对系统的实时性和安全性的模拟和验证需求。通过对有色Petri网的时间属性进行扩展,提出了实时有色Petri网模型,能够对系统的时间属性进行模拟和评估;参考实时有色Petri网模型到时间自动机的语义转换规则对模型进行转换,可以利用时间计算树逻辑对系统的实时性、安全性和可靠性进行形式化验证。以列车通信网络控制器的双线冗余控制模块的建模和形式化验证为例,证明了该方法的有效性。