基于操作条件反射自动机的仿生自主学习方法

提出了基于操作条件反射的仿生自主学习方法,设计了操作条件反射自动机(OCM)的认知模型.与原来的学习自动机相比,该模型增加了状态取向单元,利用"反应-强化"的学习机理,来模拟自然界生物的"随机应变性".设计了OCM的递归学习算法,用于模拟生物的操作条件反射机制,使其具有仿生的自组织功能,包括自学习和自适应功能.通过模拟Skinner鸽子实验和倒立摆平衡控制实验,验证了该模型具有一定的仿生自主学习能力,可用于描述、模拟和设计各种自组织系统.     

基于Boltzamnn机的机器人自主学习算法

针对两轮机器人自平衡运动控制问题,提出了一种基于Boltzamnn机的Skinner操作条件反射学习机制作为机器人仿生自主学习的算法.该算法利用Boltzamnn机中Metropolis判据平衡Skinner操作条件反射学习中探索和利用的比例,并依据概率取向机制以一定的概率选择最优行为,从而使机器人在未知环境下可获得像人或动物一样的仿生自主学习技能,实现机器人的自平衡运动控制.最后,分别用基于Boltzamnn机的Skinner操作条件反射的学习算法和基于贪婪策略的Skinner操作条件反射的学习算法做了仿真实验并进行了比较.结果表明,基于Boltzamnn机的Skinner操作条件反射的学习算法能使机器人获得较强的运动平衡控制技能和较好的动态性能,体现了机器人的自主学习特性.     

基于学习自动机阵列的模糊规则学习方法

研究在线学习模糊控制规则的方法．建立基于多维学习自动机阵列的模糊控制器模型,提出在学习自动机阵列中按照贡献分配奖励的学习算法．在没有任何预置知识和规则的前提下,该控制器能通过与被控对象的交互动作建立自身的规则库．对机械手自学习视觉伺服控制的仿真结果验证了该方法的有效性．     

一种基于2-by-n元胞自动机的高质量伪随机数发生器

为了满足密码学对高质量的随机序列的需求,提出一种新的基于2-by-n元胞自动机的伪随机数发生器.并着重于最大周期的要求,首先介绍了在细胞自动机中与之相关的机制,随后给出了基于2-by-n CA的二维梯形伪随机数发生器,详细说明了该发生器的规则及最大周期.最后使用该发生器产生用于测试的伪随机序列.计算机模拟表明,提出的二维梯形伪随机序列发生器产生的伪随机序列完全可以通过FIPS 140-2测试标准,证明该发生器具有良好的统计特性,完全可以应用于密码学领域.     

有限自动机与多路自动机的关系

简单介绍了多路自动机的定义，分析了多种自动机和有限自动机的关系，包括确定的有限自动机和非确定的有限自动机，并且给出了例子，本文的结论推广了计算学习理论中可有效学习的类的范围。     

大口径机枪自动机动态模拟

采用某冲锋枪自动机作为模拟加载器的自动机,设计了一套火药型模拟加载试验装置,建立了系统的物理模型和数学模型.通过对某高射机枪计算得出压力-时间曲线与自动机速度-时间曲线,并将计算结果与实际结果作了对比分析,发现模拟仿真结果与实际结果具有良好的一致性,从而首次验证了该模拟加载试验系统能够对大口径机枪的自动机运动进行较为准确的模拟.此外,还对模拟加载器进行了计算,并得出了自动机的运动曲线,结果表明:该装置可以实现连续发射.     

多态自动机在字符串搜索及统计时的应用

多态自动机较之有穷自动机有更强的计算功能和对算法的描述功能,所以在计算理论和学习理论中有相当地位.本文首先简要地介绍了多态自动机,然后利用多态自动机的计算功能给出了一种搜索算法,此算法可以完成字符串的搜索和统计功能.文章对此算法的复杂度进行了分析,该算法的复杂度是多项式的,并且对此算法添加一些辅助部分也可以完成搜索网络资源的功能.此算法在计算机上也很容易实现.     

一种元胞自动机规则的免疫自适应调节方法

典型的元胞自动机是按照一套确定的规则自主地随时间演进的,因此当系统环境改变时就需要由人工进行静态的调整、修正,效率低、对环境的适应能力差,这是制约元胞自动机应用的主要原因之一.本文针对二维元胞自动机提出了规则免疫学习的方法,实现了规则的自适应调节.实验表明,在简单情况下二维元胞自动机的规则获得了一定的环境适应能力.     

多因素制约下的SIR传染病模型的元胞自动机仿真模拟研究

针对多因素传染病的精确仿真,根据非高斯传染模型下模拟感染者的随机游走行为,通过构造传染病中心疫区的高斯压力死亡模型,采用基于sigmoid函数的痊愈率与不同隔离强度模拟感染者个体的被动转化行为,且其行为的发生服从动态泊松概率,建立了一类多因素制约下的元胞自动机传染病模型.通过对比实验发现,该模型的模拟仿真稳定,且能较精确仿真疫病传播的实际情况,相比目前的模型具有更高的精度.     

一种应用层分布式拒绝服务攻击快速检测方法

提出一种基于应用层协议用户行为统计特征的快速攻击检测算法,能在高速网络环境中快速识别异常聚集流量,区分正常访问和应用层分布式拒绝服务攻击。该方法使用有限状态自动机理论描述了应用层协议正常用户行为和攻击行为的差异,构建了检测自动机模型。该方法将应用层协议用户行为抽象成一系列协议关键字的交互,主要根据应用层协议关键字的统计特征生成用户行为统计特征向量,构造基于逼近理想点排序算法的模型分类器,同时对模型进行训练得到最优分类距离阈值,从而对DDoS攻击行为作出判定。高速网络环境下的测试结果表明了此方法的有效性。     

The skinner automaton: A psychological model formalizing the theory of operant conditioning

Operant conditioning is one of the fundamental mechanisms of animal learning,which suggests that the behavior of all animals,from protists to humans,is guided by its consequences.We present a new stochastic learning automaton called a Skinner automaton that is a psychological model for formalizing the theory of operant conditioning.We identify animal operant learning with a thermodynamic process,and derive a so-called Skinner algorithm from Monte Carlo method as well as Metropolis algorithm and simulated annealing.Under certain conditions,we prove that the Skinner automaton is expedient,ε-optimal,optimal,and that the operant probabilities converge to the set of stable roots with probability of 1.The Skinner automaton enables machines to autonomously learn in an animal-like way.     

聚类多Agent强化学习认知无线电资源分配

针对认知无线电多用户的信道和功率资源分配问题,提出一种基于用户聚类和可变学习速率的多Agent强化学习方法. 首先使用分层处理分离信道选择与功率控制,采用快速最优搜索结合用户数均衡调节实现信道分配;其次,使用随机博弈框架对多用户功率控制问题进行建模,通过K均值用户聚类减少博弈参与用户数量和降低单个用户的环境复杂度,并使用可变Q学习速率和策略学习速率的方法进一步促进多Agent强化学习的收敛. 仿真结果表明,该方法能使多个用户的功率状态和总收益有效收敛,并且使整体性能达到次优.     

交通流元胞自动机模型中慢化行为

根据司机加速和减速过程的不同特性,提出了一个改进的交通流元胞自动机模型。数值实验表明,该模型可以满意地刻画司机学习效应对行车过程的实时影响,说明引入强化学习机制可以更好地再现多种复杂交通现象。     

基于学习自动机与萤火虫算法的链路预测

便携交换网络由具有社区属性和移动规律的人组成,具有节点移动性、节点间间歇性连接、高延迟等特点,本文研究其网络行为预测中的链路预测问题,提出基于学习自动机和萤火虫算法的链路预测方法。采用学习自动机对节点进行自适应聚类,完成网络的社区划分;定义社区属性影响系数和移动行为影响系数,构建反映便携交换网络社区属性、节点移动性和节点间间歇性连接的相似性指标;将该指标与CN、RA、AA等指标融合,得到便携交换网络的相似性指标向量;借助差分整合移动平均自回归模型的时间序列分析能力,提取相似性指标向量序列的演化规律;采用萤火虫算法优化所构建的二分类器,预测节点对下一时刻的连接状态。在INFOCOM06和MIT两个真实数据集上的实验结果表明,与受限玻尔兹曼机、弱评估器等方法对比,本文方法具有更高的准确率和更好的稳定性。     

基于问题解决的计算机学习环境的设计

以提升学习者问题解决能力为目的所构建的学习环境,不仅需要体现出传统意义上学习环境的特质,同时还要有针对性用于学习者问题解决能力提升的相关资源。基于问题解决的计算机学习环境相对于传统的学习环境而言,有较为显著的优势,这一学习环境的建设完全围绕着学习者展开,同时着重强调了其在学习中的主体位置,满足了对培养学习者问题解决能力的根本目的。     

随机离散事件系统的故障预测

针对随机系统模型,提出一种随机离散事件系统的故障预测方法. 先对随机离散事件系统的故障可预测性进行形式化,再通过引入概率转移矩阵构建一个故障预测器自动机,得到关于随机离散事件系统的故障可预测性的充分必要条件. 由此,在故障预测器的基础上,通过计算其扩展马尔可夫矩阵,可判定随机离散事件系统是否具有故障可预测性,从而实现对故障事件在其发生之前的准确预测.     

基于强化学习的多智能体协作实现

基于马尔科夫过程的强化学习作为一种在线学习方式,能够很好地应用于单智能体环境中.但是由于强化学习理论的限制,在多智能体系统中马尔科夫过程模型不再适用,因此强化学习不能直接用于多智能体的协作学习问题.本文提出了多智能体协作的两层强化学习方法.该方法主要通过在单个智能体中构筑两层强化学习单元来实现.第一层强化学习单元负责学习智能体的联合任务协作策略,第二层强化学习单元负责学习在本智能体看来是最有效的行动策略.所提出的方法应用于3个智能体协作抬起圆形物体的计算机模拟中,结果表明所提出的方法比采用传统强化学习方法的智能体协作得更好.     

基于工作过程的情境化教学的研究与设计

基于工作过程的情境教学是通过具体的"学习情境"来实施的,每个学习情境的载体可以是一个案例,也可以是一个项目或一件产品。学习情境的设计注重于体现职业能力目标的实现,每个学习情境的实施都建立在一个完整的工作过程之上,通过多个平行或递进的学习情境集成的教学活动,使学生在新的情境中实现知识的迁移,实现从经验学习到策略学习跃迁的全过程,这符合学生的职业成长规律。     

一种提升机器人强化学习开发效率的训练模式研究

强化学习与深度学习结合的深度强化学习（Deep Reinforcement Learning,DRL）模型,目前被广泛应用于机器人控制领域。机器人强化学习需要在3D仿真环境中训练模型,然而在缺乏环境先验知识的情况下,在3D环境中进行试错学习会导致训练周期长、开发成本高的问题。因此提出一种贯通2D到3D的机器人强化学习训练模式,将计算量大、耗时多的工作部署到2D环境中,再把算法结果迁移到3D环境中进行测试。实验证明,这种训练模式能使基于个人电脑的机器人强化学习的开发效率提升5倍左右。