基于优势学习的深度Q网络

强化学习问题中，同一状态下不同动作所对应的状态-动作值存在差距过小的现象，Q-Learning算法采用MAX进行动作选择时会出现过估计问题，且结合了Q-Learning的深度Q网络（Deep Q Net）同样存在过估计问题。为了缓解深度Q网络中存在的过估计问题，提出一种基于优势学习的深度Q网络，通过优势学习的方法构造一个更正项，利用目标值网络对更正项进行建模，同时与深度Q网络的评估函数进行求和作为新的评估函数。当选择的动作是最优动作时，更正项为零，不对评估函数的值进行改动，当选择的动作不是最优动作时，更正项的值为负，降低了非最优动作的评估值。和传统的深度Q网络相比，基于优势学习的深度Q网络在Playing Atari 2600的控制问题breakout、seaquest、phoenix、amidar中取得了更高的平均奖赏值，在krull、seaquest中取得了更加稳定的策略。     

简化Lorenz混沌系统的非线性动力学分析

借助Lyapunov函数稳定性理论研究了简化Lorenz混沌系统的全局吸引集,得到了它的界估计。通过了计算机模拟,数值模拟验证了计算理论的可行性。     

基于动作空间划分的MAXQ自动分层方法

针对分层强化学习需要人工给出层次结构这一问题,同时考虑到基于状态空间的自动分层方法在环境状态中没有明显子目标时分层效果并不理想的情况,提出一种基于动作空间的自动构造层次结构方法。首先,根据动作影响的状态分量将动作集合划分为多个不相交的子集;然后,分析Agent在不同状态下的可用动作,并识别瓶颈动作;最后,由瓶颈动作与执行次序确定动作子集之间的上下层关系,并构造层次结构。此外,对MAXQ方法中子任务的终止条件进行修改,使所提算法构造的层次结构可以通过MAXQ方法找到最优策略。实验结果表明,所提算法可以自动构造层次结构,而不会受环境变化的干扰。与Q学习、Sarsa算法相比,MAXQ方法根据该结构得到最优策略的时间更短,获得回报更高。验证了所提算法能够有效地自动构造MAXQ层次结构,并使寻找最优策略更加高效。     

缝纫泡沫夹芯复合材料细观纤维柱破坏行为

缝纫泡沫夹芯复合材料中的纤维柱在拔出过程中的破坏行为复杂导致结构承载性能难以预测。采用真空辅助树脂注射(VARI)工艺制备了缝纫泡沫夹芯复合材料,并使用层间拉伸试验(ITT)研究了缝纫泡沫夹芯复合材料中含有单根缝线纤维柱细观试件的破坏过程。讨论了不同破坏现象对缝线纤维柱拔出摩擦过程的影响,并分析了缝纫泡沫夹芯复合材料的破坏模式。分析了缝线粗细的变化对试件破坏过程中关键的力、位移等参数及能量吸收性能的影响。研究了由于成型工艺所导致的缺胶现象对缝纫泡沫夹芯复合材料性能的影响。结果表明:缝纫泡沫夹芯复合材料的能量吸收性能、关键位移参数及最大载荷都随着缝线变粗而增大。但是缝纫泡沫夹芯复合材料的破坏模式对其也有一定的影响,导致了变化趋势的波动;缺胶缝纫泡沫夹芯复合材料由于缺陷的存在,最大破坏载荷和能量吸收性能均有所下降。     

吸附精制百白破混合制剂Ⅲ期临床反应观察

根据卫生部药政发（94）第530号文精神及卫生部（93）S－59号新生物制品批件要求，由广州市卫生防疫站、中国药品生物制品检定所等单位对卫生部生物制品总公司协作组、长春等5个生研所试生产的吸附精制百白破混合制剂（APDT）进行了回期临床反应观察。旨在通过本次大规模的婴幼儿人群接种反应观察，了解该制剂有无严重异常反应发生及其发生率，以便对该制剂的安全性作出进一步评价，为该制剂获取正式生产文号以及在全国范围内推广应用提供新的科学依据。观察于1995年4月开始，到1996年8月底为止，为期1年4个月，在广州市8个区（市）中进行…     

弹性套芯轴

我厂在加工冶金行业辊子零件系列时,辊子零件的外圆对轴承位形位公差要求比较严格,粗糙度为R_a=0.8,车床半精加工后,再上外圆磨床加工外圆及轴承位。磨床装夹,起初我们用如图1所示的死堵头。方法是用手锤将锥度为1∶100堵头打入两端孔内,然后装夹在磨头和尾座两顶尖之间,用鸡心夹带动工件旋转磨削加工。敲打拆装死堵头很不方便。堵头外圆与辊子孔是线接触,容易损坏堵头工作面,丧失精度,所以在批量生产中要经常更换堵头。根据这种情     

振冲法在砂场地地基处理中的应用

通过对典型振冲挤密法施工方法的研究，分析了该方法的加固机理，指出它可提高地基承载力、减少沉降和不均匀沉降，且能达到地基抗地震、抗液化能力的效果。     

基于物品的统一推荐模型

用户-物品交互模式建模是个性化推荐的一项重要任务,许多推荐系统都基于用户与商品之间存在线性关系的假设,忽略了现实物品与历史物品之间交互的复杂性和非线性,导致这些系统不足以捕捉到用户的复杂决策过程。为此,将一个更有表现力的Top-N推荐系统的物品相似性因子模型解决方法与多层感知机方法相结合,以有效地建模物品之间的高阶关系,捕获更复杂的用户决策。分别在三个数据集MovieLens、Foursquare和ratings_Digital_Music上验证了结合后的效果,并与基准方法MLP、分解物品相似度模型（FISM）、DeepICF和ItemKNN进行对比,结果表明,所提出的方法在推荐性能上有明显的提高。     

基于内在奖励的技能获取和组合方法

现有的内在奖励随着agent不断探索环境而逐渐消失,导致了agent无法利用内在奖励信号去指引agent寻找最优策略。为了解决这个问题,提出了一种基于内在奖励的技能获取和组合方法。该方法首先在agent与环境交互过程中寻找积极状态,在积极状态中筛选子目标;其次从初始状态到达子目标,子目标到达终止状态所产生的一条轨迹中发现技能,对技能中出现一个或者两个以上的子目标进行组合;最后用初始状态到子目标的距离和初始状态到子目标的累积奖励值对技能进行评估。该方法在Mujoco环境中取得了较高的平均奖励值,尤其是在外在奖励延迟的情况下,也能取得较好的平均奖励值。说明该方法提出的子目标和技能可以有效地解决内在奖励消失后,agent无法利用内在奖励信号学习最优策略的问题。     

朴素差分进化算法

针对变异算子学习方式的单一性,提出一种朴素变异算子,其基本思想是向优秀的个体靠近,同时远离较差个体,其实现方式是设计一种缩放因子调整策略,如果三个随机个体在某维上比较接近,则缩放因子变小,反之变大.在实验过程中通过平均适应度评价次数、成功运行次数和加速比等指标表明,基于朴素变异算子的差分进化算法能有效提高算法的收敛速度和健壮性.