组织进化数值优化算法

基于经济学中“组织”的概念 ,该文提出一种新的进化算法———组织进化算法 ,来解决无约束和有约束的数值优化问题 .该算法与传统遗传算法、进化规划、进化策略的运行机制完全不同 ,其进化操作不直接作用于个体上 ,而作用在组织上 ,为此 ,该文定义了三种组织进化算子———分裂算子、吞并算子和合作算子来引导种群进化 .理论分析证明组织进化算法具有全局收敛性 .实验中 ,用 4个无约束和 6个有约束标准函数对算法进行了测试 ,与 3个新算法作了比较 ,并对组织进化算法的性能作了深入分析 .结果表明 ,该文算法无论在解的质量上还是在计算复杂度上都优于其它算法 .对于有约束问题 ,只用了简单的静态罚函数就得到了良好的效果 ,这表明该文算法的搜索机制非常有效 ,不易陷入局部最优 .最后 ,参数分析的结果表明该文算法具有性能稳定、成功率高、对参数不敏感等优越的性能     

基于免疫原理的逻辑电路设计算法

硬件进化是基于进化计算和可重构硬件的新兴研究领域。逻辑电路的进化设计是硬件进化的主要研究方向之一。文章将生物免疫系统的进化非选择机制引入到逻辑电路设计中,提出了相应的逻辑电路设计算法,并给出了该文算法和进化算法的对比实验结果,结果表明该文算法更加有效。     

一种新的计算方法:粒度进化计算

从分析进化计算的起源入手,总结了进化计算产生的根源,然后探讨了人类进化——文化进化的基本特征,模仿进化计算的来源机制,提出了粒度进化计算。如果说进化计算是模拟达尔文生物进化机制而发展起来的一种计算方法,那么粒度进化计算则是在模仿文化进化机制的基础上,综合了Agent技术以及粒度计算、进化计算的理论和方法而提出的一种计算方法。文中,从群进化和超群进化两方面来介绍粒度进化计算的基本原理和方法,并给出了基于粒度Agent系统的粒度进化递归模型。     

基于进化策略的偶极子源定位

如何有效地从头表记录电位中准确定位脑电源的真实活动位置是神经认知脑功能研究中的一个关键问题。该文从无性生殖的生物在自然界中优胜劣汰的进化模式中得到启发,设计了基于进化策略算法来进行源定位。我们采取组合变异和自适应变步长相结合的方式对特定的问题进行求解。在三层球模型上的仿真结果表明了该方法能有效的对脑电源进行定位。     

人类进化特征及模型研究

分析和研究了人类进化的基本特征,提出了进化计算模拟的是生物进化机制,粒度进化计算模拟的是文化进化机制的思想.在人类进化的整个过程中,生物进化和文化进化是相互影响的,其中文化进化占支配地位.提出了以 Agent 为技术支撑的粒度进化计算方法,从群进化和超群进化两个方面阐述了粒度进化计算的基本原理和方法,其中群进化是生物进化和文化进化共同作用的结果,并由此提出了基于Agent的人类进化递归模型.     

基于免疫进化规划的一种柔性神经模糊推理系统

该文基于泛逻辑学提出一种新颖的柔性神经模糊推理系统,用命题间的广义相关性和广义自相关性去解释系统推理模式的连续可变,以及命题真值的测量误差,以期实现真正的智能控制系统,并采用了将进化规划同生物免疫思想中的浓度机制及多样性保持策略相结合的免疫进化规划学习算法,自适应地学习系统参数。最后通过倒立摆的仿真实验体现了该推理系统的可用性和有效性。     

基于差分进化的因子分解机算法

因子分解机(Factorization Machine,FM) 算法是一种基于矩阵分解的机器学习算法,可用于求解回归、分类和排序等问题。FM模型中的参数求解使用的是基于梯度的优化方法,然而在样本较少的情况下,该优化方法收敛速度慢,且易陷入局部最优。差分进化算法(Differential Evolution,DE)是一种启发式的全局优化算法,具有收敛速度快等特性。为提高FM模型的训练速度,利用DE计算FM模型参数,提出了DE-FM算法。在数据集Diabetes、HorseColic以及音乐分类数据集Music上的实验结果表明,改进后的基于差分进化的因子分解机算法DE-FM在训练速度和准确性上均有所提高。     

背包问题的知识进化算法

知识进化算法是在分析知识进化机制基础上提出的一种新型优化算法。该文根据0-1背包问题的特点,提出用于求该问题的知识进化算法方案,阐明算法的具体实现过程。通过对其他文献中仿真实例的计算和结果比较,表明应用该算法求解背包问题取得了良好的效果。该算法同样可以应用于其他组合优化问题。     

基于均匀设计的差分进化算法的参数设定

差分进化算法参数的设定多采用经验选取方式,其缺点是试验运行量大以及难以得到最优参数组合,从而在很大程度上影响了算法的寻优能力。将均匀设计的试验方法引入差分进化算法的参数设定中,通过对单峰函数、多峰函数和病态函数等3种不同类型的标准测试函数进行均匀设计试验,找出适合不同类型标准测试函数的最优参数组合,从而达到对差分进化算法的参数进行设定的目的。结果显示,将经过均匀设计试验得到的两组最优的参数组合用于差分进化算法时,所获得的平均全局最优解为4.3215,平均标准差为3.650。可见,利用均匀试验设计方法对基本差分进化算法的参数进行设定是可行且有效的,同时具有较好的稳定性。     

任务分配与调度的共同进化方法

并行与分布式计算环境中随着独立任务的增多,传统进化类单种群的任务分配与调度算法的效率与效力随之大为降低,该文在分析传统解完整编码单种群进化类算法的基础上,基于生物界多物种间共同进化的机制提出了任务分配与调度的合作式共同进化计算模型,并探讨了任务分配与调度问题中的子种群合作方式与个体的适应值计算方法。此外,从数学上分析了基于合作式共同进化的任务分配与调度算法的性能,指出共同进化调度方法中好的调度方案能以高于传统单种群进化算法的递增指数递增。仿真分析证实了算法的理论分析结果,算法具有实际工程价值。     

Handwritten Chinese character recognition by rule-embedded Neocognitron

This paper presents an attempt to integrate neural computation with a domain knowledge technique to resolve the problem of the wide variety in handwritten Chinese characters. Despite their complexity, Chinese characters can be seen as structured patterns. Therefore, we propose a symbolic representation to describe these structural formations. In particular, we consider the Fuzzy Attributed Production Rule (FAPR) as a possible symbolic representation. On the neural computational side, we study Fukushima's Neocognitron model, which has been successfully demonstrated to recognize handwritten alphanumerics. Despite its power and tolerance capabilities, the supervised training scheme used by Fukushima is impractical for a large character set such as Chinese characters. We thus propose a ruleembedded Neocognitron network which can be readily mapped with structure-knowledge of Chinese characters as represented in FAPRs. In this paper, we demonstrate how 50 Chinese characters are mapped onto the network, and that the system performance in tolerating character structure deviations is satisfactory.     

Gradient Computation of Continuous-Time Cellular Neural/Nonlinear Networks with Linear Templates via the CNN Universal Machine

Single-layer, continuous-time cellular neural/nonlinear networks (CNN) are considered with linear templates. The networks are programmed by the template-parameters. A fundamental question in template training or adaptation is the gradient computation or approximation of the error as a function of the template parameters. Exact equations are developed for computing the gradients. These equations are similar to the CNN network equations, i.e. they have the same neighborhood and connectivity as the original CNN network. It is shown that a CNN network, with a modified output function, can compute the gradients. Thus, fast on-line gradient computation is possible via the CNN Universal Machine, which allows on-line adaptation and training. The method for computing the gradient on-chip is investigated and demonstrated.     

Introducing rotation invariance into the Neocognitron model for target recognition

This model introduces rotation invariance into the Neocognitron model by way of rotation layers. The most likely orientation of the target is detected and used for further pattern classification using an algorithm similar to that for the Neocognitron model. The visual target recognition capability of this model is demonstrated.     

A novel feature recognition neural network and its application tocharacter recognition

Presents a feature recognition network for pattern recognition that learns the patterns by remembering their different segments. The base algorithm for this network is a Boolean net algorithm that the authors developed during past research. Simulation results show that the network can recognize patterns after significant noise, deformation, translation and even scaling. The network is compared to existing popular networks used for the same purpose, especially the Neocognitron. The network is also analyzed as regards to interconnection complexity and information storage/retrieval     

面向车路协同推断的差分隐私保护研究

车路协同推断通过联合车载终端与路侧边缘服务器进行深度卷积网络推断运算,提高了网络架构推断效率,但是存在用户隐私泄露问题。攻击者在未知车载终端网络结构和参数的前提下,通过训练反卷积网络的方式,可复原车载终端上传的计算结果对应的图像数据,从而发起图像还原攻击。基于差分隐私理论,针对图像还原攻击设计模型扰动、输入扰动、输出扰动3种防御算法,分别在车载终端深度卷积网络的模型参数、输入原始图像、输出计算结果中加入随机拉普拉斯噪声,干扰攻击者的图像还原。通过理论分析得出3种算法均满足差分隐私保护,攻击者难以从计算结果中挖掘出原始数据的隐私信息。实验结果表明,3种算法在有效防御黑盒图像还原攻击的同时能保持推断精确度在90%以上,其中模型扰动算法在均衡隐私保护和推断精确度方面的性能表现优于输入扰动和输出扰动算法。     

Summary of the interactive neocognitron: an environment for pattern classification performance enhancement

This paper considers the implementation of a neural network development environment, and describes a prototype that has been produced. The prototype has been targeted at pattern classifier applications, where human support can be beneficial. The initial aim of the system is to provide support for generating a neural network solution to a particular pattern classification problem. This takes the form of supporting the supervised training of a neural network. The support is designed to speed up the training process, by providing the operator with rapid indications of network performance, for the current configuration. The development environment currently supports the Neocognitron neural network paradigm, which is a versatile pattern classifier. The operation of the layers of this network can be presented to the operator, as an aid to setting up. A major consideration is the use of Graphical User Interfaces, and the use of X Windows and Motif for the development environment. In conclusion, the results of the work are considered, and future developments outlined.     

基于组合优化的Kriging参数估计算法

在使用常微分方程组描述的数学模型进行参数估计时,本文使用Kriging代理模型完成优化过程。该代理模型通过少量数据点的训练即可部分替代计算费时的原始目标函数优化过程,因此可以节省大量的计算时间。在Kriging代理模型精化过程中,查找新增点的优化算法对参数估计的结果有重要影响。本文针对非线性且具有sloppiness属性的常微分方程组形式的参数估计问题,组合具有二阶动量特征的Adam算法及一阶动量梯度下降算法的各自优势用于搜索模型精化时所需添加的新样例点,从而提高收敛速度及查找质量。通过与其他优化算法相比对,验证了该组合算法的实际有效性。     

新的基于训练序列的MIMO-OFDM时域信道估计方法

为了实现多输入多输出—正交频分复用系统的相干检测,提出一种新的基于训练序列的信道估计方法。将使用的训练序列在时间上呈现正交性,同时利用训练序列本身良好的相关特性简便、精确估计出信道的冲激响应。通过理论分析和计算机仿真证明,新的算法对比最佳训练序列的LS(最小二乘法)时域估计方法,在具有同样估计精度的同时,避免了复杂的矩阵求逆运算,使计算复杂度进一步降低。     

改进的全对称多胞形集员状态估计算法

针对带有有界的噪声和参数的非线性离散时间系统, 提出了一种改进的全对称多胞形集员状态估计算法.在算法的时间更新过程中, 采用区间算术的方法计算一个包含系统轨迹的全对称多胞形.在算法的量测更新过程中, 则要首先在状态空间中给出一个集合作为与量测输出相一致的区域的外界描述, 然后计算一个具有最小容积的全对称多胞形作为时间更新全对称多胞形与此集合的交集的外界描述.由于此集合可表示为多个带的交集, 所以需要研究全对称多胞形与带的交集的外界描述方法.在提出改进的外界描述方法之前, 指出了原始外界描述方法的保守性.改进的外界描述方法给出了新的包含二者交集的全对称多胞形族, 然后找到具有最小容积的全对称多胞形作为二者交集的外界描述. 此后证明了改进外界描述方法得到的全对称多胞形不会比原始方法大. 最后, 采用仿真实验来检验不同噪声分布对算法性能的影响.仿真结果表明了改进算法得到的状态估计的均方误差和全对称多胞形的容积比原始算法小, 而且当存在重尾分布噪声时此优势更加明显.     

Profitability Edge by Dynamic Back Testing Optimal Period Selection for Technical Parameters Optimization,in Trading Systems with Forecasting

Back testing process is widely used today in forecasting experiments tests. This method is to calculate the profitability of a trading system, applied to specific past period. The data which are used, correspond to that specific past period and are called “historical data” or “training data”. There is a plethora of trading systems, which include technical indicators, trend following indicators, oscillators, control indicators of price level, etc. It is common nowadays for calculations of technical indicator values to be used along with the prices of securities or shares, as training data in fuzzy, hybrid and support vector machine/regression (SVM/SVR) systems. Whether the data are used in fuzzy systems, or for SVM and SVR systems training, the historical data period selection on most occasions is devoid of validation (In this research we designate historical data as training data). We substantiate that such an expert trading system, has a profitability edge—with regard to future transactions—over currently applied trading strategies that merely implement parameters’ optimization. Thus not profitable trading systems can be turned into profitable. To that end, first and foremost, an optimal historical data period must be determined, secondarily a parameters optimization computation must be completed and finally the right conditions of parameters must be applied for optimal parameters’ selection. In this new approach, we develop an integrated dynamic computation algorithm, called the “d-BackTest PS Method”, for selection of optimal historical data period, periodically. In addition, we test conditions of parameters and values via back-testing, using multi agent technology, integrated in an automated trading expert system based on Moving Average Convergence Divergence (MACD) technical indicator. This dynamic computation algorithm can be used in Technical indicators, Fuzzy, SVR and SVM and hybrid forecasting systems. The outcome crystalizes in an autonomous intelligent trading system.