基于猴群算法和单纯法的混合优化算法

针对猴群算法求解全局优化问题精度不高和花费大量的计算时间等问题,结合传统的单纯法的搜索思想,设计出一种基于猴群算法和单纯法的混合算法。该混合算法较大程度上提高了猴群算法求解精度,且加快了猴群算法的收敛速度。通过18个标准测试函数进行了测试,结果表明, 与PSO、GA与MA比较,文中提出的猴群-单纯形混合算法在函数优化方面有较强的优势,其测试函数最优解更接近理论最优解。     

基于简化脉冲耦合神经网络的人脸识别

基于简化脉冲耦合神经网络(S-PCNN),提出了一种新颖的人脸识别方法。首先通过对神经元振荡特性的分析,将神经元振荡时间序列(OTS)分解为捕获性振荡时间序列(C-OTS)和自激性振荡时间序列(S-OTS)。然后通过图像几何变换和振荡频图,分析了X-OTS(OTS、C-OTS和S-OTS)的鉴别特性。最后利用C-OTS+S-OTS和余弦距离测度给出了人脸识别的系统结构。人脸库中的实验结果验证了所提方法的有效性,显示了它比其它传统算法具有更好的识别性能。     

基于特征模糊贴近的数据库约束挖掘算法

传统的关联规则算法,只考虑了类内的关联性,忽略了类间的相似性特征、高开销的分类过程、耗时的关联过程。提出了数据内间特征模糊贴近分类的数据库约束挖掘算法,其通过数据模糊集间的贴近度描述数据间的一致度,在传统的神经网络挖掘技术中,引入数据融合技术,对类间数据进行分类处理后,对原始挖掘数据的动态特征进行分析获取新的挖掘模型,以在大规模数据库中准确查询目标数据。仿真实验结果表明,算法挖掘稀疏数据集和密集数据集的效率都优于传统的关联规则算法,极大提高了数据库的挖掘效率。     

递归pi-sigma神经网络的带惩罚项的梯度算法分析

传统的梯度算法存在收敛速度过慢的问题,针对这个问题,提出一种将惩罚项加到传统误差函数的梯度算法以训练递归pi-sigma神经网络,算法不仅提高了神经网络的泛化能力,而且克服了因网络初始权值选取过小而导致的收敛速度过慢的问题,相比不带惩罚项的梯度算法提高了收敛速度。从理论上分析了带惩罚项的梯度算法的收敛性,并通过实验验证了算法的有效性。     

带正则项Pi-sigma神经网络梯度学习算法研究

Pi-sigma神经网络是一种高阶神经网络,其网络结构中通过引入求积节点增强了网络的非线性映射能力,有效提高了网络的泛化性能。然而,Pi-sigma神经网络结构相当复杂,对网络学习提出了更高的要求。笔者通过引入光滑化L_(1/2)正则项,建立一种新的带稀疏约束的Pi-sigma神经网络,从而克服了学习过程中的震荡现象,提升了网络的学习效率,最后通过计算机仿真实验对比几种带不同正则项的网络算法的学习效果,验证了该算法的有效性。     

基于GPU的SIFT特征匹配算法并行处理研究

SIFT算法因具有旋转、缩放以及平移不变性而在影像配准和基于影像的三维重建领域得到广泛应用。但该算法复杂度较高,在CPU上执行的效率不高,难以满足对实时性要求较高的应用。在深入分析SIFT算法原理的基础上,针对该算法提取特征的多量性和特征向量的高维性,将该算法进行了并行化改造以利用GPU强大的并行计算能力,并与CPU上实现的SIFT算法进行了比较。实验证明,基于GPU的SIFT算法执行效率大幅提升,平均可以达到10倍以上的加速比。     

一种基于压缩矩阵的Apriori算法改进研究

针对已有基于矩阵的Apriori算法存在的问题,提出了一种改进的基于压缩矩阵的Apriori算法。算法进行了以下方面的改进:增加了两个数组,分别用于记录矩阵行与列中1的个数,使得算法在压缩矩阵时减少了扫描矩阵的次数;在压缩矩阵中,通过增加删除不能连接的项集和非频繁的项集的操作,使得矩阵压缩得更小,提高了空间效率;改变了删除事务列的条件和算法结束的条件,以减少挖掘结果的误差和算法循环的次数。算法性能分析和实验分析证明,改进后的算法能有效地挖掘频繁项集,并且比现有的算法具有更高的计算效率。     

最大匹配问题的粘贴DNA算法

最大匹配问题(MMP)是图论中经典的组合优化问题。针对此问题提出了基于DNA粘贴计算模型的求解算法,阐述了该算法如何利用DNA链构建最大匹配问题的初始编码,说明了应用粘贴计算模型寻求最终解的生物操作过程,同时分析了此DNA并行算法的计算复杂度,最后给出了该算法的计算机模拟仿真结果和应用实例,得到了所给问题的最大匹配解,并对算法的可行性进行了验证和总结。     

PSO-based K-means算法及其在网络入侵检测中的应用

PSO算法是一种基于群体智能的群优化和群搜索算法,效率高、收敛快。提出将其与K-means算法结合,用于网络入侵检测。实验表明,PSO-based K-means算法克服了K-means算法对初始聚类中心、孤立点和噪声敏感且易陷入局部最优解的缺点,收敛速度快,检测准确率较高。     

基于异步信息的匿名移动数据集的用户身份识别

为了保护用户的隐私,大部分公开数据集都采用隐藏真实ID和引入噪声信 息的方法来进行匿名处理。这些匿名处理即使在异步参考信息的攻击下也是脆弱的:即使只有部分位置信息暴露给攻击者并且暴露信息和公开数据集的收集过程不在同一时段内,攻击者依然能够识别出节点在公开数据集中的身份。首先,实验证明已有算法在异步信息情况下不适用;然后,提出针对异步信息的热点矩阵算法。采用3个真实移动数据集验证了识别算法的准确率。实验证明,热点矩阵法在异步信息条件下能够取得远高于已有方法的准确率。     

Convergence Analysis of Batch Gradient Algorithm for Three Classes of Sigma-Pi Neural Networks

Sigma-Pi (Σ-Π) neural networks (SPNNs) are known to provide more powerful mapping capability than traditional feed-forward neural networks. A unified convergence analysis for the batch gradient algorithm for SPNN learning is presented, covering three classes of SPNNs: Σ-Π-Σ, Σ-Σ-Π and Σ-Π-Σ-Π. The monotonicity of the error function in the iteration is also guaranteed.

---

     

Boundedness and Convergence of Online Gradient Method with Penalty for Linear Output Feedforward Neural Networks

This paper investigates an online gradient method with penalty for training feedforward neural networks with linear output. A usual penalty is considered, which is a term proportional to the norm of the weights. The main contribution of this paper is to theoretically prove the boundedness of the weights in the network training process. This boundedness is then used to prove an almost sure convergence of the algorithm to the zero set of the gradient of the error function.     

提高BP网络收敛速率的又一种算法

提高BP网络的训练速率是改善BP网络性能的一项重要任务。该文在误差反向传播算法(BP算法)的基础上提出了一种新的训练算法,该算法对BP网络的传统动量法进行了修改,采用动态权值调整以减少训练时间。文章提供了改进算法的仿真实例,仿真结果表明用该方法解决某些问题时,其相对于BP网络传统算法的优越性。     

Convergence of a Batch Gradient Algorithm with Adaptive Momentum for Neural Networks

In this paper, a batch gradient algorithm with adaptive momentum is considered and a convergence theorem is presented when it is used for two-layer feedforward neural networks training. Simple but necessary sufficient conditions are offered to guarantee both weak and strong convergence. Compared with existing general requirements, we do not restrict the error function to be quadratic or uniformly convex. A numerical example is supplied to illustrate the performance of the algorithm and support our theoretical finding.     

Fuzzy Polynomial Neuron-Based Self-Organizing Neural Networks

We propose a new category of neurofuzzy networks—self-organizing neural networks (SONN) with fuzzy polynomial neurons (FPNs) and discuss a comprehensive design methodology supporting their development. Two kinds of SONN architectures, namely a basic SONN and a modified SONN architecture are discussed. Each of them comes with two topologies such as a generic and advanced type. Especially in the advanced type, the number of nodes in each layer of the SONN architecture can be modified with new nodes added, if necessary. SONN dwells on the ideas of fuzzy rule-based computing and neural networks. The architecture of the SONN is not fixed in advance as it usually takes place in the case of conventional neural networks, but becomes organized dynamically through a growth process. Simulation involves a series of synthetic as well as real-world data used across various neurofuzzy systems. A comparative analysis shows that the proposed SONN are models exhibiting higher accuracy than some other fuzzy models.     

基于梯度动力学的协同神经网络学习算法的改进

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的、基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛。通过对汉字图像库和人脸图像库的图像识别实验表明,该算法比其他学习算法的识别率高,并能较快地收敛到极小值。     

多项式函数型回归神经网络模型及应用

文中利用回归神经网络既有前馈通路又有反馈通路的特点，将网络隐层中神经元的激活函数设置为可调多项式函数序列，提出了多项式函数型回归神经网络新模型，它不但具有传统回归神经网络的特点，而且具有较强的函数逼近能力，针对递归计算问题，提出了多项式函数型回归神经网络学习算法，并将该网络模型应用于多元多项式近似因式分解，其学习算法在多元多项式近似分解中体现了较强的优越性，通过算例分析表明，该算法十分有效，收敛速度快，计算精度高，可适用于递归计算问题领域，该文所提出的多项式函数型回归神经网络模型及学习算法对于代数符号近似计算有重要的指导意义。     

基于动量分数阶梯度的卷积神经网络优化方法

针对采用传统梯度下降算法训练卷积神经网络收敛速度慢的问题,提出了动量分数阶梯度下降算法.介绍了分数阶微积分的定义,并依据问题描述,通过算法推导,将整数阶梯度下降算法中的动量思想应用到分数阶梯度下降算法中,设计出动量分数阶梯度下降算法.使用测试函数验证算法的收敛性,并分析不同分数阶阶次和动量项系数对算法收敛性的影响.在三...     

基于拟牛顿法的前向神经元网络学习算法

针对前向神经网络现有BP学习算法的不足,结合非线性最优化方法,提出一种基于拟牛顿法的神经元网络学习算法。该算法有效地改进了神经元网络的学习收敛速度,取得了比常规BP算法更好的收敛性能和学习速度。     

Fast Learning Algorithms for Feedforward Neural Networks

In order to improve the training speed of multilayer feedforward neural networks (MLFNN), we propose and explore two new fast backpropagation (BP) algorithms obtained: (1) by changing the error functions, in case using the exponent attenuation (or bell impulse) function and the Fourier kernel function as alternative functions; and (2) by introducing the hybrid conjugate-gradient algorithm of global optimization for dynamic learning rate to overcome the conventional BP learning problems of getting stuck into local minima or slow convergence. Our experimental results demonstrate the effectiveness of the modified error functions since the training speed is faster than that of existing fast methods. In addition, our hybrid algorithm has a higher recognition rate than the Polak-Ribieve conjugate gradient and conventional BP algorithms, and has less training time, less complication and stronger robustness than the Fletcher-Reeves conjugate-gradient and conventional BP algorithms for real speech data.