基于粒子群优化算法的支持向量机参数选择

由于支持向量机的主要参数的选择能够在很大程度上影响分类性能和效果,并且目前参数优化缺乏理论指导,提出一种粒子群优化算法以优化支持向量机参数的方法.该方法通过引入非线性递减惯性权值和异步线性变化的学习因子策略来改善标准粒子群算法的后期收敛速度慢、易陷入局部最优的缺陷.实验结果表明,相对于标准粒子群算法,本方法在参数优化方面具有良好的鲁棒性、快速收敛和全局搜索能力,具有更高的分类精确度和效率.     

改进的MEA进行特征选择及SVM参数同步优化

特征选择和参数优化是提高支持向量机（SVM）分类性能的两个重要手段,将两者进行同步优化能提高分类器的分类精度。利用思维进化算法（MEA）进行特征选择和SVM参数同步优化能取得较好的分类效果,但也存在着收敛速度慢,易陷入局部最优的问题,无法进一步提高分类精度。针对这一问题,提出了一种改进的思维进化算法进行分类器优化（RMEA-SVM）,在传统思维进化算法的基础上引入了“学习”和“反思”机制,利用子群体间信息共享进行学习,通过适应度值的比较进行反思。通过这种方式保证种群的多样性,加快收敛速度,进一步提高分类精度。实验结果证明了算法的有效性。     

中医脉象的BP神经网络分类方法研究

为了实现中医脉象的客观、准确分类,文章提出了一种基于BP神经网络的脉象识别方法。考察了隐层节点数对网络收敛速度、识别正确率的影响以及学习率对收敛速度的影响,改进了网络训练算法。并选取了较好的学习率参数对脉象信号进行了网络训练,获得了满意的网络收敛误差和识别精度。最后用大量临床脉象样本对网络和算法进行了检验,实验结果表明该方法能够实现对中医常见脉象的准确、快速分类。     

径向基函数递推最小二乘算法优化学习的研究

对于广泛使用的三层感知机BP神经网络存在收敛速度慢,预测精度不高的问题,提出了基于径向基函数(RBF)递推最小二乘算法调整网络连接权值以及通过自适应学习的方法优化径向基函数形状参数的协作式自适应算法,并采用该算法进行了RBF神经网络的训练和仿真实验.结果表明:所提出的算法较BP算法以及固定a值的RBF算法有较快的收敛速度;最后,将训练后的神经网络应用于煤矿瓦斯涌出量的预测中,结果大大提高了预测的精度.因此,该算法具有很高的应用价值.     

一种基于变调整学习规则的模糊网页分类方法研究

当类别之间交叉现象比较严重时,网页分类方法的精度就会下降.为准确地分类网页,首先给出一种模糊网页分类的系统结构,通过用成员函数替代分类网络中的权值变量,来提供一种可融入人类关于网页分类知识的机制.然后给出一种通用学习规则,来学习成员函数中的参数.通过理论推导,用李雅普诺夫函数分析和验证通用参数学习规则的学习收敛性,揭示参数学习算法朝最小误差方向调整参数的内在因素.最后在单参数学习算法收敛性的分析基础上,提出一种变调整规则的单参数学习算法,加快参数学习速度.从学习收敛性的理论论证和实验结果来看,这种网页分类方法是一种有效的分类方法.     

一种基于误差放大的快速BP学习算法

针对目前使用梯度下降原则的BP学习算法，受饱和区域影响容易出现收敛速度趋缓的问题，提出一种新的基于误差放大的快速BP学习算法以消除饱和区域对后期训练的影响．该算法通过对权值修正函数中误差项的自适应放大，使权值的修正过程不会因饱和区域的影响而趋于停滞，从而使BP学习算法能很快地收敛到期望的精度值．对3-parity问题和Soybean分类问题的仿真实验表明，与目前常用的Delta-bar-Delta方法、加入动量项方法、Prime Offset等方法相比，该方法在不增加算法的复杂度和额外的CPU机时的情况下能更快地收敛到目标精度值．     

基于BP算法的模糊关系方程解法及仿真

模糊系统的模糊推理方法常依赖于一系列由主观决定的参数,如模糊隶属函数、模糊关系矩阵等.如何确定这些参数会直接影响系统的性能.为了能对这些参数进行优化,在通过神经网络来求解模糊关系方程近似解的基础上,提出了一种基于改进的BP算法的模糊反卷积问题的求解方法,利用梯度下降算法优化系统参数.为了加快系统的收敛速度,采用了搜寻后收敛进度来改进BP算法的学习率.仿真试验结果表明,该方法比传统方法具有更强的适应性以及快速收敛速度.     

基于多维度变异学习与收散归优的鲸鱼优化算法

针对鲸鱼优化算法(WOA)在解决高维、多峰、最优值非原点等问题时存在的收敛精度低、易被局部最优捕获等缺陷，提出了一种基于多维度变异学习与收散归优的鲸鱼优化算法(MLDOWOA)。首先，引入自适应权值以及优势个体干扰动态调整个体螺旋包围的方向，提高了算法的全局搜索能力和收敛精度；然后提出多维度变异学习机制对种群变异方向进行自适应规划，进一步扩大了算法的搜索范围；最后引入收散归优机制协调了搜索步长，帮助种群突破了中后期搜索停滞的局限。通过8个高维基准函数和4个固定维基准函数对MLDOWOA算法进行测试，结果表明同基本算法WOA、SSA以及改进的ACWOA、AWOA、MSIWOA、ADWOA相比，该算法在收敛精度和应对高维函数的能力上具有显著的优越性。将该算法应用于FOPID控制器的参数整定，并将实验结果同近年来该工程问题的研究成果进行对比分析，证明了该算法在FOPID参数整定问题中具有卓越的性能。     

一种迭代加权更新的带加速算子的半监督AP聚类算法

为了提高AP算法的数据集分类准确度和收敛速度,提出一种基于改进AP算法的迭代加权更新的带加速算子的半监督AP聚类算法(AP-SSM)。该算法采用带约束的标签映射的方法对样本所属子簇进行分类,在采用传统AP聚类算法上引入了迭代加权更新方法来吸引度参数和适选度参数,并在算法聚类过程中引入了加速因子,考虑到了子簇自身数据中心和权重值的加速因子可以提高聚类精度和算法收敛性能。仿真实验结果表明,AP-SSM算法相比AP、AP-VSM、SAP算法,在数据集分类准确度和算法运行速度上具有更好的效果。     

基于粒子滤波的非线性系统静态参数估计方法*

针对基于滤波方法的最大似然参数估计步长序列过于单一,算法收敛缓慢并很容易收敛于局部最优解的问题,提出了基于似然权值的在线EM参数估计算法(LWOEM)。通过粒子滤波方法实时估计系统的状态值变化,结合最大似然方法计算静态参数的点估计,然后通过计算更新参数的似然值来动态更新步长序列.与在线EM参数估计算法(OEM)的实验结果比较,表明该算法具有更好的适应性和收敛效果。     

基于资源分配网络和语义特征选取的文本分类

针对资源分配网络(RAN)算法存在隐含层节点受初始学习数据影响大、收敛速度低等问题,提出一种新的RAN学习算法。通过均值算法确定初始隐含层节点,在原有的“新颖性准则”基础上增加RMS窗口,更好地判定隐含层节点是否增加。同时,采用最小均方(LMS)算法与扩展卡尔曼滤波器(EKF)算法相结合调整网络参数,提高算法学习速度。由于基于词向量空间文本模型很难处理文本的高维特性和语义复杂性,为此通过语义特征选取方法对文本输入空间进行语义特征的抽取和降维。实验结果表明,新的RAN学习算法具有学习速度快、网络结构紧凑、分类效果好的优点,而且,在语义特征选取的同时实现了降维,大幅度减少文本分类时间,有效提高了系统分类准确性。     

一种基于特征选择的不平衡数据分类算法

不平衡数据分类是当前机器学习的研究热点,传统分类算法通常基于数据集平衡状态的前提,不能直接应用于不平衡数据的分类学习.针对不平衡数据分类问题,文章提出一种基于特征选择的改进不平衡分类提升算法,从数据集的不同类型属性来权衡对少数类样本的重要性,筛选出对有效预测分类出少数类样本更意义的属性,同时也起到了约减数据维度的目的.然后结合不平衡分类算法使数据达到平衡状态,最后针对原始算法错分样本权值增长过快问题提出新的改进方案,有效抑制权值的增长速度.实验结果表明,该算法能有效提高不平衡数据的分类性能,尤其是少数类的分类性能.     

基于Tri-training算法的构造性学习方法

构造性机器学习(CML)算法在训练分类器时需要大量有标记样本,而获取这些有标记样本十分困难。为此,提出一种基于Tri-　training算法的构造性学习方法。根据已标记的样本,采用不同策略构造3个差异较大的初始覆盖分类网络,用于对未标记数据进行标记,再将已标记数据加入到训练样本中,调整各分类网络参数,反复进行上述过程,直至获得稳定的分类器。实验结果证明,与CML算法和基于NB分类器的半监督学习算法相比,该方法的分类准确率更高。     

双权值神经网络在图像分割中的应用

采用基于误差反向传播的双权值神经网络学习算法,同时确定核心权值、方向权值以及幂参数、学习率等参数,通过适当地调节这些参数,从而实现尽可能多种不同超曲面的特性。在对双权值网络进行训练时,通过对人物头像的分割,将该算法与带动量项BP算法进行了比较。最后将双权值神经网络成功地运用于车牌号码等图像的分割工作中,取得了良好的图像分割效果。     

Model and Training of QNN with Weight

Quantum Neural Network (QNN) is a burgeoning new field built upon the combination of classical neural networks and quantum computations, which has many problems needed to solve. Where the learning of the network weight vector is an issue must be settled to develop QNN. Upon the analysis of the Grover’s quantum algorithm, a model of QNN with weight vector and a training method for it are proposed in this paper. It can be shown that this model and method work in quantum mechanism. Results on the data set show that this network model can deal with some classical problem such as XOR problem and the proposed weight updating algorithm based on the Grover always can learn training examples in a certain percentage, despiting it has not been proven to excel classical learning algorithm in performance. It yet has some advantages over classical counterpart.     

Boosting image classification with LDA-based feature combination for digital photograph management

Image classification is of great importance for digital photograph management. In this paper we propose a general statistical learning method based on boosting algorithm to perform image classification for photograph annotation and management. The proposed method employs both features extracted from image content (i.e., color moment and edge direction histogram) and features from the EXIF metadata recorded by digital cameras. To fully utilize potential feature correlations and improve the classification accuracy, feature combination is needed. We incorporate linear discriminant analysis (LDA) algorithm to implement linear combinations between selected features and generate new combined features. The combined features are used along with the original features in boosting algorithm for improving classification performance. To make the proposed learning algorithm more efficient, we present two heuristics for selective feature combinations, which can significantly reduce training computation without losing performance. The proposed image classification method has several advantages: small model size, computational efficiency and improved classification performance based on LDA feature combination.     

多标签代价敏感分类集成学习算法

尽管多标签分类问题可以转换成一般多分类问题解决,但多标签代价敏感分类问题却很难转换成多类代价敏感分类问题.通过对多分类代价敏感学习算法扩展为多标签代价敏感学习算法时遇到的一些问题进行分析,提出了一种多标签代价敏感分类集成学习算法.算法的平均错分代价为误检标签代价和漏检标签代价之和,算法的流程类似于自适应提升（Adaptive boosting,AdaBoost）算法,其可以自动学习多个弱分类器来组合成强分类器,强分类器的平均错分代价将随着弱分类器增加而逐渐降低.详细分析了多标签代价敏感分类集成学习算法和多类代价敏感AdaBoost算法的区别,包括输出标签的依据和错分代价的含义.不同于通常的多类代价敏感分类问题,多标签代价敏感分类问题的错分代价要受到一定的限制,详细分析并给出了具体的限制条件.简化该算法得到了一种多标签AdaBoost算法和一种多类代价敏感AdaBoost算法.理论分析和实验结果均表明提出的多标签代价敏感分类集成学习算法是有效的,该算法能实现平均错分代价的最小化.特别地,对于不同类错分代价相差较大的多分类问题,该算法的效果明显好于已有的多类代价敏感AdaBoost算法.     

三支决策朴素贝叶斯增量学习算法研究

增量学习利用增量数据中的有用信息通过修正分类参数来更新分类模型,而朴素贝叶斯算法具有利用先验信息以及增量信息的特性,因此朴素贝叶斯算法是增量学习算法设计的最佳选择。三支决策是一种符合人类认知模式的决策理论,具有主观的特性。将三支决策思想融入朴素贝叶斯增量学习中,提出一种基于三支决策的朴素贝叶斯增量学习算法。基于朴素贝叶斯算法构造了一个称为分类确信度的概念,结合代价函数,用以确定三支决策理论中的正域、负域和边界域。利用三个域中的有用信息构造基于三支决策的朴素贝叶斯增量学习算法。实验结果显示,在阈值[α]和[β]选择合适的情况下,基于该方法的分类准确性和召回率均有明显的提高。     

实例加权类依赖Relief

Relief算法是一个过滤式特征选择算法,通过一种贪心的方式最大化最近邻居分类器中的实例边距,结合局部权重方法有作者提出了为每个类别分别训练一个特征权重的类依赖Relief算法（Class Dependent RELIEF algorithm：CDRELIEF）.该方法更能反映特征相关性,但是其训练出的特征权重仅仅对于衡量特征对于某一个类的相关性很有效,在实际分类中分类精度不够高.为了将CDRELIEF算法应用于分类过程,本文改变权重更新过程,并给训练集中的每个实例赋予一个实例权重值,通过将实例权重值结合到权重更新公式中从而排除远离分类边界的数据点和离群点对权重更新的影响,进而提高分类准确率.本文提出的实例加权类依赖RELIEF （IWCDRELIEF）在多个UCI二类数据集上,与CDRELIEF进行测试比较.实验结果表明本文提出的算法相比CDRELIEF算法有明显的提高.