一种提高神经网络集成差异性的学习方法

集成学习已经成为机器学习的研究方向之一,它可以显著地提高分类器的泛化性能.本文分析了Bagging及AdaBoost集成方法,指出了这两种方法的缺陷;然后提出了一种新的基于神经网络的分类器集成方法DBNNE,该方法通过生成差异数据增加集成的差异性;另外,当生成一个分类器后,采用了测试方法确保分类器集成的正确率;最后针对十个标准数据集进行了实验研究,结果表明集成算法DBNNE在小规模数据集上优于Bagging及AdaBoost集成方法,而在较大数据集上也不逊色于这两种集成方法.     

基于Bagging支持向量机集成的入侵检测研究

对大数据集来说，支持向量机的时空耗费非常大，本文采用bagging技术对支持向量机进行集成。首先用bootstrap技术对训练样本集进行可重复采样，使所得到的新子样本集有较大差异，然后用多个支持向量机对各子样本集进行学习，并将学习后的结果用多数投票法集成最终的结论。实验表明，支持向量机集成对入侵检测数据有比单个支持向量机更好的分类性能。     

基于集成支持向量机的故障诊断方法研究

为了提高支持向量机的泛化能力,研究了Bagging集成学习方法对于支持向量机的提升作用,试验结果表明提升作用不明显。通过模拟数据扰动的方法,在标准数据集上通过试验定量比较了支持向量机和神经网络的稳定性,结果表明支持向量机相对于神经网络来说是一种稳定的分类器。在此基础上,提出了双重扰动法,即通过子空间法扰动数据特征,通过Bagging算法扰动数据分布,来达到提高基分类器之间差异性的目的,在标准数据集和故障诊断数据上进行了试验,试验结果表明,双重扰动法较好地提升了支持向量机的正确识别率。     

去噪声的加权SVM分类方法

针对支持向量机(SVM)本身抗噪声能力低和训练数据类别不均匀会造成分类结果偏向数目较大一类的倾向性等问题，本文提出了去噪声的加权SVM分类方法。在该方法中，通过引入主成分分析方法来降维去除噪声，再通过引入加权系数的方式，补偿了上述倾向性造成的不利影响，提高了预测分类精度。对污水处理过程运行状态的分类实验表明该方法的有效性。     

基于字典优化的联合稀疏表示高光谱图像分类

针对训练样本量少导致高光谱图像分类精度低的问题,本文提出了一种基于字典优化的联合稀疏表示高光谱图像分类方法.首先,采取基于层次聚类的波段选择方法降低高光谱图像数据维度;其次,结合空间信息将高光谱数据划分为多个子集,利用已知标签信息的训练样本标记各个子集中可能成为训练样本的像元,组成训练样本备选集,根据光谱相似度准则筛选...     

谱聚类划分随机森林算法在图像识别中的应用

随机森林是近些年发展起来的新集成学习算法,具有较好的分类准确率。针对该算法计算复杂度较高的不足,提出了一种基于谱聚类划分的随机森林算法。首先,利用聚类效果较好的谱聚类算法对原始样本集的每一类进行聚类处理。然后,在每一聚类簇中随机选取一个样本作为代表,组成新训练样本集合。最后,在新训练样本集上训练随机森林分类器。该算法通过谱聚类技术对原始样本进行了初步划分,将位置相近的多个样本用簇内的一个样本代表,较大程度地减少了训练样本的个数。在Corel Image图像识别数据集上的实验表明,算法可以用较少的分类时间达到较高的分类精度。     

结合Gabor特征与Adaboost的人脸表情识别

通过提取人脸图像的Gabor特征，结合Adaboost，进行人脸表情识别（FER）。针对Gabor特征维数高、冗余大的特点，引入Adaboost算法进行特征选择降低特征向量的维数。然后再以支持向量机（SVM）和最近邻分类法相结合组成分类器进行分类。该方法综合运用了Gabor特征对于人脸表情的良好表征能力、Adaboost算法的强大特征选择能力以及SVM在处理少样本、高维数问题中的优势。在JAFFE库上进行测试的结果验证了该法的有效性。从Adaboost所选择的特征集可知，在眼和嘴区域提取的特征，对于FER是最为重要的。     

基于K-medoids聚类的贝叶斯集成算法

朴素贝叶斯分类算法由于其计算高效在生活中应用广泛。本文根据集成算法的差异性特征,聚类算法聚类点的选择方式的可变性,提出了基于K-medoids聚类技术的贝叶斯集成算法,朴素贝叶斯的泛化性能得到了提升。首先,通过样本集训练出多个朴素贝叶斯基分类器模型;然后,为了增大基分类器之间的差异性,利用K-medoids算法对基分类器在验证集上的预测结果进行聚类;最后,从每个聚类簇中选择泛化性能最佳的基分类器进行集成学习,最终结果由简单投票法得出。将该算法应用于UCI数据集,并与其他类似算法进行比较可得,本文提出的基于K-medoids聚类的贝叶斯集成算法(NBKME)提高了数据集的分类准确率。     

KFDA and clustering based multiclass SVM for intrusion detection

To improve the classification accuracy and reduce the training time, an intrusion detection technology is proposed, which combines feature extraction technology and multiclass support vector machine （SVM） classification algorithm. The intrusion detection model setup has two phases. The first phase is to project the original training data into kernel fisher discriminant analysis （KFDA） space. The second phase is to use fuzzy clustering technology to cluster the projected data and construct the decision tree, based on the clustering results. The overall detection model is set up based on the decision tree. Results of the experiment using knowledge discovery and data mining （KDD） from 99 datasets demonstrate that the proposed technology can be an an effective way for intrusion detection.     

基于迁移集成学习的无人机图像识别算法

针对当前小型无人机目标图像识别方法准确率较低的问题,提出了一种基于迁移集成学习的无人机图像识别算法。首先,基于AlexNet、VGGNet-19、Inception-V3以及ResNet-50四种结构具有差异的卷积神经网络对源数据集进行预训练,获取图像的深层次特征;然后,对目标数据集进行迁移学习,得到目标的分类特征,构建分类模型;之后,采用相对多数投票法和加权平均法的集成学习方法,对分类模型进行集成得到迁移集成模型。构建了一个包含小型无人机图像、飞鸟图像以及直升机图像的图像数据集UavNet,在对数据集进行数据增强的基础上开展了图像识别算法性能实验,结果表明,算法对多类目标的识别准确率为99.42%,无人机类目标识别的F1-score指标为99.12%,优于主流的卷积神经网络方法和传统的支持向量机方法,具有一定的理论意义和应用价值。     

利用密度聚类支持向量机的气象云图云检测

为了提高气象云图云检测的判识精度和计算效率,提出一种基于密度聚类支持向量机(DC-SVM)的云检测方法。分析了MTSAT气象云图的特征提取和选择方案,建立了云和下垫面的分类样本集;在SVM学习中,通过引入样本集的纯度及充足度,选择关键样本,减少了噪声和异常样本的干扰,从而降低了计算复杂度,提高了分类精度。实验表明,该算法的分类正确率较BP神经网络及传统SVM的方法分别提高了2.54%和0.21%,训练时间及测试时间也明显减少;而且,该方法还克服了传统云检测方法需要根据先验知识确定阈值的缺点,检测结果与人工解译结果基本吻合。     

DATA PREPROCESSING AND RE KERNEL CLUSTERING FOR LETTER

Many classifiers and methods are proposed to deal with letter recognition problem. Among them, clustering is a widely used method. But only one time for clustering is not adequately. Here, we adopt data preprocessing and a re kernel clustering method to tackle the letter recognition problem. In order to validate effectiveness and efficiency of proposed method, we introduce re kernel clustering into Kernel Nearest Neighbor classification （KNN）, Radial Basis Function Neural Network （RBFNN）, and Support Vector Machine （SVM）. Furthermore, we compare the difference between re kernel clustering and one time kernel clustering which is denoted as kernel clustering for short. Experimental results validate that re kernel clustering forms fewer and more feasible kernels and attain higher classification accuracy.     

数据库样本缺失下的雷达辐射源识别

目前,基于机器学习的雷达辐射源识别技术大多以训练集和测试集同分布为假设,当雷达数据库样本不足导致与信号真实分布存在偏差时,传统的分类方法效果不佳.为此,将迁移学习理论引入识别系统,设计了一种基于结构发现与再平衡的雷达辐射源信号识别方法.通过对数据库和待识别辐射源信号样本进行聚类分析发现数据结构信息,通过重采样处理修正其分布差异.将新采样数据输入支持向量机进行训练并对侦收样本进行识别.仿真实验表明,在新训练样本集上学习的模型对测试集的分类性能有了很大的提升.     

Co-Occurrence Histogram Based Ensemble of Classifiers for Classification of Cervical Cancer Cells

To explore the potential of conventional image processing techniques in the classification of cervical cancer cells, in this work, a co-occurrence histogram method was employed for image feature extraction and an ensemble classifier was developed by combining the base classifiers, namely, the artificial neural network (ANN), random forest (RF), and support vector machine (SVM), for image classification. The segmented pap-smear cell image dataset was constructed by the k-means clustering technique and used to evaluate the performance of the ensemble classifier which was formed by the combination of above considered base classifiers. The result was also compared with that achieved by the individual base classifiers as well as that trained with color, texture, and shape features. The maximum average classification accuracy of 93.44% was obtained when the ensemble classifier was applied and trained with co-occurrence histogram features, which indicates that the ensemble classifier trained with co-occurrence histogram features is more suitable and advantageous for the classification of cervical cancer cells.     

距离决策下的模糊聚类集成模型

模糊聚类是近年来使用的一类性能较为优越的聚类算法,但该类算法对初始聚类中心敏感且对边界样本的聚类结果不够准确。为了提高聚类准确性、稳定性,该文通过联合多个模糊聚类结果,提出一种距离决策下的模糊聚类集成模型。首先,利用模糊C均值(FCM)算法对数据样本进行多次聚类,得到相应的隶属度矩阵。然后,提出一种新的距离决策方法,充分利用得到的隶属度关系构建一个累积距离矩阵。最后,将距离矩阵引入密度峰值(DP)算法中,利用改进的DP算法进行聚类集成以获取最终聚类结果。在UCI机器学习库中选择9个数据集进行测试,实验结果表明,相比经典的聚类集成模型,该文提出的聚类集成模型效果更佳。     

基于改进的Adaboost_SVM的人脸表情识别

针对AdaBoost算法随着学习难度的增加导致分类器的分类效率下降、稳定性变差等问题,支持向量机在小样本中有特有优势;本文结合两种算法优势,基于蚁群算法对SVM的参数进行优化,改进了Adaboost_SVM级联分类算法,首先提取haar-like矩形特征通过Adaboost分类器快速排出非人脸区域;用Gabor小波变换提取人脸表情特征,再结合Adaboost_SVM级联分类器进行人脸表情识别。通过对JAFFE表情库进行试验,表情平均识别率达到94.2%,检测速度有了很大提高。     

基于弱分类器调整的多分类Adaboost算法

Adaboost.M1算法要求每个弱分类器的正确率大于1/2,但在多分类问题中寻找这样的弱分类器较为困难。有学者提出了多类指数损失函数的逐步添加模型(SAMME),把弱分类器的正确率要求降低到大于1/k(k为类别数),降低了寻找弱分类器的难度。由于SAMME算法无法保证弱分类器的有效性,从而并不能保证最终强分类器正确率的提升。为此,该文通过图示法及数学方法分析了多分类Adaboost算法的原理,进而提出一种新的既可以降低弱分类器的要求,又可以确保弱分类器有效性的多分类方法。在UCI数据集上的对比实验表明,该文提出的算法的结果要好于SAMME算法,并达到了不弱于Adaboost.M1算法的效果。     

支持向量机的分类策略在图像识别中的应用

针对目前图像识别中能够获取的样本数非常少,而基于支持向量机的分类策略具有利用较少训练样本达到很好的分类结果能力的优点,阐述了支持向量机的基本原理,介绍了支持向量机的多模式分类策略,重点说明了"M-ary"分类策略的改进方法,即在M-ary分类策略中引进二进制编码分类,这样可以提高图像的识别速度,以及改进后的"M-ary"分类策略在车型识别中的应用.     

基于多特征融合的红外图像分类研究

针对传统红外图像目标分类方法准确率低的问题,提出了一种用结合多特征融合的粒子群优化(Particle Swarm Optimization, PSO)算法来优化支持向量机(Support Vector Machine, SVM)的方法。该方法采用方向梯度直方图(Histogram of Oriented Gradient, HOG)和局部二值模式(Local Binary Pattern, LBP)两类特征描述红外图像中目标的轮廓特征和局部纹理,从不同的方面展现红外图像的特点,在图像的特征表达上具有一定的互补性。在特征提取后对样本数据进行凸包算法计算,得到一些具有代表性的样本数据,从而提高分类计算效率;在分类模型训练时,采用PSO算法优化SVM,寻找SVM的最优惩罚因子和核参数,从而提高分类模型的准确率。实验结果表明,多特征融合的分类模型的准确率比单一特征的分类模型提高近10%,且经PSO优化的SVM最终模型的分类准确率高达99%。     

红外图像中人体目标检测技术研究

针对红外序列图像中人体目标检测问题,采用了基于特征点的特征区域提取方法,先用FAST算法快速提取特征点,然后基于提取出的特征点,使用LBP算法提取特征区域,在得到感兴趣的特征区域（ROI区域）后,用对ROI区域进行基于离散小波变换的小波熵特征提取,并采用复合分类方法对ROI区域进行分类,利用此方法有效地将人体目标从红外序列图像中检测出来。