基于互信息的选择性集成核极端学习机

针对集成学习中的准确性和差异性平衡问题, 提出一种基于信息论的选择性集成核极端学习机. 采用具有结构简单、训练简便、泛化性能好的核极端学习作为基学习器. 引入相关性准则描述准确性, 冗余性准则描述差异性,将选择性集成问题转化为变量选择问题. 利用基于互信息的最大相关最小冗余准则对生成的核极端学习机进行选择, 从而实现准确性和差异性的平衡. 基于UCI 基准回归和分类数据的仿真结果验证了所提出算法的优越性.

     

基于随机最小冗余条件互信息和支持向量机的混合入侵检测特征选择

针对入侵检测日志中存在着大量的不相关和冗余特征属性,严重影响检测的实时性,而大多数特征选择算法不能兼顾相关性和信息量,且容易陷入局部最优解,提出一种基于随机最小冗余条件互信息和支持向量机的混合入侵检测特征选择方法。首先利用互信息和相关性去除没有分类信息量和特征间高度相关的冗余特征,然后利用随机最小冗余条件互信息准则以及支持向量机选择出具有最多分类信息量的最优特征子集,一定程度地避免了局部最优解。实验结果表明,该方法能在确保入侵检测正确率的情况下以更高的效率选择出最小最优的入侵检测特征子集。     

基于最大相关和最小冗余准则及极限学习机的癫痫发作检测方法

癫痫发作检测可以实现脑电分类和病灶定位,对癫痫的临床治疗具有重要意义。针对大数据量、高特征值空间长程脑电的快速和准确分类问题,提出一种基于最大相关和最小冗余准则及极限学习机的癫痫发作检测方法。对脑电信号进行短时傅里叶变换,并选取能量时频分布为特征,利用基于最大相关和最小冗余准则的方法进行特征选择,并使用极限学习机、支持向量机和反向传播算法对癫痫不同状态进行分类和判别。实验结果表明,极限学习机的分类准确率和训练速度两方面性能优于支持向量机和反向传播算法,发作间期和发作期的分类准确率达到98%以上,训练时间仅为0.8s,所提方法能够实时准确地检测癫痫发作。     

基于极限学习机的船舶柴油机故障诊断

针对传统深度核极限学习机网络仅利用端层特征进行分类导致特征不全面，以及故障诊断分类器中核函数选择不恰当等问题，提出基于多层特征表达和多核极限学习机的船舶柴油机故障诊断方法。利用深度极限学习机网络提取故障数据的多层特征；将提取出的各层特征级联为一个具有多属性特征的故障数据特征向量；使用多核极限学习机分类器准确地实现柴油机的故障诊断。在标准分类数据集和船舶柴油机仿真故障数据集上的实验结果表明，与其他极限学习机算法相比，该方法能够有效提高故障诊断的准确率和稳定性，且具有较好的泛化性能，是柴油机故障诊断一个更为优秀实用的工具。     

基于特征交互与权重集成的癌症分类方法

在癌症分类研究领域,高维、高冗余、类分布不平衡的基因表达数据如何进行特征选择与分类模型构建一直是影响分类准确率的难点。为了提高癌症分类的准确率,提出了基于特征交互与权重集成的癌症分类方法。在特征选择层面,利用多特征对分类信息的增益性交互作用来选出对于标签联合互信息大于单独互信息之和的特征组合,并利用条件互信息选择低冗余的特征,解决基因表达数据的高维、高冗余问题。在分类模型层面,提出结合权重集成反馈机制的二次学习集成模型,综合不同模型对不同类别样本的差异拟合能力,构造不依赖于样本数量的类权重,解决数据类分布不平衡的问题。应用该方法对六种癌症数据进行分类测试,accuracy、sensitivity、precision和F-measure四项指标均稳定在99.39%以上、specificity在94.74%以上,表明该方法能有效提高癌症分类的准确率和稳定性,同时具有对于不同癌症分类的通用性。     

基于归一化模糊联合互信息最大的特征选择

特征选择就是从特征集合中选择出与分类类别相关性强而特征之间冗余性最小的特征子集,这样一方面可以提高分类器的计算效率,另一方面可以提高分类器的泛化能力,进而提高分类精度。基于互信息的特征相关性和冗余性的评价准则,在实际应用中存在以下的问题：（1）变量的概率计算困难,进而影响特征的信息熵计算困难;（2）互信息倾向于选择值较多的特征;（3）基于累积加和的候选特征与特征子集之间冗余性度量准则在特征维数较高的情况下容易失效。为了解决上述问题,提出了基于归一化模糊互信息最大的特征评价准则,基于模糊等价关系计算变量的信息熵、条件熵、联合熵;利用联合互信息最大替换累积加和的度量方法;基于归一化联合互信息对特征重要性进行评价;基于该准则建立了基于前向贪婪搜索的特征选择算法。在UCI机器学习标准数据集上的多组实验,证明算法能够有效地选择出对分类类别有效的特征子集,能够明显提高分类精度。     

基于小波变换和AdaBoost极限学习机的癫痫脑电信号分类

针对单一极限学习机(ELM)在癫痫脑电信号研究中分类结果不稳定、泛化能力差的缺陷,提出一种基于互信息(MI)的AdaBoost极限学习机分类算法。该算法将AdaBoost引入到极限学习机中,并嵌入互信息输入变量选择,以强学习器最终的性能作为评价指标,实现对输入变量以及网络模型的优化。利用小波变换(WT)提取脑电信号特征,并结合提出的分类算法对UCI脑电数据集以及波恩大学癫痫脑电数据进行分类。实验结果表明,所提方法相比传统方法以及其他同类型研究,在分类精度和稳定性上有着明显提高,并具有较好的泛化性能。     

基于ReliefF和改进乌鸦搜索优化的并行入侵检测方法

针对微阵列基因表达数据高维小样本、高冗余且高噪声的问题,提出一种基于FCBF特征选择和集成优化学习的分类算法FICS-EKELM。首先使用快速关联过滤方法FCBF滤除部分不相关特征和噪声,找出与类别相关性较高的特征集合;其次,运用抽样技术生成多个样本子集,在每个训练子集上利用改进乌鸦搜索算法同步实现最优特征子集选择和核极限学习机KELM分类器参数优化;然后基于基分类器构建集成分类模型对目标数据进行分类识别;此外运用多核平台多线程并行方式进一步提高算法计算效率。在六组基因数据集上的实验结果表明,本文算法不仅能用较少特征基因达到较优的分类效果,并且分类结果显著高于已有和相似方法,是一种有效的高维数据分类方法。     

最小冗余最大分离准则特征选择方法

特征选择是处理高维数据的一项有效技术。针对传统方法的不足,结合[F-score]与互信息,提出了一种最小冗余最大分离的特征选择评价准则,该准则使所选择的特征具有更好的分类和预测能力;采用二进制布谷鸟搜索算法和二次规划两种搜索策略来搜索最优特征子集,并对两种搜索策略的准确性和计算量进行分析比较;最后,利用UCI数据集进行实验测试,实验结果说明了所提理论的有效性。     

基于多任务支持向量机的能源互联网数据深度融合方法

在多任务环境下，能源互联网数据冗余干扰较强，后期数据处理误差较大，故提出一种基于多任务支持向量机的能源互联网数据深度融合方法。数据层融合接收待融合能源互联网数据后实施数据离散化、矩阵化处理，将处理后数据发送至特征层融合内，特征层融合利用互信息变量选择算法，提取数据分类特征，并将所提取特征作为决策层融合多任务支持向量机输入，多任务支持向量机将支持向量机各数据分组视为子任务，运算过程中需保证全部学习机间全局差异最小化实现子学习机局部最优化，多任务支持向量机实施数据决策级融合后输出最终融合结果。实验结果表明，该方法准确率高于99%,且融合加入10 dB白噪声的能源互联网数据最小均方误差仍低于1%。     

基于随机子空间核极端学习机集成的高光谱遥感图像分类

结合随机子空间和核极端学习机集成提出了一种新的高光谱遥感图像分类方法。首先利用随机子空间方法从高光谱遥感图像数据的整体特征中随机生成多个大小相同的特征子集;然后利用核极端学习机在这些特征子集上进行训练从而获得基分类器;最后将所有基分类器的输出集成起来,通过投票机制得到分类结果。在高光谱遥感图像数据集上的实验结果表明:所提方法能够提高分类效果,且其分类总精度要高于核极端学习机和随机森林方法。     

高分辨率遥感影像的多特征多核ELM分类方法

针对高分辨率遥感影像地物分布复杂多变,利用ELM的快速分类性能,提出了一种ELM的多特征多核高分辨率遥感影像分类方法。首先利用多尺度分割算法将原始影像粗分为若干地物区域;然后依据区域合并准则对粗分割图像合并得到典型地物特征的对象信息,并提取分割对象的光谱特征与空间特征;最后以多种核函数加权组合的方式构建多核ELM对影像分类,获得最终的分类结果。实验结果表明,所提方法不仅降低了对目标训练样本的要求,同时还提高了分类的准确性、及时性和完整性。     

两阶段不定核支持向量机

近年来,在机器学习的各个领域出现了越来越多不定的度量核矩阵,使得不定核支持向量机(IKSVM)得到了广泛关注。但是,现有IKSVM算法通常不能较好地解决高维数据所带来的信息冗余和样本稀疏等问题。针对此研究现状,对现有主流的IKSVM算法进行了研究,并基于再生核Kre?n空间(RKKS)中对IKSVM问题的稳定化定义,从理论上证明了IKSVM问题的本质为不定核主成分分析(IKPCA)降维后空间中的支持向量机(SVM)问题,进一步地提出求解IKSVM问题的新型学习框架TP-IKSVM。TP-IKSVM通过将IKSVM问题的求解拆分为IKPCA和SVM两个阶段,充分地发挥了IKPCA在处理高维数据的信息冗余和样本稀疏等方面的优势,同时结合SVM以有效分类。在真实数据集上的实验结果表明,TP-IKSVM的分类精度优于现有主流的IKSVM算法。     

A wavelet extreme learning machine

Extreme learning machine (ELM) has been widely used in various fields to overcome the problem of low training speed of the conventional neural network. Kernel extreme learning machine (KELM) introduces the kernel method to ELM model, which is applicable in Stat ML. However, if the number of samples in Stat ML is too small, perhaps the unbalanced samples cannot reflect the statistical characteristics of the input data, so that the learning ability of Stat ML will be influenced. At the same time, the mix kernel functions used in KELM are conventional functions. Therefore, the selection of kernel function can still be optimized. Based on the problems above, we introduce the weighted method to KELM to deal with the unbalanced samples. Wavelet kernel functions have been widely used in support vector machine and obtain a good classification performance. Therefore, to realize a combination of wavelet analysis and KELM, we introduce wavelet kernel functions to KELM model, which has a mix kernel function of wavelet kernel and sigmoid kernel, and introduce the weighted method to KELM model to balance the sample distribution, and then we propose the weighted wavelet–mix kernel extreme learning machine. The experimental results show that this method can effectively improve the classification ability with better generalization. At the same time, the wavelet kernel functions perform very well compared with the conventional kernel functions in KELM model.     

基于多特征融合与极限学习机的植物叶片分类方法

对植物的分类多通过对植物叶片的分类来实现,为提高植物叶片分类的准确率提出了一种基于多特征融合与极限学习机的植物叶片分类方法.首先对植物叶片彩色图像进行预处理,得到去除叶片颜色与背景的二值图像和灰度图像;然后从二值图像中提取植物叶片的形状特征和不变矩特征,利用灰度图像提取灰度共生矩阵参数作为叶片图像的纹理特征,共得到28维的特征向量,最后采用极限学习机分类策略对特征向量进行训练和测试.在公开的植物叶片数据集Flavia上进行实验,训练分类准确率达到99％ 以上,测试准确率达到98％ 以上.实验结果表明,本文方法可以有效提高植物叶片分类的准确率.     

面向阿尔茨海默病的脑网络多频融合图核

复杂网络分析与机器学习方法相结合的阿尔茨海默病辅助诊断研究受到了越来越多的关注,其通常采用脑功能网络的方法来描述大脑活动的信息.然而,现有的成果大多基于时域信号匹配构建脑功能网络,忽略了脑活动信息在各个频段下的差异.因此,本文提出了脑网络多频融合图核的阿尔茨海默病诊断方法.首先,将功能磁共振成像产生的图像通过小波变换的方法进行分频段处理;其次,分别计算得到的各频段图像中任意两个脑区间的互信息,并设定阈值与互信息值进行比较进而构造出多频脑网络模型;然后,基于此提出面向多频脑网络模型的融合图核;最后,基于多频融合图核、采用核极限学习机在ADNI(Alzheimer’s Disease Neuroimaging Initiative)公开数据库中获取的一组数据以及在OASIS(Open Access Series of Imaging Studies)公开数据库上获取的一组数据进行阿尔茨海默病的诊断.同时,还通过实验验证了不同参数设置对诊断结果的影响.两组数据集的实验结果表明,提出的多频融合图核的辅助诊断方法能够取得最佳性能,且该方法的辅助诊断准确率在两种数据集上比对比方法的最好结果分别提高了13.79%和15.29%.