基于离散化方法的支持向量机集成研究

基于数据离散化方法,提出一种新的支持向量机集成算法,该算法采用粗糙集和布尔推理离散化方法构造有差异的基分类器.并引入一致度指标控制离散化过程,可进一步提高集成学习的分类性能.实验结果表明,该算法不仅具有明显优于单一支持向量机的分类性能.而且能取得比传统集成学习算法Bagging和Adaboost更高的分类正确率.     

基于近似约简与最优采样的集成剪枝

集成学习被广泛用于提高分类精度, 近年来的研究表明, 通过多模态扰乱策略来构建集成分类器可以进一步提高分类性能. 本文提出了一种基于近似约简与最优采样的集成剪枝算法(EPA_AO). 在EPA_AO中, 我们设计了一种多模态扰乱策略来构建不同的个体分类器. 该扰乱策略可以同时扰乱属性空间和训练集, 从而增加了个体分类器的多样性. 我们利用证据KNN (K-近邻)算法来训练个体分类器, 并在多个UCI数据集上比较了EPA_AO与现有同类型算法的性能. 实验结果表明, EPA_AO是一种有效的集成学习方法.     

基于动态粗糙集约简的选择性支持向量机集成

支持向量机集成是提高支持向量机泛化性能的有效手段,个体支持向量机的泛化能力及其之间的差异性是影响集成性能的关键因素。为了进一步提升支持向量机整体泛化性能,提出利用动态粗糙集的选择性支持向量机集成算法。首先在利用Boosting算法对样本进行扰动基础上,采用遗传算法改进的粗糙集与重采样技术相结合的动态约简算法进行特征扰动,获得稳定、泛化能力较强的属性约简集,继而生成差异性较大的个体学习器;然后利用模糊核聚类根据个体学习器在验证集上的泛化误差来选择最优个体;并用支持向量机算法对最优个体进行非线性集成。通过在UCI数据集进行仿真,结果表明算法能明显提高支持向量机的泛化性能,具有较低的时、空复杂性,是一种高效、稳定的集成方法。     

基于聚类分析和集成改进支持向量机的序列目标分类算法

针对现有集成支持向量机存在的训练子集随机性强、规模大、算法时空复杂度高等问题,提出了基于聚类分析的集成改进支持向量机算法.该方法首先采用基于对手惩罚策略的竞争学习算法(RPCL)时训练样本进行聚类分析,然后根据其聚类分布选择少量具有代表性的样本,并采用了基于种群收敛速度的自适应扰动的粒子群方法来训练单个支持向量机,最后通过相对多数投票方法得到集成支持向量机.实验表明相对于基于Bagging,Adaboost等方法而言,该方法在序列目标分类中对分类精度有较大提高,该方法构造的集成改进支持向量机具有较高的分类精度和较低的时、空复杂性.     

用于阿尔茨海默病诊断的权值分布特征学习

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中有标记训练样本不足的问题,提出一种基于多模态特征数据的权值分布稀疏特征学习方法,并将其应用于早期阿尔茨海默病的诊断.具体来说,该诊断方法主要包括两大模块：基于权值分布的Lasso特征选择模型（WDL）和大间隔分布分类机模型（LDM）.首先,为了获取多模态特征之间的数据分布信息,对传统Lasso模型进行改进,引入权值分布正则化项,从而构建出基于权值分布的Lasso特征选择模型;然后,为了有效地利用多模态特征之间的数据分布信息,以保持多模态特征之间的互补性,直接采用大间隔分布学习算法训练分类器.选取国际阿尔茨海默症数据库（ADNI）中202个多模态特征的被试者样本进行实验,分类AD最高平均精度为97.5%,分类轻度认知功能障碍（MCI）最高平均精度为83.1%,分类轻度认知功能障碍转化为AD（pMCI）最高平均精度为84.8%.实验结果表明,所提WDL特征学习方法可从串联的多模态特征学到性能更优的特征子集,并能根据权值分布获取多模态特征之间的数据分布信息,从而提高早期阿尔茨海默病诊断的性能.     

基于多模态多标记迁移学习的早期阿尔茨海默病诊断

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中训练样本不足的问题,提出一种基于多模态特征数据的多标记迁移学习方法,并将其应用于早期阿尔茨海默病诊断。所提方法框架主要包括两大模块：多标记迁移学习特征选择模块和多模态多标记分类回归学习器模块。首先,通过稀疏多标记学习模型对分类和回归学习任务进行有效结合;然后,将该模型扩展到来自多个学习领域的训练集,从而构建出多标记迁移学习特征选择模型;接下来,针对异质特征空间的多模态特征数据,采用多核学习技术来组合多模态特征核矩阵;最后,为了构建能同时用于分类与回归的学习模型,提出多标记分类回归学习器,从而构建出多模态多标记分类回归学习器。在国际老年痴呆症数据库（ADNI）进行实验,分类轻度认知功能障碍（MCI）最高平均精度为79.1%,预测神经心理学量表测试评分值最大平均相关系数为0.727。实验结果表明,所提多模态多标记迁移学习方法可以有效利用相关学习领域训练数据,从而提高早期老年痴呆症诊断性能。     

结合OCSVM的模拟电路故障诊断方法

基于支持向量机的传统模拟电路故障诊断方法对新故障无检测能力,且可扩展性较差。针对该问题,提出结合一类支持向量机(OCSVM)和多类支持向量机(MCSVM)的故障诊断方法。该方法采用OCSVM对故障数据进行检测和初步分类,采用MCSVM提高分类性能,以弥补OCSVM分类能力的不足。对OCSVM算法进行改进,以提高其检测和分类性能。通过模拟电路故障诊断实验验证OCSVM改进算法和联合故障诊断方法的有效性。     

基于QPSO训练的SVM核函数集成学习研究

针对训练子集随机性强、规模大、算法时空复杂度高等问题,提出了基于量子微粒群的支持向量机（QPSO-SVM）核函数集成学习算法。该方法首先采用K-Means算法对训练样本进行聚类分析,然后根据其聚类分布选择少量具有代表性的样本,并通过基于量子行为的粒子群算法来训练单个支持向量机（SVM）,最后通过贝叶斯投票方法得到集成的SVM分类学习器。实验表明该方法在非线性高复杂度的数据分类中对分类精度有较大提高。     

有向无环图-双支持向量机的多类分类方法

针对多分类支持向量机算法中的低效问题和样本不平衡问题,提出一种有向无环图-双支持向量机DAG-TWSVM(directed acyclic graph and twin support vector machine)的多分类方法。该算法综合了双支持向量机和有向无环图支持向量机的优势,使其不仅能够得到较好的分类精度,同时还能够大大缩减训练时间。在处理较大规模数据集多分类问题时,其时间优势更为突出。采用UCI(University of California Irvine)机器学习数据库和Statlog数据库对该算法进行验证,实验结果表明,有向无环图-双支持向量机多分类方法在训练时间上较其他多分类支持向量机大大缩短,且在样本不平衡时的分类性能要优于其他多分类支持向量机,同时解决了经典支持向量机一对一多分类算法可能存在的不可分区域问题。     

不平衡数据加权集成学习算法

针对传统的机器学习算法对不平衡数据集的少类分类准确率不高的问题,基于支持向量机和模糊聚类,提出一种不平衡数据加权集成学习算法。首先提出加权支持向量机模型(Weighted Support Vector Machine,WSVM),该模型根据不同类别数据所占比例的不同,为各类别分配不同的权重,然后将WSVM与模糊聚类结合提出一种新的集成学习算法。将本文提出的算法应用于人造数据集和UCI数据集实验中,实验结果表明,所提出的算法能够有效地解决不平衡数据的分类问题,具有更好的分类性能。     

基于CMAES集成学习方法的地表水质分类

为了提高人民生活质量,政府部门不断加强水质管理,然而人工分类方法无法满足实时处理的需求,传统机器学习方法的分类准确率又不够高。集成学习使用多种学习算法来获得比单一学习算法更好的预测性能。首先,对集成学习进行概述,简要介绍了Bagging和Boosting算法,并提出基于协方差自适应调整的进化策略算法(CMAES)的集成学习方法。接着,介绍了数据处理方式、模型评估方法和评价指标。最后,用CMAES集成学习方法对逻辑回归、线性判别分析、支持向量机、决策树、完全随机树、朴素贝叶斯、K-邻近算法、随机森林、完全随机树林、深度级联森林十种模型进行集成。实验结果表明,CMAES集成学习方法优于所有其他模型,该方法将继续被应用到未来的研究之中。     

特征加权的核学习方法

提出了一种特征加权的核学习方法,其主要为了解决当前核方法在分类任务中对所有数据特征的同等对待的不足。在分类任务中,数据样本的每个特征所起的作用并不是相同的,有些特征对分类任务有促进作用,应该给予更多的关注。提出的算法集成了多核学习的优势,以加权的方式组合不同的核函数,但所需的计算复杂度更低。实验结果证明,提出的算法与支持向量机、多核学习算法相比,分类准确度优于支持向量机和多核学习算法,在计算复杂度上略高于支持向量机,但远远低于多核学习算法。     

一种基于凸壳算法的SVM集成方法

为提高支持向量机(SVM)集成的训练速度,提出一种基于凸壳算法的SVM集成方法,得到训练集各类数据的壳向量,将其作为基分类器的训练集,并采用Bagging策略集成各个SVM。在训练过程中,通过抛弃性能较差的基分类器,进一步提高集成分类精度。将该方法用于3组数据,实验结果表明,SVM集成的训练和分类速度平均分别提高了266％和25％。     

基于人工鱼群优化的直推式支持向量机分类算法

提出基于人工鱼群优化的直推式支持向量机分类算法。该算法使直推式学习思想的优势得到充分的展现,在部分UCI标准数据集和20-Newgroups文本实验数据集上的对比实验表明,该算法较经典支持向量机算法和基于蚁群算法的直推式支持向量机算法具有更高的分类性能。     

基于IFOA算法的SVM参数优化及其应用

为了提高果蝇优化算法的种群多样性和果蝇搜索的遍历性,有效提高算法的收敛精度,提出一种改进的果蝇算法(Improving fruit fly optimization algorithm, IFOA),仿真实验表明, IFOA算法保持了搜索过程中的搜索尺度变化,平衡了算法的全局与局部搜索能力。在此基础上,为了改善支持向量机模型参数选择的随机性和盲目性,提高模式分类的准确率,提出并建立了一种IFOA-SVM模式分类模型。该方法将IFOA算法引入到支持向量机模型参数优化中,建立性能最优的支持向量机模型。应用该模型对UCI机器学习数据库中wine数据集进行模式分类研究,通过算法对比分析,结果表明：提出的改进果蝇优化算法在收敛速度和寻优效率上均有一定的提高,依此而建立的IFOA-SVM模式分类模型具有较准确的分类准确率,从而也验证了该模式分类方法在wine数据集分类应用中的有效性。     

基于SVC 和SVR 约束组合的迁移学习分类算法

根据迁移学习思想,针对分类问题,以支持向量机(SVM)模型为基础提出一种新的迁移学习分类算法CCTSVM.该方法以邻域间的分类超平面为纽带实现源域对目标域的迁移学习.具体地,以支持向量分类的约束条件完成对目标域数据的学习,获取分类超平面参数,再以支持向量回归的约束条件有效利用源域数据矫正目标域超平面参数,并在上述组合约束的共同作用下实现邻域间迁移,提高分类器性能.在人工和真实数据集上的实验表明,所提出算法具有良好的迁移能力和优越的分类性能.     

医学诊断中集成学习技术的研究

计算机辅助医学诊断是机器学习技术的一个重要实践,但是在医学诊断中一个重要影响因素来自于数据集中的冗余特征。为了消除诊断中冗余特征对集成学习方法的精度的影响,文章提出了一种PCA-FS-Bagging算法,利用主成份分析进行特征变换来解决这个问题,算法在三个医学诊断数据集上与其它算法比如单个支持向量机、支持向量机Bagging集成等进行了性能比较,结果显示了PCA-FS-Bagging算法具有较好的性能。     

基于最小二乘支持向量机的非平衡分布数据分类

支持向量机是在统计学习理论基础上发展起来的一种十分有效的分类方法。然而当两类样本数量相差悬殊时,会引起支持向量机分类能力的下降。为了提高支持向量机的非平衡数据分类能力,文章分析了最小二乘支持向量机的本质特征,提出了一种非平衡数据分类算法。在UCI标准数据集上进行的实验表明,该算法能够有效提高支持向量机对非均衡分布数据的正确性,尤其对于大规模训练集的情况,该算法在保证不损失训练精度的前提下,使训练速度有较大提高。     

基于SVM-IOA集成的动态风险识别模型研究

动态风险识别是根据已知的风险信息尽早预测未来可能存在的风险。基于支持向量机的风险识别技术能够较全面地、自动地通过学习模型来识别可能存在的风险,该技术已经成为动态风险识别的主要方法。为了提高识别的效率与准确性,支持向量机参数的选取非常关键,而人工免疫算法是一种有效的随机全局优化技术,具有精确度高、收敛速度快且不易陷入局部最优解等优点。该文首先对原始数据进行特征选取及降维处理,然后通过人工免疫优化算法(IOA)选择支持向量机(SVM)的惩罚参数和核函数的参数,同时结合支持向量机多分类方法的优势,提出一种新的动态风险识别模型—基于支持向量机和免疫优化算法集成的动态风险识别模型。在Heart-Disease数据集上的实验结果表明,该模型正向与反向的抗原识别率分别为95.82%和96.01%,均高于传统识别模型。     

基于网络拓扑特性的MCI分类

阿尔茨海默氏病(Alzheimer's disease,AD)和轻度认知障碍(Mild cognitive impairment,MCI)是经常发生在老年人中的脑疾病,其主要表现为认知和智力的障碍.机器学习和模式识别方法已经被应用到对AD和MCI的诊断和分类中.最近,研究人员提出利用大脑连接网络实现对疾病的诊断和分类.大部分的研究主要集中在网络中提取一些局部的特性(如聚类系数),并利用机器学习的方法(如支持向量机)来实现对疾病的分类.然而,存在的研究表明AD以及MCI是和一个大规模的脑连接网络相关,而不仅是大脑的若干区域.因此,本文提出一种新的基于网络整体拓扑结构信息的分类方法,并将其用于对MCI疾病的分类.实验结果表明,本文的方法能够对分类结果有重要的改进.