基于随机下采样和SMOTE的不均衡SVM分类算法

传统的支持向量机（SVM）算法在数据不均衡的情况下,分类效果很不理想。为了提高SVM算法在不均衡数据集下的分类性能,提出随机下采样与SMOTE算法结合的不均衡分类方法。该方法首先利用随机下采样对多数类样本进行采样,去除样本中大量重叠的冗余样本,使得在减少数据的同时保留更多有用信息;而对少数类样本则是利用SMOTE算法进行过采样。实验部分将其应用在UCI数据集中并同其他采样算法比较,结果表明文中算法不但能有效提高SVM算法在不均衡数据中少数类的分类性能,而且总体分类性能也有所提高。     

基于最大分类间隔SVDD算法的辐射源个体确认

通信辐射源个体确认技术是实现通信辐射源个体识别的关键技术之一。该文研究了基于支持向量数据描述(SVDD)的通信辐射源个体确认算法。针对传统SVDD算法在正类训练样本不完备的条件下对正类测试样本接受率较低的不足,提出带反类训练的最大分类间隔SVDD算法(MCM-SVDD)。MCM-SVDD在保证最小化超球体积的同时,使正类训练样本与反类训练样本距离超球表面的间隔最大化,从而提高了对正类测试样本正确接受的泛化能力。基于20台实际通信辐射源样本的实验表明,相对于SVDD, SVDD-neg和SVM, MCM-SVDD具有更高的平均确认率。     

基于简约凸壳的一类模糊支持向量机

为解决传统一类支持向量机对噪声数据敏感和不适用于大规模分类等问题,提出了用于大规模噪声环境的基于简约凸壳的一类模糊支持向量机（OC-FSVM-RCH）.OC-FSVM-RCH根据简约凸壳的定义在核空间得到代表正常类数据几何特征的样本,然后基于改进的模糊支持向量域描述算法,使得正常类数据包含在最小超球内,异常数据与超球间隔最大化.OC-FSVM-RCH剔除正常类数据轮廓边缘处的噪声,同时对数据内部的噪声不敏感.实验结果表明了所提算法在性能和训练时间上取得了良好的效果.     

一种最大分类间隔SVDD的多类文本分类算法

文本分类是信息检索和文本挖掘的关键技术之一。提出了一种基于支持向量数据描述(SVDD)的多类文本分类算法,用支持向量描述训练求得包围各类样本的最小超球体,并使得分类间隔最大化,在测试阶段,引入基于核空间k-近邻平均距离的判别准则,判断样本所属类别。实验结果表明,该方法具有很好的泛化能力和很好的时间性能。     

基于总间隔的模糊v-相对间隔机的研究

类间间隔和类内聚类性是影响分类器分类性能的两种重要因素.基于模糊支持向量机和总间隔思想,提出一种基于总间隔的模糊v-相对间隔机(TMF-vRMM),本方法本质上是传统相对间隔机(RMM)的扩展,但可取得比RMM更好的分类性能.TMF-vRMM通过使用差异成本和引入总间隔和模糊隶属度,同时解决了不平衡训练样本问题和传统软间隔分类机RMM的过拟合问题,显著提升学习机的泛化能力.分别采用人造和实际数据集进行分类实验,结果显示TMF-vRMM具有优于相关方法的稳定分类性能.     

基于RBF的支持向量数据描述算法性能分析

核函数的选择对支持向量数据描述算法(SVDD)的性能有重要的影响,是SVDD研究的一个核心问题.通过对SVDD算法中常用核函数进行分析,验证了高斯核函数在单值分类问题上具有一定的优越性,并分别探讨相同样本数据集不同规模样本和不同样本数据集相似规模样本中,高斯核参数对SVDD分类器的影响.实验表明,基于高斯核函数的支持,向量数据描述算法适合于小规模样本的单值分类问题.     

一种改进的最小二乘孪生支持向量机分类算法

提出了一种新的模式分类器,即广泛权重的最小二乘孪生支持向量机.该支持向量机在正、负两类样本上广泛地增加权重,很好地抑制了交叉噪声样本对数据分类的影响.其次,根据间隔最大化原理,该支持向量机在目标函数上增加了一个正规化项,实现结构风险最小化和避免在求解该目标函数时可能对病态矩阵求逆的处理.同时,提出了利用一种指数函数计算训练样本的密度来获得样本权重值的算法.该算法能够有效缩减计算权重的时间,且具有较强的鲁棒性.实验证明本文提出的广泛权重的最小二乘孪生支持向量机能够实现高精度和高效率的分类效果,而且特别适合于含有交叉噪声样本的数据集分类.     

非平衡二叉树主动学习支持向量机

针对传统的二分类支持向量机在数据种类繁多并含有很多不带标签的样本时的固有缺陷,提出了一种主动学习与非平衡二叉树结合的多类分类支持向量机.该方法首先通过类距离构造一个非平衡二叉树结构,从易到难依次构造节点,将最容易分出的类放在根节点,然后利用主动学习策略,自动为选择的样本添加标签,并添加到训练样本集中.实验结果表明本文提出算法性能优于常规主动学习支持向量机,有效提高了分类精度,且大大缩短了算法运行时间.     

一种集成式Beta过程最大间隔一类分类方法

一类分类是一种将目标类样本和其他所有的非目标类样本区分开的分类方法.传统的一类分类方法针对所有训练样本建立一个分类器,忽视了数据的内在结构,在样本分布复杂时,其分类性能会严重下降.为了提升复杂分布情况下的分类性能,该文提出一种集成式Beta过程最大间隔一类方法.该方法利用Dirichlet过程混合模型(DPM)对训练样本聚类,同时在每一个聚类学习一个Beta过程最大间隔一类分类器.通过多个分类器的集成,可以构造出一个描述能力更强的分类器,提升复杂分布下的分类效果.DPM聚类模型和Beta过程最大间隔一类分类器在同一个贝叶斯框架下联合优化,保证了每一个聚类样本的可分性.此外,在Beta过程最大间隔一类分类器中,加入了服从Beta过程先验分布的特征选择因子,从而可以降低特征冗余度以及提升分类效果.基于仿真数据、公共数据集和实测SAR图像数据的实验结果证明了所提方法的有效性.     

结构风险最小化近邻分析解决大规模训练集支持向量机学习问题

SVM是利用靠近边界的少数向量来构造最大间隔的分类超平面,当海量样本之间存在相互混迭时,支持向量数目急剧增加,导致训练难度增大。针对该问题,本文将结构风险最小化近邻分析与支持向量机相结合构成了一种新的SVM学习方法。它首先根据各个训练数据的类间最近邻距离利用结构风险最小化近邻分析选择训练子集;在选择的样本子空间内采用乘性规则直接求取Lagrange因子,而不是传统的二次优化方法;最后加入附加剩余样本进行交叉验证处理,直到算法满足收敛性准则。各种分类实验表明本文提出的算法具有良好的性能,特别是在训练样本庞大,支持向量数量较多的情况下,能够较大幅度的减少计算复杂度,提高分类速度。     

用于SVM的RCS统计特征集约减方法

传统的支持向量机分类算法对训练样本数目敏感且不具备增量学习的能力,而空间目标识别的工程应用需要积累样本进行大样本的增量学习。根据样本在特征空间分布,提取几何意义上边缘的样本点,成功约减了应用于支持向量机学习的基于雷达散射截面统计特征的训练样本集。利用中心距离比和特征空间多维高斯分布特性,分别提取两类边界样本集和单类边缘样本集;再采用直推式实验设计方法再采样,根据样本潜在结构分布信息选择最能代表样本集结构分布的高价值样本。实验结果表明：样本初选算法能够在有效约减样本集规模的同时保持支持向量机训练分类的精度。     

耦合负类样本裁剪与非对称错分惩罚的非均衡SVM算法

针对标准支持向量机（SVM）识别非均衡数据往往会出现最优超平面倾向性和正类样本大量错分的现象,探讨SVM识别非均衡数据失效的原因及对策;考虑到SVM最优超平面仅由少量支持向量完全决定的特性,提出一种基于负类边界样本裁剪策略的SVM数学模型.鉴于该模型需经多次负类数据的"训练-裁剪"过程才能较好地识别正类样本且较为费时,以等效的一次性裁掉更多样本的裁截面技术作为替代,提出一种耦合负类样本裁剪与非对称错分惩罚的非均衡SVM算法,并利用改进正余弦优化算法优化裁剪偏移量以提高算法的非均衡数据处理能力.数值实验结果验证了裁剪偏移量的优化必要性、改进正余弦优化算法的较强优化性能和改进SVM算法对非均衡数据的较好识别性能.     

A weakly supervised large margin domain adaptation method for isolated handwritten digit recognition

Learning handwriting categories fail to perform well when trained and tested on data from different databases. In this paper, we propose a novel large margin domain adaptation algorithm which is able to learn a transformation between training and test datasets in addition to adapting the parameters of classifier using a few or even no training labeled samples from target handwriting dataset. Additionally, we developed a framework of ensemble projection feature learning for datasets representation as a front end for our algorithm to utilize the abundant unlabeled samples in target domain. Experiments on different handwritten digit datasets adaptations demonstrate that the proposed large margin domain adaptation algorithm achieves superior classification accuracy comparing with the state of the art methods. Quantitative evaluation of the proposed algorithm shows that semi-supervised adaptation utilizing one sample per class of target domain set reduces the error rates by 64.72% comparing with a corresponding SVM classifier.     

面向大规模噪声数据的软性核凸包支持向量机

现有的面向大规模数据分类的支持向量机（support vector machine,SVM）对噪声样本敏感,针对这一问题,通过定义软性核凸包和引入pinball损失函数,提出了一种新的软性核凸包支持向量机（soft kernel convex hull support vector machine for large scale noisy datasets,SCH-SVM）.SCH-SVM首先定义了软性核凸包的概念,然后选择出能代表样本在核空间几何轮廓的软性核凸包向量,再将其对应的原始空间样本作为训练样本并基于pinball损失函数来寻找两类软性核凸包之间的最大分位数距离.相关理论和实验结果亦证明了所提分类器在训练时间,抗噪能力和支持向量数上的有效性.     

Quantum algorithm for soft margin support vector machine withhinge loss function

Soft margin support vector machine (SVM) with hinge loss function is an important classification algorithm, which has been widely used in image recognition, text classification and so on. However, solving soft margin SVM with hinge loss function generally entails the sub-gradient projection algorithm, which is very time-consuming when processing big training data set. To achieve it, an efficient quantum algorithm is proposed. Specifically, this algorithm implements the key task of the sub-gradient projection algorithm to obtain the classical sub-gradients in each iteration, which is mainly based on quantum amplitude estimation and amplification algorithm and the controlled rotation operator. Compared with its classical counterpart, this algorithm has a quadratic speedup on the number of training data points. It is worth emphasizing that the optimal model parameters obtained by this algorithm are in the classical form rather than in the quantum state form. This enables the algorithm to classify new data at little cost when the optimal model parameters are determined.     

基于迭代顺序滤波子空间约束的可拒识-支持向量机微钙化点检测

为提高钙化点检测速度,克服微钙化点检测中假阳性高的缺点,本文构造了一种迭代顺序滤波子空间约束的可拒识-支持向量机分类器用于钙化点检测.训练时利用迭代顺序滤波检测作为钙化点的粗检测算子,然后在其约束的子空间内收集非钙化点训练样本.对于输入模式,首先利用基于最大软间隔超平面的支持向量分类器(SVC)进行分类判决;然后对真实的钙化点样本特征空间求取最小的包含球形边界,得到钙化点样本的球形支持向量域表示(SVDD).对于输入模式即可利用钙化点的支持向量域表示进行拒识或接受处理.仿真实验结果表明,本文提出的算法在不影响微钙化点的检出率的情况下,大大提高了检测速度,部分解决了假阳性高的问题.     

带拒识能力的双层支持向量模型分类器

本文构造了一种带拒识能力的双层支持向量模型分类器.在训练学习过程中,首先对各类样本特征空间求取最小的包含球形边界,得到各类样本的球形支持向量域表示.这样对于输入的非目标样本即可利用各类的支持向量域进行拒识或接受处理;然后针对接受的样本再利用基于超平面分割的SVM训练器进行分类判决.无论是在第一层求取边界的优化问题中,还是在第二层的分类超平面优化过程中,都采用相乘性更新迭代规则直接求解,优化速度与最小二乘支持向量机(LS-SVM)相当.仿真实验表明本文提出的通过引入拒绝层和判决层的新支持向量模型策略是合理可行的,在实际模式识别领域具有广阔的应用前景.     

联合循环平稳特征PCA与RVM的频谱感知

针对无线信道环境中低信噪比情况下主用户信号检测率较低的问题,提出了一种基于循环平稳特征主成分分析(PCA)与相关向量机(RVM)的认知网络频谱感知算法。该算法结合了主成分分析算法与相关向量机分类方法,应用于解决认知网络频谱感知问题。首先对信号循环平稳特征参数进行特征提取,通过主成分分析进行降维提取信号主成分,生成训练样本和待测样本,并完成对相关向量机的训练,再采用训练完成的相关向量机算法分别对有无主用户情况下的信号进行分类检测,最后获得主用户信号存在性的感知判断。仿真实验表明,与人工神经网络、支持向量机和最大最小特征值算法相比较,所提算法在低信噪比情况下具有较高的分类检测性能,检测率最大可提高61.6%,有效地实现了对主用户信号的感知。