最大间隔最小体积球形支持向量机

结合支持向量机（ＳＶＭ）类间最大分类间隔和支持向量数据描述（ＳＶＤＤ）类内最小描述体积思想,提出一种新的学习机器模型———最大间隔最小体积球形支持向量机（ＭＭＨＳＶＭ）．模型建立两个大小不一的同心超球,将正负类样本分别映射到小超球内和大超球外,模型目标函数最大化两超球间隔,实现正负类类间间隔的最大化和各类类内体积的最小化,提高了模型的分类能力．理论分析和实验结果表明该算法是有效的．     

最大间隔最小体积球形支持向量机

结合支持向量机（ＳＶＭ）类间最大分类间隔和支持向量数据描述（ＳＶＤＤ）类内最小描述体积思想,提出一种新的学习机器模型———最大间隔最小体积球形支持向量机（ＭＭＨＳＶＭ）．模型建立两个大小不一的同心超球,将正负类样本分别映射到小超球内和大超球外,模型目标函数最大化两超球间隔,实现正负类类间间隔的最大化和各类类内体积的最小化,提高了模型的分类能力．理论分析和实验结果表明该算法是有效的．

     

广义最大间隔球形支持向量机

针对多类分类问题,提出一种超球支持向量机算法——广义最大间隔球形支持向量机,该算法利用两同心超球将正负类样本分隔开来,最大化两超球半径的差异,从而挖掘正负类样本的鉴别信息,同时对超球类支持向量机算法判决规则进行改进,引入模糊隶属度补充判决,弥补二类分类器投票决策的缺陷.理论分析了算法的相关性质,通过仿真实验验证了该算法的有效性.     

基于最优间隔的AdaBoostv算法的非平衡数据分类

为了解决非平衡数据分类问题,提出了一种基于最优间隔的AdaBoostv算法.该算法采用改进的SVM作为基分类器,在SVM的优化模型中引入间隔均值项,并根据数据非平衡比对间隔均值项和损失函数项进行加权;采用带有方差减小的随机梯度方法(Stochastic Variance Reduced Gradient,SVRG)对优化模型进行求解,以加快收敛速度.所提基于最优间隔的AdaBoostv算法在样本权重更新公式中引入了一种新的自适应代价敏感函数,赋予少数类样本、误分类的少数类样本以及靠近决策边界的少数类样本更高的代价值;另外,通过结合新的权重公式以及引入给定精度参数v下的最优间隔的估计值,推导出新的基分类器权重策略,进一步提高了算法的分类精度.对比实验表明,在线性和非线性情况下,所提基于最优间隔的Ada-Boostv算法在非平衡数据集上的分类精度优于其他算法,且能获得更大的最小间隔.     

基于似然损失函数的组样本排序学习方法*

组样本用于模型训练,为排序学习方法的构造提供一种新的思路.文中改进已有的组样本排序学习方法,构造组样本损失函数,用于排序学习模型的训练.基于似然损失函数,采用样本偏序权重损失函数和最优初始序列选择方法,构造基于神经网络的组排序学习方法,实验证明文中方法能够有效提高排序准确率.     

基于最大间隔最小体积超球支持向量机的多主题分类算法

针对多主题分类,结合最大间隔最小体积超球支持向量机和模糊理论,提出一种多主题最大间隔最小体积超球支持向量机来实现多主题分类.该算法首先基于最大间隔最小体积超球支持向量机,采用1-a-r方法训练子分类器,通过子分类器得到待分类样本的隶属度向量,再依据隶属度向量判定该待分类样本所属类别.实验结果表明,该算法具有较好的准确率、召回率、F1值.     

基于指数损失和0-1损失的在线Boosting算法

推导了使用指数损失函数和0-1损失函数的Boosting 算法的严格在线形式,证明这两种在线Boosting算法最大化样本间隔期望、最小化样本间隔方差.通过增量估计样本间隔的期望和方差,Boosting算法可应用于在线学习问题而不损失分类准确性. UCI数据集上的实验表明,指数损失在线Boosting算法的分类准确性与批量自适应 Boosting （AdaBoost）算法接近,远优于传统的在线Boosting;0-1损失在线Boosting算法分别最小化正负样本误差,适用于不平衡数据问题,并且在噪声数据上分类性能更为稳定.     

大间隔最小压缩包含球学习机

为了提高球形分类器的分类性能,受支持向量机和小球体大间隔等方法的启发,提出一种大间隔最小压缩包含球(large margin and minimal reduced enclosing ball,简称LMMREB)学习机,其在Mercer核诱导的特征空间,通过优化一个最小包含球,以寻求两个同心的分别包含二类模式的压缩包含球,且使二类模式分别与压缩包含球间最小间隔最大化,从而可以同时实现类间间隔和类内内聚性的最大化分别采用人工数据和实际数据进行实验,结果显示,LMMREB的分类性能优于或等同于相关方法.     

基于改进型加性余弦间隔损失函数的深度学习人脸识别

为了实现监控场景下的人脸识别,采集了监控视频中500个人每人2张人脸图像构成SVF(Surveillance Video Faces) 测试集,包括500个正样本对499000个负样本对,提出一种改进型加性余弦间隔损失函数,对加性余弦间隔损失函数进行 改进,通过在特征与目标权重夹角的余弦值减去一个值,在特征与非目标权重夹角的余弦值加一个值,该值为 ０ ~ １ 之间的数,通过实验选取最佳值,达到减小类内距离,拉大类间距离的目的。实验结果表明,与Softmax损失函数、乘性角度间隔损失函,数及加性余弦间隔损失函数训练的人脸识别模型相比,该方法在监控场景测试集人脸识别准确率最高,为99.1%。     

基于双通道卷积门控循环网络的语音情感识别

为了构建高效的语音情感识别模型,充分利用不同情感特征所包含的信息,将语谱图特征和LLDs特征相结合,构建了一种基于自注意力机制的双通道卷积门控循环网络模型。同时,为了解决交叉熵损失函数无法增大语音情感特征类内紧凑性和类间分离性的问题,结合一致性相关系数提出新的损失函数——一致性相关损失（CCC-Loss）。将语谱图和LLDs特征分别输入CGRU模型提取深层特征并引入自注意力机制为关键时刻赋予更高的权重;使用CCC-Loss与交叉熵损失共同训练模型,CCC-Loss将不同类情感样本的一致性相关系数之和与同类情感样本的一致性相关系数之和的比值作为损失项,改善了样本特征的类内类间相关性,提高了模型的特征判别能力;将两个网络的分类结果进行决策层融合。所提出的方法在EMODB、RAVDESS以及CASIA数据库上分别取得了92.90%、88.54%以及90.58%的识别结果,相比于ACRNN、DSCNN等基线模型识别效果更好。     

Maximum margin of twin spheres machine with pinball loss for imbalanced data classification

The maximum margin of twin spheres support vector machine (MMTSVM) is an effective method for the imbalanced data classification. However, the hinge loss is used in the MMTSVM and easily leads to sensitivity for the noises and instability for re-sampling. In contrast, the pinball loss is related to the quantile distance and less sensitive to noises. To enhance the performance of MMTSVM, we propose a maximum margin of twin spheres machine with pinball loss (Pin-MMTSM) for the imbalanced data classification in this paper. The Pin-MMTSM finds two homocentric spheres by solving a quadratic programming problem (QPP) and a linear programming problem (LPP). The small sphere captures as many majority samples as possible; and the large sphere pushes out most minority samples by increasing the margin between two homocentric spheres. Moreover, our Pin-MMTSM is equipped with noise insensitivity by employing the pinball loss. Experimental results on eighteen imbalanced datasets indicate that our proposed Pin-MMTSM yields a good generalization performance.     

一种新的模糊多球分类算法及其集成方法

本文提出了一种新的模糊多球分类算法.该算法在训练阶段为每一个模式类构造多个球,覆盖其所有的训练样本,并且在识别阶段利用一个模糊隶属函数来归类测试样本.此外,在提出的分类算法的基础上,还给出了它的集成方法.最后,我们采用了四个真实数据集进行实验,实验结果表明本文提出的算法具有较好的分类性能,是一种行之有效的分类算法.     

最大向量夹角间隔核分类

提出了一种最大向量夹角间隔MAMC分类方法,其核心思想是在样本特征空间中寻找一个尽可能靠近训练样本中心的向量c,进而强化更小的VC维,同时未知样本点可以根据向量c和训练样本点之间的最大向量夹角间隔ρ进行分类.提出的MAMC方法可以通过核化提高算法的灵活性,而在MAMC方法的实现上,只需解决一个对应的二次凸优化问题,实现简单.同时,MAMC的v×v1参数属性构成了支持向量个数的下界和错分训练样本数的上界;而其所对应的硬划分版本可以等价于一种特殊和核化的最小包含球,因此能够训练较大样本.最后,人造和真实数据集实验结果表明,MAMC整体上具有较好的性能优势.     

A new constrained maximum margin approach to discriminative learning of Bayesian classifiers

We propose a novel discriminative learning approach for Bayesian pattern classification, called ‘constrained maximum margin (CMM)’. We define the margin between two classes as the difference between the minimum decision value for positive samples and the maximum decision value for negative samples. The learning problem is to maximize the margin under the constraint that each training pattern is classified correctly. This nonlinear programming problem is solved using the sequential unconstrained minimization technique. We applied the proposed CMM approach to learn Bayesian classifiers based on Gaussian mixture models, and conducted the experiments on 10 UCI datasets. The performance of our approach was compared with those of the expectation-maximization algorithm, the support vector machine, and other state-of-the-art approaches. The experimental results demonstrated the effectiveness of our approach.     

一种基于核的模糊多球分类算法及其集成

提出了一种基于核的模糊多球分类算法,该算法在训练阶段为每一个模式类构造多个最小球覆盖其所有的训练样本,并且在识别阶段算法利用一个模糊隶属函数来归类测试样本。此外,在提出的分类算法的基础上,还给出了它的集成方法。最后,采用了4个真实数据集进行实验,实验结果表明该文提出的算法具有较好的分类性能,是一种行之有效的分类算法。     

一种抗噪的钢印打码字符识别方法

针对总间隔支持向量机对噪声敏感的问题,引入pinball损失函数,提出基于pinball损失函数的总间隔支持向量机。同时提出噪声环境下的钢印打码字符识别方法,首先对钢印图像的字体进行预处理,然后使用基于pinball损失函数的总间隔支持向量机对图像特征进行分类。实验结果分析表明本文提出的基于pinball损失函数的总间隔支持向量机可以较好地应用于噪声环境下的钢印打码字符识别,在分类效果和ROC曲线指标上具有令人满意的效果。     

一种新的孪生大间隔分布机算法

为了提高孪生支持向量机的泛化能力,提出一种新的孪生大间隔分布机算法,以增加间隔分布对于训练模型的影响.理论研究表明,间隔分布对于模型的泛化性能有着非常重要的影响.该算法在标准孪生支持向量机优化目标函数上增加了间隔分布的影响,间隔分布通过一阶和二阶数据统计特征来体现.在标准数据集上的实验结果表明,所提出的算法比SVM、TWSVM、TBSVM算法的分类精确度更高.     

基于联合优化的强耦合孪生区域推荐网络的目标跟踪算法

针对区域推荐网络（RPN）在目标跟踪任务中出现的最大分类分数与最佳边框不匹配的问题，提出一种基于联合优化的强耦合孪生区域推荐跟踪算法（SCSiamRPN）。首先，采用Bounded IoU方法来优化正样本交并比（IoU）值的计算，通过分解公式、固定变量、替换差值和约束近似的操作来简化计算过程。然后，优化损失函数结构，通过在分类损失函数中添加以IoU值为纽带的耦合因子来联合分类任务和边框回归任务，以提升高IoU样本的损失值；通过在边框回归损失函数中添加以IoU为主变量的加权系数来提高目标中心样本的贡献，以提升边框定位精度。仿真结果显示：SCSiamRPN算法在OTB100数据集上的精度和成功率为0.86和0.64；同基于孪生区域推荐候选网络的高性能单目标跟踪（SiamRPN）算法相比，均有3%的提升。实验结果表明：SCSiamRPN算法解决了最大分类分数与最佳边框不匹配的问题，增强了分类和边框回归任务的耦合性，且在不损失跟踪速度的前提下实现了跟踪精度的较大幅度提升。     

基于联合优化的强耦合孪生区域推荐网络的目标跟踪算法

针对区域推荐网络（RPN）在目标跟踪任务中出现的最大分类分数与最佳边框不匹配的问题,提出一种基于联合优化的强耦合孪生区域推荐跟踪算法（SCSiamRPN）。首先,采用Bounded IoU方法来优化正样本交并比（IoU）值的计算,通过分解公式、固定变量、替换差值和约束近似的操作来简化计算过程。然后,优化损失函数结构,通过在分类损失函数中添加以IoU值为纽带的耦合因子来联合分类任务和边框回归任务,以提升高IoU样本的损失值;通过在边框回归损失函数中添加以IoU为主变量的加权系数来提高目标中心样本的贡献,以提升边框定位精度。仿真结果显示：SCSiamRPN算法在OTB100数据集上的精度和成功率为0.86和0.64;同基于孪生区域推荐候选网络的高性能单目标跟踪（SiamRPN）算法相比,均有3%的提升。实验结果表明：SCSiamRPN算法解决了最大分类分数与最佳边框不匹配的问题,增强了分类和边框回归任务的耦合性,且在不损失跟踪速度的前提下实现了跟踪精度的较大幅度提升。     

Learning with positive and unlabeled examples using biased twin support vector machine

PU classification problem (‘P’ stands for positive, ‘U’ stands for unlabeled), which is defined as the training set consists of a collection of positive and unlabeled examples, has become a research hot spot recently. In this paper, we design a new classification algorithm to solve the PU problem: biased twin support vector machine (B-TWSVM). In B-TWSVM, two nonparallel hyperplanes are constructed such that the positive examples can be classified correctly, and the number of unlabeled examples classified as positive is minimized. Moreover, considering that the unlabeled set also contains positive data, different penalty parameters for positive and negative data are allowed in B-TWSVM. Experimental results demonstrate that our method outperforms the state-of-the-art methods in most cases.