用双层减样法优化大规模SVM垃圾标签检测模型*

针对支持向量机在训练大规模数据集时出现的速度瓶颈问题,提出一种新的减样方法,称双层减样法。数据减样时,双层减样法从粗、细粒度两个层次削减样本。粗粒度约减时,利用核空间距离聚类法,以簇为单位削减冗余子集。细粒度约减时,以点为单位挑选剩余点集中的支持向量。实验表明,双层减样法能有效的压缩样本数据,同时还能放大数据集的分类特征,提高分类器的分类精度。将此法应用于大规模SVM垃圾标签检测模型的训练集优化上,能明显提高检测模型的训练速度。双层减样法是将“粒度”和“层次”的概念引入减样法中,在约减时适时改变约减幅度。这比传统减样法更具有优势。     

基于支持向量机的垃圾标签检测模型

为解决Folksonomy存在垃圾标签的问题,提出垃圾标签检测模型。利用向量空间模型表征用户特征,再用支持向量机将Folksonomy用户二分类。通过检测出隐藏在正常用户群体中的垃圾投放人,以此减少垃圾标签数量。实验结果表明,基于支持向量机的垃圾标签检测模型具有更高的分类精度,优于其他检测方法。     

用KPCA-SVM的方法检测垃圾标签的研究

高维数据中进行各种处理时所需样本数量会成指数级增加,同时样本间距离的价值也逐渐减小,将导致维数灾问题。文本标签数据通常会面临数据维数过高的问题,会影响用户对垃圾标签的检测。文中借助支持向量机的数学模型构建出针对Folksonomy的大规模垃圾标签检测模型。为了减少检测垃圾标签时维数过高的影响,在核主成分分析理论的启发下,将数据降维思想引入数据约简领域,提出基于核主成分分析法的大规模SVM数据集约简模型。最终实例化形成一种新的垃圾标签检测方法,即基于核主成分分析支持向量机（ KPCA-SVM）的大规模垃圾标签检测模型。该模型在垃圾标签检测中可以在不影响数据特征的前提下,缩短模型的测试时间且检测性能良好。     

基于聚类标签均值的半监督支持向量机

针对标签均值半监督支持向量机在图像分类中随机选取无标记样本会导致分类正确率不高,以及算法的稳定性较低的问题,提出了基于聚类标签均值的半监督支持向量机算法。该算法修改了原算法对于无标记样本的惩罚项,对选取的无标记样本聚类,使用聚类标签均值替换标签均值。实验结果表明,使用聚类标签均值训练的分类器大大减少了背景与目标的错分情况,提高了分类的正确率以及算法的稳定性,适合用于图像分类。     

核聚类启发式转导SVM

传统转导支持向量机有效地利用了未标记样本,具有较高的分类准确率,但是计算复杂度较高。针对该不足,论文提出了一种基于核聚类的启发式转导支持向量机学习算法。首先将未标记样本利用核聚类算法进行划分,然后对划分后的每一簇样本标记为同一类别,最后根据传统的转导支持向量机算法进行新样本集合上的分类学习。所提方法通过对核聚类后同一簇未标记样本赋予同样的类别,极大地降低了传统转导支持向量机算法的计算复杂度。在MNIST手写阿拉伯数字识别数据集上的实验表明,所提算法较好地保持了传统转导支持向量机分类精度高的优势。     

基于图的组合半监督SVM聚类核算法研究

为了在聚类假设的基础上,进一步提高支持向量机的分类精度,文中通过引入线性分段转换函数,将加权无向图上的相似矩阵重新表示,改变该图上的距离度量,使得在同一群集中两点间的距离更小,从而建立基于图的聚类核,与多项式核函数线性组合后,构造出基于图的组合半监督聚类核,并将其用于支持向量机的训练和分类。实验表明,与标准SVM算法相比,该算法分类精度较高,且高于组合前的单个核函数。随着标记样本比例的增加,该算法的分类精度也在增加,有效利用了未标记样本蕴含的信息。     

一种基于标签传播的半监督核学习算法

一个好的核函数能提升机器学习模型的有效性,但核函数的选择并不容易,其与问题背景密切相关,且依赖于领域知识和经验。核学习是一种通过训练数据集寻找最优核函数的机器学习方法,能通过有监督学习的方式寻找到一组基核函数的最优加权组合。考虑到训练数据集获取标签的代价,提出一种基于标签传播的半监督核学习方法,该方法能够同时利用有标签数据和无标签数据进行核学习,通过半监督学习中被广泛使用的标签传播方法结合和谐函数获得数据集统一的标签分布。在UCI数据集上对提出的算法进行性能评估,结果表明该方法是有效的。     

基于核聚类的SVM多类分类方法

对支持向量机的多类分类问题进行研究，提出了一种基于核聚类的多类分类方法。利用核聚类方法将原始样本特征映射到高维特征进行聚类分组，对每一组使用一个支持向量机二值分类器进行分类，并用这些二值分类器组成决策树的节点，构成了一个决策分类树。给出决策树的生成算法，提出了利用交叠系数来控制交叠，从而克服错分积累，提高分类准确率。实验结果表明，采用该方法，手写体汉字识别速度和正确率都达到了实用的要求。     

基于半模糊核聚类算法的收视率预测研究

收视率是电视行业重要的指标之一,对电视机构运营决策具有重要参考价值。针对收视率数据影响因素众多,变化趋势复杂等特点,提出了一种基于半模糊核聚类的超球支持向量机分类方法,基于半模糊核聚类生成模糊类,在其边缘样本信息基础上,利用超球支持向量机进行多类分类,从而有效提高分类器性能。实验表明,该方法比传统方法具有更高的速度和精度。     

基于模糊核聚类的图像SVM分类辨识

提出一种结合特征场和模糊核聚类支持向量机的图像分类辨识方法。首先,构造符合人类视觉特性的图像彩色和纹理特征数据场,一方面,引入新阈值,建立图像纹理特征;另一方面,在图像彩色特征上,对能够引起注意的像素区域的像素点进行加权处理,并使用彩色空间分布离散度来描述彩色的空间分布。其次,采用模糊核聚类支持向量机对图像进行分类研究。在使用特征空间时,不仅考虑了样本与类中心间的关系,还考虑了类中各个样本间的关系,以模糊连接度来度量类中各个样本间的关系,并以二叉树方式构造子分类器。实验结果表明,该方法可以获得较好的图像分类效果。     

基于多种核函数的SVM在垃圾邮件过滤中的应用

采用TF-IDF和Bernoulli两种模型构造邮件向量,首先详细测试了CHI降维策略对线性支持向量机进行邮件分类的影响。将基于核函数的支持向量机引入到垃圾邮件过滤中,对基于线性核、多项式核和径向基核的支持向量机在邮件分类中的准确率和训练时间进行了比较,分析了训练样本不平衡对分类的影响,并从理论上对实验结果进行了分析,实验结果证明基于径向基核函数的SVM分类器对垃圾邮件有较好的过滤效果。     

核K-Means聚类在Folksonomy标签模糊和冗余中的应用

现有的Folksonomy标签推荐系统中,标签模糊会导致系统推荐不准确,并且影响用户建模的准确性,而标签冗余妨碍了对系统的评估。利用K-Means聚类结果抽取模糊和冗余标签时,聚类效果较差导致抽取不准确。提出使用核K-Means聚类处理标签模糊和冗余,通过非线性映射能够较好地分辨、提取并放大样本中有用的特征,提高抽取模糊标签和冗余标签的准确度。实验结果表明：核K-Means聚类对标签和资源的聚类效果更好,抽取的模糊标签和冗余标签也更准确。     

GMM-UBM和SVM在说话人识别中的应用

针对说话识别领域短语音导致的训练数据不充分的问题,选择能够突出说话人个性特征的GMM-UBM作为基线系统模型,并引入SVM解决GMM-UBM导致的系统鲁棒性差的问题. 选择不同的核函数对SVM的识别性能有较大的影响,针对多项式核函数泛化能力较强、学习能力较差与径向基核函数学习能力较强、泛化能力较差的特性,对两种单核核函数进行线性加权组合,以使组合核函数兼具各单核的优点. 仿真实验结果表明,组合核函数SVM的识别率和等错误率明显优于不引入SVM的GMM-UBM的基线系统及其它三个单核函数,并在不同信噪比情况下也兼顾了系统识别准确率与鲁棒性.     

RBF核SVM及其应用研究

因其核函数的良好性态,RBF核SVM（RBF-SVM）在实际应用中表现出良好的学习性能,但是RBF核函数中的参数对SVM的性能起决定性作用.阐述了RBF-SVM的性能随着变化而变化的规律,并将RBF-SVM引入自动羽绒识别系统中.根据自动羽绒识别系统的实际需求和RBF-SVM的性能变化规律,论述了本系统中参数的选取依据和选取过程,并且给出了的相关曲线变化图.通过研究,最后得到适合本系统的识别模型,从而提高了系统的总体识别率.同时,也验证了RBF-SVM的良好特性和其受参数的约束规律.     

Linear programming support vector regression with wavelet kernel: A new approach to nonlinear dynamical systems identification

Wavelet theory has a profound impact on signal processing as it offers a rigorous mathematical framework to the treatment of multiresolution problems. The combination of soft computing and wavelet theory has led to a number of new techniques. On the other hand, as a new generation of learning algorithms, support vector regression (SVR) was developed by Vapnik et al. recently, in which ?-insensitive loss function was defined as a trade-off between the robust loss function of Huber and one that enables sparsity within the SVs. The use of support vector kernel expansion also provides us a potential avenue to represent nonlinear dynamical systems and underpin advanced analysis. However, for the support vector regression with the standard quadratic programming technique, the implementation is computationally expensive and sufficient model sparsity cannot be guaranteed. In this article, from the perspective of model sparsity, the linear programming support vector regression (LP-SVR) with wavelet kernel was proposed, and the connection between LP-SVR with wavelet kernel and wavelet networks was analyzed. In particular, the potential of the LP-SVR for nonlinear dynamical system identification was investigated.     

小波统计量和多类支持向量机的密写检测算法

提出了一种基于小波统计量和多类支持向量机的彩色图像密写检测算法。为克服以往将彩色图像转化为灰度图像引起的各颜色通道相关性损失的不足,算法建立了彩色图像统计模型。对彩色图像每个颜色通道分别进行小波分解,根据小波分解系数绝对值和绝对值线性预测的对数误差生成特征向量,并采用多类支持向量机进行模式分类。在特定嵌入率下对几种常见的密写软件生成的密写图像进行测试。实验表明此算法具有一定的通用性,对密写图像具有较高的识别率。     

Relationship Between Support Vector Set and Kernel Functions in SVM

Based on a constructive learning approach,covering algorithms,we investigate the relationship between support vector sets and kernel functions in support vector machines (SVM).An interesting result is obtained.That is,in the linearly non-separable case,any sample of a given sample set K can become a support vector under a certain kernel function.The result shows that when the sample set K is linearly non-separable,although the chosen kernel function satisfies Mercer‘s condition its corresponding support vector set is not necessarily the subset of K that plays a crucial role in classifying K.For a given sample set,what is the subset that plays the crucial role in classification?In order to explore the problem,a new concept,boundary or boundary points,is defined and its properties are discussed.Given a sample set K,we show that the decision functions for classifying the boundary points of K are the same as that for classifying the K itself.And the boundary points of K only depend on K and the structure of the space at which k is located and independent of the chosen approach for finding the boundary.Therefore,the boundary point set may become the subset of K that plays a crucial role in classification.These results are of importance to understand the principle of the support vector machine(SVM) and to develop new learning algorithms.     

On-line fault detection in discrete event systems by Petri nets and integer linear programming

The paper addresses the fault detection problem for discrete event systems in a Petri Net (PN) framework. Assuming that the structure of the PN model and the initial marking are known, faults are modelled by unobservable transitions. Moreover, we assume that there may be additional unobservable transitions associated with the system legal behaviour and that the marking reached after the firing of any transition is unknown. The proposed diagnoser works on-line: it waits for the firing of an observable transition and employs an algorithm based on the definition and solution of some integer linear programming problems to decide whether the system behaviour is normal or exhibits some possible faults. The results characterize the properties that the PN modelling the system fault behaviour has to fulfill in order to reduce the on-line computational effort.     

融合自编码器和one-class SVM的异常事件检测

目的 在自动化和智能化的现代生产制造过程中,视频异常事件检测技术扮演着越来越重要的角色,但由于实际生产制造中异常事件的复杂性及无关生产背景的干扰,使其成为一项非常具有挑战性的任务。很多传统方法采用手工设计的低级特征对视频的局部区域进行特征提取,然而此特征很难同时表示运动与外观特征。此外,一些基于深度学习的视频异常事件检测方法直接通过自编码器的重构误差大小来判定测试样本是否为正常或异常事件,然而实际情况往往会出现一些原本为异常的测试样本经过自编码得到的重构误差也小于设定阈值,从而将其错误地判定为正常事件,出现异常事件漏检的情形。针对此不足,本文提出一种融合自编码器和one-class支持向量机（support vector machine,SVM）的异常事件检测模型。方法 通过高斯混合模型（Gaussian mixture model,GMM）提取固定大小的时空兴趣块（region of interest,ROI）;通过预训练的3维卷积神经网络（3D convolutional neural network,C3D）对ROI进行高层次的特征提取;利用提取的高维特征训练一个堆叠的降噪自编码器,通过比较重构误差与设定阈值的大小,将测试样本判定为正常、异常和可疑3种情况之一;对自编码器降维后的特征训练一个one-class SVM模型,用于对可疑测试样本进行二次检测,进一步排除异常事件。结果 本文对实际生产制造环境下的机器人工作场景进行实验,采用AUC （area under ROC）和等错误率（equal error rate,EER）两个常用指标进行评估。在设定合适的误差阈值时,结果显示受试者工作特征（receiver operating characteristic,ROC）曲线下AUC达到91.7%,EER为13.8%。同时,在公共数据特征集USCD （University of California,San Diego） Ped1和USCD Ped2上进行了模型评估,并与一些常用方法进行了比较,在USCD Ped1数据集中,相比于性能第2的方法,AUC在帧级别和像素级别分别提高了2.6%和22.3%;在USCD Ped2数据集中,相比于性能第2的方法,AUC在帧级别提高了6.7%,从而验证了所提检测方法的有效性与准确性。结论 本文提出的视频异常事件检测模型,结合了传统模型与深度学习模型,使视频异常事件检测结果更加准确。     

视频中基于LW-PGD和SVM的头肩部检测

针对视频中的行人检测问题, 提出了LW-PGD (locating windows based on the pixel gradient direction of the top of head)快速定位头肩部和基于融合特征检测的方法。首先利用头顶像素点的梯度方向具有固定范围这一特性在前景中找出头顶候选点, 根据该点快速确定人体头肩部区域, 将其作为待测窗口; 然后提取待测窗口的方向梯度直方图 (histogram of oriented gradient, HOG)特征和HSV(hue saturation value) 颜色特征; 最后采用支持向量机(support vector machine, SVM)训练得到人体头肩部的分类器。实验表明, 与传统的滑动窗口搜索方法相比, 根据头顶点可以快速选取含有人体头肩部的待测窗口, 提高了检测的效率; HOG和HSV多特征融合提高了检测的精确性, 从而提出的算法有助于后续的行人分析。