基于k-最近邻的支持向量预选取方法

在所有的训练样本中只有支持向量(SVs)能对支持向量机分界面优化结果产生显著影响.基于k-最近邻规则,提出了一种训练样本的预选取方法.针对一些典型人工数据集,公用基准数据集以及TM 遥感数据的实验结果表明.该方法能够有效减少训练样本数目,显著加快学习速度,并保证理想的分类精度.     

基于k-最近邻的支持向量预选取方法

在所有的训练样本中只有支持向量(SVs)能对支持向量机分界面优化结果产生显著影响.基于k-最近邻规则,提出了一种训练样本的预选取方法.针对一些典型人工数据集,公用基准数据集以及TM 遥感数据的实验结果表明.该方法能够有效减少训练样本数目,显著加快学习速度,并保证理想的分类精度.

     

基于邻域分布局部线性嵌入的粗集支持向量机

针对粗集支持向量机面对高维特征值的训练样本分类效率低的问题,采用邻域点间的分布矩阵用于改进局部线性嵌入的权值矩阵重建,在粗集支持向量机上引入该邻域分布局部线性嵌入算法,对输入训练集进行数据降维操作。对三个数据集分别采用传统支持向量机、粗集支持向量机和基于邻域分布局部线性嵌入的粗集支持向量机进行数据分类测试,结果表明改进的支持向量机对于高维特征值的训练样本,可有效提高分类准确率及计算效率。     

基于样本投影分布的平衡不平衡数据集分类*

提出一种平衡不平衡数据集统一分类方法,首先得到训练样本基于支持向量机（SVM）超平面法线方向上的投影;再借助支持向量数据描述（SVDD）对训练样本投影分布进行描述;测试样本在此基础上实现分类。平衡或不平衡数据集都可采用相同的方法进行分类。实验表明该方法能够同时对平衡或不平衡数据集进行有效的分类。     

一种Vague集的模糊支持向量数据描述

针对支持向量数据描述中噪声和孤立点带来的过拟合问题,提出了一种Vague集的支持向量数据描述（VFSVDD）,利用模糊k-均值聚类方法生成每个训练样本的真、假隶属度,可以精细地控制训练样本对超球面边界的影响。用UCI机器学习数据集的数据实验验证了VFSVDD的有效性。     

一种新的支持向量机大规模训练样本集缩减策略

支持向量机(SVM)在许多实际应用中由于训练样本集规模较大且具有类内混杂孤立点数据,引发了学习速度慢、存储需求量大、泛化能力降低等问题,成为直接使用该技术的瓶颈。针对这些问题,通过在点集理论的基础上分析训练样本集的结构,提出了一种新的支持向量机大规模训练样本集缩减策略。该策略运用模糊聚类方法快速的提取出潜在支持向量并去除类内非边界孤立点,在减小训练样本集规模的同时,能够有效地避免孤立点数据所造成的过学习现象,提高了SVM的泛化性能,在保证不降低分类精度的前提下提高训练速度。     

基于支持向量机的航空高光谱赤潮监测

针对航空遥感高光谱图像大数据量快速分析的需求,本文提出了一种基于支持向量机(SVM)的航空高光谱赤潮监测方法.首先,利用对数残差法(LRC)归一化高光谱数据.然后,通过RPCL(Rival Penalized Competitive Learning)聚类分析划分训练样本空间从而形成训练样本集,并以支持向量机(SVM)作为识别器,试验结果证明了该方法的有效性.     

基于特征贡献度加权高斯核函数的粗糙one-class支持向量机

粗糙one-class支持向量机(ROCSVM)是一种一类支持向量机,它通过核函数映射,定义上近似超平面和下近似超平面,使得训练样本能根据在粗糙间隔中的位置,自适应地对决策超平面产生影响.由于ROCSVM训练集只有正类样本,因此充分挖掘和利用训练样本的分类特征对于提高ROCSVM的分类性能有重要意义.为此,提出了一种基于训练样本分类特征贡献度的加权高斯核函数(λRBF):先对训练样本做主成分分析(PCA)得到按特征值排序的向量集,以此向量集构造核函数,使得特征值较大的维度在核函数中起较大的作用.在UCI标准数据集和仿真数据上的实验结果表明:与一般RBF的ROCSVM相比,基于λ-RBF的ROCSVM有着更好的泛化性和更高的识别率.     

基于大训练样本集的ε-SVR改进算法研究

在改进算法的研究中,从大训练样本集中进行样本抽样是构建大样本支持向量回归机的重要手段.根据ε-SVR支持向量分布的特有属性和支持向量逐步回归机算法求解ε-SVR的缺陷,为改善训练时间,优化收敛性,从大训练样本集中抽取的小样本集的ε-SVR超平面出发,通过计算大训练样本集样本点距近似超平面距离d,剔除大训练样本集中在ε≤d≤dmax外的训练样本点,逐步搜索SVs,建立大训练样本集ε-SVR.提出了构建大训练样本集ε-SVR的逐步搜索算法,理论分析和仿真实验验证了搜索算法的收敛性和有效性.     

样本错误加权的支持向量数据描述

数据描述只使用目标集训练样本获得关于目标集的描述,支持向量数据描述(SVDD)是一种有效的数据描述方法。样本错误加权的SVDD(WSVDD)推广了SVDD,对每个训练样本的错误赋予不同的权值,可以精细地控制训练样本对超球面边界的影响。用UCI机器学习数据集的两个数据和图标分类的实验验证了WSVDD的有效性。     

一种基于支持向量的二进制粒子群网络故障特征选择算法

网络故障诊断中大量无关或冗余的特征会降低诊断的精度,需要对初始特征进行选择。Wrapper模式特征选择方法分类算法计算量大,为了降低计算量,本文提出了基于支持向量的二进制粒子群（SVB-BPSO）的故障特征选择方法。该算法以SVM为分类器,首先通过对所有样本的SVM训练选出SV集,在封装的分类训练中仅使用SV集,然后采用异类支持向量之间的平均距离作为SVM的参数进行训练,最后根据分类结果,利用BPSO在特征空间中进行全局搜索选出最优特征集。在DARPA数据集上的实验表明本文提出的方法能够降低封装模式特征选择的计算量且获得了较高的分类精度以及较明显的降维效果。     

A two-stage support vector regression assisted sequential sampling approach for global metamodeling

Support vector regression (SVR), as a promising surrogate model, has been widely used to approximate expensive simulations in engineering design problem. To build a SVR model accurately and efficiently, a two-stage support vector regression (TSSVR) assisted sequential sampling approach is proposed in this paper with the consideration of SVR’s two unique features. In each sampling iteration of TSSVR, two SVR models are constructed successively based on the same training data. As for the first feature that only support vectors (SVs) have impact on the construction of SVR, the first-stage SVR with lower ε precision is built to prescreen some important samples as current SVs. As for the second feature that SVR model does not completely go through the samples, the second-stage SVR with higher ε precision is built to calculate the prediction errors at the SVs without any other computational cost, and the prediction errors are used to approximately measure the accuracy of the local regions around the SVs. Moreover, to describe the local regions around the SVs, the design space is partitioned into a set of Voronoi cells according to the current samples before prescreening SVs from the sample points. Then a new sample can be exploited in the corresponding Voronoi cell with the largest prediction error. In the next sampling iteration, the Voronoi cells and SVs are redefined. As the change of the local cell with the largest prediction error, global exploration is achieved. Finally, the proposed approach is validated by seven numerical examples and an engineering example. An overall comparison between the proposed approach and some other methods demonstrates that the proposed approach is efficient and suitable for engineering design problems involving computational-expensive simulations.     

Exploiting multi-scale support vector regression for image compression

Unlike traditional neural networks that require predefined topology of the network, support vector regression (SVR) approach can model the data within the given level of accuracy with only a small subset of the training data, which are called support vectors (SVs). This property of sparsity has been exploited as the basis for image compression. In this paper, for still image compression, we propose a multi-scale support vector regression (MS-SVR) approach, which can model the images with steep variations and smooth variations very well resulting in good performance. We test our proposed MS-SVR based algorithm on some standard images. The experimental results verify that the proposed MS-SVR achieves better performance than standard SVR. And in a wide range of compression ratio, MS-SVR is very close to JPEG in terms of peak signal-to-noise ratio (PSNR) but exhibits better subjective quality. Furthermore, MS-SVR even outperforms JPEG on both PSNR and subjective quality when the compression ratio is higher enough, for example 25:1 for Lena image. Even when compared with JPEG-2000, the results show greatly similar trend as those in JPEG experiments, except that the compression ratio is a bit higher where our proposed MS-SVR will outperform JPEG-2000.     

Adaptive binary tree for fast SVM multiclass classification

This paper presents an adaptive binary tree (ABT) to reduce the test computational complexity of multiclass support vector machine (SVM). It achieves a fast classification by: (1) reducing the number of binary SVMs for one classification by using separating planes of some binary SVMs to discriminate other binary problems; (2) selecting the binary SVMs with the fewest average number of support vectors (SVs). The average number of SVs is proposed to denote the computational complexity to exclude one class. Compared with five well-known methods, experiments on many benchmark data sets demonstrate our method can speed up the test phase while remain the high accuracy of SVMs.     

一种支持向量机的快速分类算法

鉴于传统支持向量机分类过程的计算量和支持向量的个数成正比,为了提高分类决策的速度,提出一种约简支持向量的快速分类算法,该算法对原始的支持向量进行特定比例的模糊均值聚类操作,按照分类误差最小的原则构建最小线性二乘回归模型,求解新的支持向量系数和决策函数的偏置.人造数据集和标准数据集上的实验表明,约简50%支持向量后,可以在保持分类精度在无统计意义的明显损失的前提下,使得分类速度提高50%.     

基于同心超球面分割的支持向量预抽取方法

支持向量机仅仅由支持向量所决定,因此预先抽取支持向量参与训练是非常重要的。提出了一个基于同心超球面分割的支持向量预抽取方法,并在此基础上给出了HD-SVM训练算法。首先对样本的每一类分别用一些半径足够大的同心超球面进行分割,抽取出距离最优分类面较近的边界样本,这些样本最有可能成为支持向量;然后让边界样本作为初始工作集先参与训练。实验结果表明,该文的方法可以有效地对支持向量进行预抽取,避免了训练全部样本,使得训练速度明显得到提高。     

一种基于奇异值分解的数字水印算法

数字水印的出现为版权保护提供了一种新的解决途径。提出了基于奇异值分解(Singular Valuc Dccomposition)的数字水印算法。图像奇异值分解(SVD)有以下性质：分解后图像矩阵的奇异值集中反映了图像的“亮度”(能量)特性，而对应的奇异矩阵只反映了图像的“几何”特性。因而奇异值的细微变化不会影响图像的视觉效果。对图像分块并做奇异值分解，在奇异值域做数学变换以嵌入lbit的二值水印信息。该算法不同于别的算法的一个优点是：水印的提取是“盲提取”，即水印的提取不需要原图像参与。     

基于深度神经向量机自回归的协同过滤算法

为发掘卷积神经网络在协同过滤预测中的潜力,针对神经自回归模型方法和支持向量机在深度学习中的优势,提出基于深度神经向量机自回归的协同过滤方法。通过将神经网络最后一层的激发函数替换为线性支持向量回归函数的方式,学习基于最小边缘的对数损失。在多个公开数据集上的实验结果表明,该算法在深度神经自回归对协同过滤问题实现较好预测的基础上,线性向量回归函数的使用能更好地提升预测效果。     

Do singular values contain adequate information for face recognition?

Singular values (SVs) have been used for face recognition by many researchers. In this paper, we show that the SVs contain little useful information for face recognition and most important information is encoded in the two orthogonal matrices of the SVD. Experimental results are given to support this observation. To overcome this problem, a new method for face recognition based on the above finding is proposed. The face image is projected on to the orthogonal basis of SVD and then the vectors of coefficients are used as the face image features. By using probability density of this image feature obtained by a simplified EM algorithm, the Bayesian classifier is adopted to recognize the unknown faces. The proposed algorithm obtains acceptable experimental results on the ORL face database.     

基于后验概率SVM决策树多类的分类算法

后验概率支持向量机方法对孤立点和噪声具有鲁棒性,并且可以减少支持向量的数量,从而降低计算复杂度。因此,针对最近提出的快速分类算法c-BTS,引入样本的后验概率,提出了一种基于后验概率的SVM决策树算法P2BTS。实验结果证明,基于后验概率的支持向量机决策树P2BTS比c-BTS的分类精度更高,且所需的二类分类器个数减少,在一定程度上降低了P2BTS分类决策的时间和比较的次数,提高了分类效率。