r-SVR中参数r与输入噪声间线性反比关系的仿真研究

为研究r范数-支持向量回归机r-SVR的鲁棒性,验证r-SVR中参数r与输入噪声方差之间的近似反比线性关系,对r-SVR进行了仿真.推导出了作为仿真的依据的r-SVR的解的形式和对其进行求解的牛顿迭代公式.仿真结果显示：输入噪声为高斯分布时,r-SVR中参数r与输入噪声方差之间存在近似线性反比关系;这一关系曲线随着信噪比增加而斜率减小、整个曲线下移.这一结果印证和丰富了现前的理论推导结果,为在已知输入高斯噪声方差时合理地选择r提供了更可信的依据.     

基于最大熵估计的支持向量机概率建模

提出一种基于最大熵估计的支持向量机概率建模方法．针对传统的支持向量机方法不能提供后验概率的输出问题，从信息熵的角度采用最大熵估计方法，直接对支持向量机输出进行后验概率建模．实验结果表明，与同类算法相比，所提出的基于最大熵估计的概率建模方法具有优良的性能．     

基于样本之间紧密度的模糊支持向量机方法

针对传统支持向量机方法中存在对噪声或野值敏感的问题,提出了一种基于紧密度的模糊支持向量机方法.在确定样本的隶属度时,不仅考虑了样本与类中心之间的关系,还考虑了类中各个样本之间的关系.通过样本之间的紧密度来描述类中各个样本之间的关系,利用包围同一类中样本的最小球半径大小来度量样本之间的紧密度.样本的隶属度依据样本在球中的位置,按照不同的规律确定与基于样本与类中心之间关系构建的模糊支持向量机方法相比,该方法有利于将野值或含噪声样本与有效样本进行区分.实验结果表明,与传统支持向量机方法及基于样本与类中心之间关系的模糊支持向量机方法相比,基于紧密度的模糊支持向量机方法具有更好的抗噪性能及分类能力.     

遗传支持向量机模型优化在入侵检测中的应用

针对目前入侵检测检测精度低的问题,根据遗传和支持向量机算法的特点,建立了一种遗传支持向量机模型。该模型首先用遗传算法优化支持向量机参数,再用优化后的支持向量机构建入侵检测模型,使用该模型进行入侵检测。实验通过讨论了支持向量机参数的选择对检测精度的影响,选取了合适的参数(c,σ)。结果表明,把这种遗传支持向量机模型用于入侵检测提高了检测精度。     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

基于支持向量机的船舶结构可靠性分析

在双参数Weibull分布模型的参数预测中应用支持向量机技术,提出了基于支持向量机的船舶结构可靠性分析方法。将标准化预处理后的小子样学习样本输入以径向基函数为核函数的支持向量机中,建立预测参数与预测结果之间的映射关系,从而提高船舶结构可靠性分析精度。该方法计算效率高,对含有大量随机变量的船舶结构可靠性分析实用可靠,具有较高的工程实用价值和广泛的应用前景。     

基于支持向量回归机的HHT边界效应处理

针对希尔伯特-黄变换中的边界效应，提出了基于支持向量回归机的时间序列预测方法．在支持向量回归机的应用当中，参数的选取对它的泛化性能有很大影响．在讨论了参数对支持向量回归机的泛化性能的影响基础上，提出了通过微粒群优化算法来优化支持向量回归机参数的方法，使得支持向量回归机在应用中能够自适应的选择最优参数，从而获得了更好的泛化性能，提高了在端点处的延拓精度，很好地抑制了端点效应．试验表明，该优化算法能够很好解决支持向量回归机的参数选取问题．通过与神经网络的延拓方法和黄等人的HHTDPS结果对比，基于支持向量回归机的时间序列预测方法可以更好地解决在希尔伯特-黄变换中存在的边界效应，得到的固有模态函数具有较小的失真．     

一种基于支持向量机的图像数字水印算法

为了使数字水印综合性能更好，根据图像邻域像素之间具有很强的相关性这一特点，提出了一种基于支持向量机的图像水印算法。该算法将支持向量机的思想用于数字水印，并取得了较好的效果。由于支持向量机在有限训练样本的情况下具有很好的学习和泛化能力，因此，可以首先利用回归型支持向量机较好地建立图像邻域像素之间的关系模型，然后，通过调整模型的输出值与中心像素值之间的大小关系来嵌入或提取水印。实验表明，用该技术嵌入水印后的图像不仅具有很好的图像感知质量和较强的鲁棒性，对图像增强、JPEG压缩、噪声、几何剪切等抵抗强，而且安全性好、实用性较强。     

基于LS-SVM的小样本费用智能预测

最小二乘支持向量机引入最小二乘线性系统到支持向量机中,代替传统的支持向量机采用二次规划方法解决函数估计问题。该文推导了用于函数估计的最小二乘支持向量机算法,构建了基于最小二乘支持向量机的智能预测模型,并对机载电子设备费用预测进行了研究。结果表明最小二乘支持向量机具有比多元对数回归更高的小样本费用预测精度。     

基于贝叶斯理论的支持向量机综述

支持向量机(SVM)以其坚实的理论基础,和在机器学习领域表现出的良好推广性能,获得了越来越广泛的关注。为更好地推进其发展,科研工作者们借鉴统计学中经典的贝叶斯理论,做了大量工作,例如:引进贝叶斯理论中先验知识、后验概率等概念,改进支持向量机中的判别准则;或利用贝叶斯理论估计支持向量机中的参数w、正规化参数以及核参数等。目前已取得不错的效果,使支持向量机理论更具有实用价值。     

R-SVR中r与输入噪声间近似线性反比关系

为使r范数SVR更具鲁棒性,深入研究了r范数SVR中参数与输入噪声之间的关系。运用SVR的贝叶斯框架,分别推导出了鲁棒的r范数SVR中参数r与拉斯噪声和均匀噪声之间呈近似的线性反比关系。并结合仿真结果和已有的相关结论,得到了更为一般的结论,即鲁棒的r范数SVR中参数r与输入噪声之间呈近似的线性反比关系。这一结论为输入样本含有分布未知噪声的情况下r范数SVR参数的选择提供了理论依据。     

Experimental study on parameter choices in norm-r support vector regression machines with noisy input

In [1], with the evidence framework, the almost inversely linear dependency between the optimal parameter r in norm-r support vector regression machine r-SVR and the Gaussian input noise is theoretically derived. When r takes a non-integer value, r-SVR cannot be easily realized using the classical QP optimization method. This correspondence attempts to achieve two goals: (1) The Newton-decent-method based implementation procedure of r-SVR is presented here; (2) With this procedure, the experimental studies on the dependency between the optimal parameter r in r-SVR and the Gaussian noisy input are given. Our experimental results here confirm the theoretical claim in [1].     

基于支持向量机的彩色图像水印算法

提出了一种基于回归型支持向量机(SVR)的盲检测彩色图像水印算法。为了改善可见性,根据人眼视觉特性（HVS）自适应选择其嵌入位置。水印嵌入是通过修改图像中像素蓝色通道信息来实现,水印提取时结合图像局部相关性,选取稳定的特征向量并获取SVR训练模型,进而利用SVR训练模型进行预测提取数字水印信息。在嵌入过程中通过高斯模板来均衡调整嵌入水印后对宿主图像影响的强度,仿真实验证明本文算法不仅具有非常好的透明性,而且对诸如叠加噪声、JPEG压缩、平滑滤波、几何变换、图像增强等攻击也具有很好的鲁棒性。     

基于SVM-HMM混合模型的说话人确认

提出一个文本无关的说话人确认的算法。该算法将支持向量机（SVM）的输出通过Sigmoid函数和高斯模型转化为概率，并作为隐式马尔可夫模型（HMM）中各个隐状态的输出概率。由于HMM适于处理连续信号，SVM适于处理分类问题；同时，HMM更多地表达了类别内部的相似性，而SVM则很大程度上反映了类别间的差异，因而根据两者不同的侧重点，使其组合获得了很好的效果。     

使用超椭球参数化坐标的支持向量机

基于n维超椭球面坐标变换公式,构造一类核函数--n维超椭球坐标变换核.由于是同维映射,且增大了类间距离,这类核函数在一定程度上改善了支持向量机的性能.与其他核函数(如高斯核)相比,将所构造的核函数用于支持向量机,仅产生了很少的支持向量,因而大大加快了学习速度,改善了泛化性能.数值实验结果表明了所构造的核函数的有效性和正确性.     

正则化的加权不完全鲁棒主成分分析方法及其在 无线传感器网络节点轨迹拟合中的应用

针对稀疏矩阵奇异值分解（SRSVD）方法和半精确增广拉格朗日（SEALM）算法在采样比例小且稀疏噪声大,以及存在高斯噪声时不能准确拟合无线传感器网络（WSN）节点轨迹的问题,提出一种正则化的加权不完全鲁棒主成分分析（RWIRPCA）方法。首先,将不完全鲁棒主成分分析（IRPCA）应用于节点轨迹拟合;然后,在IRPCA的基础上,为了更好地刻画矩阵的低秩性和稀疏性,以及增强模型的抗高斯噪声性能,分别对低秩矩阵和稀疏矩阵进行加权;最后,将高斯噪声矩阵的F范数作为正则项,应用于节点轨迹拟合。仿真结果表明,IRPCA和RWIRPCA在采样比例小且稀疏噪声大时拟合效果均优于SRSVD和SEALM方法,特别是所提的RWIRPCA在稀疏噪声和高斯噪声同时存在时,仍能取得准确且稳定的拟合效果。     

Iterative constrained weighted least squares estimator for TDOA and FDOA positioning of multiple disjoint sources in the presence of sensor position and velocity uncertainties

Sensor position and velocity uncertainties are known to be able to degrade the source localization accuracy significantly. This paper focuses on the problem of locating multiple disjoint sources using time differences of arrival (TDOAs) and frequency differences of arrival (FDOAs) in the presence of sensor position and velocity errors. First, the explicit Cramér–Rao bound (CRB) expression for joint estimation of source and sensor positions and velocities is derived under the Gaussian noise assumption. Subsequently, we compare the localization accuracy when multiple-source positions and velocities are determined jointly and individually based on the obtained CRB results. The performance gain resulted from multiple-target cooperative positioning is also quantified using the orthogonal projection matrix. Next, the paper proposes a new estimator that formulates the localization problem as a quadratic programming with some indefinite quadratic equality constraints. Due to the non-convex nature of the optimization problem, an iterative constrained weighted least squares (ICWLS) method is developed based on matrix QR decomposition, which can be achieved through some simple and efficient numerical algorithms. The newly proposed iterative method uses a set of linear equality constraints instead of the quadratic constraints to produce a closed-form solution in each iteration. Theoretical analysis demonstrates that the proposed method, if converges, can provide the optimal solution of the formulated non-convex minimization problem. Moreover, its estimation mean-square-error (MSE) is able to reach the corresponding CRB under moderate noise level. Simulations are included to corroborate and support the theoretical development in this paper.     

Fuzzy C-means based support vector machine for channel equalisation

This paper proposes a new classification network, the fuzzy C-means based support vector machine (FCM–SVM) and applies it to channel equalisation. In contrast to a kernel-based SVM, the FCM–SVM has a smaller number of parameters while retaining the SVM's good generalisation ability. In FCM–SVM, input training data is clustered by FCM. The output of FCM–SVM is a weighted sum of the degrees where each input data belongs to the clusters. To achieve high generalisation ability, FCM–SVM weights are learned through linear kernel based SVM. Computer simulations illustrate the performance of the suggested network, where the FCM–SVM is used as a channel equaliser. Simulations with white Gaussian and coloured Gaussian noise are performed. This paper also compares simulation results from the FCM–SVM, the Gaussian kernel based SVM and the optimal equaliser.     

Theoretically Optimal Parameter Choices for Support Vector Regression Machines with Noisy Input

With the evidence framework, the regularized linear regression model can be explained as the corresponding MAP problem in this paper, and the general dependency relationships that the optimal parameters in this model with noisy input should follow is then derived. The support vector regression machines Huber-SVR and Norm-r r-SVR are two typical examples of this model and their optimal parameter choices are paid particular attention. It turns out that with the existence of the typical Gaussian noisy input, the parameter μ in Huber-SVR has the linear dependency with the input noise, and the parameter r in the r-SVR has the inversely proportional to the input noise. The theoretical results here will be helpful for us to apply kernel-based regression techniques effectively in practical applications.