基于核函数的稀疏属性选择算法

鉴于传统属性选择算法无法捕捉属性之间的关系的问题,文中提出了一种非线性属性选择方法。该方法通过引入核函数,将原始数据集投影到高维的核空间,因在核空间内进行运算,进而可以考虑到数据属性之间的关系。由于核函数自身的优越性,即使数据通过高斯核投影到无穷维的空间中,计算复杂度亦可以控制得较小。在正则化因子的限制上,使用两种范数进行双重约束,不仅提高了算法的准确率,而且使得算法实验结果的方差仅为0.74,远小于其他同类对比算法,且算法更加稳定。在8个常用的数据集上将所提算法与6个同类算法进行比较,并用SVM分类器来测试分类准确率,最终该算法得到最少1.84%,最高3.27%,平均2.75%的提升。     

采样系统的频率响应和L2诱导范数

提升技术已成为采样系统设计的主要工具,但提升变换不能保证频率响应不变,故不适用于加权(函数)H∞设计.为此,针对采样控制系统的结构特点,将频率响应分为两个通道进行计算.采用经典的采样系统理论,既可以得到频率响应,又可以求得采样系统的L2诱导范数.方法简单直观,物理概念清楚.     

基于降维字典的L2范数人脸识别方法研究

基于稀疏表示的人脸识别算法具有良好的识别效果,然而工作机制并不明确.因此,在研究SRC的方法和L1范数作用基础上,提出了一种结合降维字典和L2范数求解的分类方法.利用PCA技术对原始字典进行改进,有效降低原始字典的维数,降低求解系数向量的复杂性;利用L2范数快速计算的特点,加快人脸识别速度,提高系统的鲁棒性和识别率.在Yale B和ORL数据库上的实验结果表明了该方法的有效性.     

基于L1-范数距离的最小二乘对支持向量机

最小二乘对支持向量机(LSTSVM)是一种有效的分类技术。然而,该方法需计算点到平面的平方L2-范数距离,从而易受野值或噪声的影响。为了缓解此问题,提出了一种有效的鲁棒 LSTSVM方法,即基于L1-范数距离的LSTSVM(LSTSVML1D)。该方法由于使 用L1范数作为距离度量,因此不易受到野值或噪声数据的影响。此外,设计了一种有效的迭代算法,旨在求解目标问题,并从理论上证明了其收敛性。在人工数据集和UCI数据集上验证了LSTSVML1D 的有效性。     

结合改进的损失函数与多重范数的人脸识别

针对在卷积神经网络中定义损失函数为余弦裕度损失函数（Cosineface）后导致收敛变慢以及在实际使用过程中使用L2范数衡量特征相似度存在缺陷的问题,提出了斜率可变的余弦裕度损失函数（Kcosine）和多重范数计算特征相似度的方法。该方法通过在余弦裕度损失函数的基础上添加余弦斜率因子,使得损失函数类内约束随着余弦值的增大而逐渐增强,显式地缩小类内距离,同时利用L2范数和L∞范数构建人脸特征相似度向量,并通过支撑向量机（SVM）实现分类,修正L2范数空间衡量的不稳定性。在LFW和Agedb的数据库上1∶1验证实验表明,改进的损失函数不仅加快了训练的收敛速度,并且将类内距离减少15%以上,同时通过使用多重范数特征代替L2范数,可以将识别率均值提升0.1%左右,标准差也有所降低。     

Lp范数约束下的最大化L1范数主成分分析

针对主成分分析在处理污染数据时的敏感性且其投影向量非稀疏的特性,提出一种鲁棒主成分分析的优化模型。该模型的目标函数采用L1范数且投影向量受Lp范数约束。范数约束下的主成分分析算法被用来求解该模型且其理论分析表明该算法可取得局部最优解。另外把核函数嵌入到线性模型并给出核方案。通过在UCI数据集和人脸库上的实验表明该算法的可行性和有效性。     

基于L0范数的Retinex图像增强算法

图像在采集过程中会因为机械设备、天气状况等原因产生曝光不均等问题,使得图像的拍摄效果不佳,无法满足实际应用的需求。而传统的Retinex算法应用于图像增强时会导致图像边缘模糊与泛灰等问题。因此,针对传统的Retinex算法现存的问题,提出一种新颖的图像增强算法——基于L0范数的Retinex算法RIEALN。首先通过全局L0梯度最小化方法提取图像的轮廓成分,然后进行Retinex算法处理,再将提取的轮廓成分融合到原始图像,实现原始图像的增强。实现过程中还通过增加不同的L0梯度最小化因子确保不同尺度轮廓成分的均匀增强。实验结果表明,该算法不仅可以增强图像的对比度,而且还能够较好地保留边缘信息。     

基于核函数的PCA-L1算法

主成分分析方法由于使用了L2范数,因此对异常值较敏感。针对该问题,提出一种基于核函数的L1范数主成分分析方法。运用核函数将原始数据映射到核空间中得到核矩阵,再利用L1范数使距离函数达到最小。实验结果表明,该算法具有旋转不变性,对异常值和非线性问题具有稳定性,且正确识别率较高。     

基于L1范数的二维局部保留映射

提出了一种基于L1范数的二维局部保留映射(two-dimensional locality preserving projections based on L1-norm,2DLPP-L1)特征提取方法。与传统的基于L2范数的二维局部保留映射(2DLPP)相比,所提方法有两个优点。首先,由于L1范数对噪声不敏感,因此它具有更强的抗噪声能力;其次,它不需要进行特征值分解。在两个人脸数据库和一个手写数字数据集上的实验结果表明,当训练集中有噪声时,所提的2DLPP-L1能够取得优于传统2DLPP的分类性能。     

基于核稀疏表示的属性选择算法

为解决高维数据在分类时造成的“维数灾难”问题,提出一种新的将核函数与稀疏学习相结合的属性选择算法。具体地,首先将每一维属性利用核函数映射到核空间,在此高维核空间上执行线性属性选择,从而实现低维空间上的非线性属性选择;其次,对映射到核空间上的属性进行稀疏重构,得到原始数据集的一种稀疏表达方式;接着利用L 1范数构建属性评分选择机制,选出最优属性子集;最后,将属性选择后的数据用于分类实验。在公开数据集上的实验结果表明,该算法能够较好地实现属性选择,与对比算法相比分类准确率提高了约3%。     

A probabilistic perceptron learning algorithm

Abstract

A probabilistic perceptron learning algorithm has been proposed here to reduce the computation time of learning. The proposed algorithm is easily programmed and can drastically decrease the time complexity of learning at the expense of only a little accuracy. Experimental results also show this trade-off being worthwhile. Our proposed probabilistic perceptron learning algorithm thus has practical use, especially when the requirement of computational time is critical.     

基于L1和L2混合范式的序列图像超分辨率重建

针对超分辨率重建时需要同时滤除高斯噪声和脉冲噪声的问题,提出一种基于L₁和L₂混合范式并结合双边全变分(BTV)正则化的序列图像超分辨率重建方法。首先基于多分辨率策略的光流场模型对序列低分辨率图像进行配准,使图像的配准精度达到亚像素级,进而可以利用图像间的互补信息提高图像分辨率;其次利用L₁和L₂混合范式的优点,用BTV正则化算法解决重建的病态性反问题;最后进行序列图像超分辨率重建。实验数据显示算法可以降低图像均方误差,并将峰值信噪比(PSNR)提高1.2 dB~5.2 dB。实验结果表明,提出的算法能够有效地滤除高斯和脉冲噪声,保持图像边缘,提高图像可辨识度,可为车牌识别、人脸识别和视频监控等方面提供了良好的技术基础。     

基于感知器的SVM自学习模型

提出了一种基于感知器的SVM分类模型（PSVM）。该模型在对分类器的训练中,引入感知器分类思想,其先利用SVM的核函数进行核计算,判断其分类性能,分类正确则不作任何修改,反之则转化成感知器分类问题。实验结果表明该模型不但能提高SVM的分类性能,而且还可以降低SVM分类性能对核函数及参数选择的依赖。     

结合加权核范数与全变分的图像二级去噪

为提升图像去噪后的视觉感受,提出一种加权核范数最小化（WNNM）结合全变分（TV）的二级图像降噪方法。首先对含噪图像进行TV基础去噪,其次用噪声图像与基础去噪结果图做差分运算,并对差分后的结果自适应维纳滤波,然后将滤波后图像与基础TV降噪图像叠加,利用块匹配做相似补丁收集,最后运用加权核范数最小化进行二次去噪,得到最终降噪图像。通过与原WNNM、三维块匹配去噪（BM3D）、漏斗自相似非局部去噪（FNLM）方法对比,该方法不仅对平滑区域有较优的降噪效果,同时处理了漏斗自相似非局部去噪与BM3D在高噪声情况下带来花斑与假条纹状况,并且使结构纹理信息最大化相似。     

Sparse kernel logistic regression based on L 1/2 regularization

The sparsity driven classification technologies have attracted much attention in recent years, due to their capability of providing more compressive representations and clear interpretation. Two most popular classification approaches are support vector machines (SVMs) and kernel logistic regression (KLR), each having its own advantages. The sparsification of SVM has been well studied, and many sparse versions of 2-norm SVM, such as 1-norm SVM (1-SVM), have been developed. But, the sparsification of KLR has been less studied. The existing sparsification of KLR is mainly based on L ₁ norm and L ₂ norm penalties, which leads to the sparse versions that yield solutions not so sparse as it should be. A very recent study on L _1/2 regularization theory in compressive sensing shows that L _1/2 sparse modeling can yield solutions more sparse than those of 1 norm and 2 norm, and, furthermore, the model can be efficiently solved by a simple iterative thresholding procedure. The objective function dealt with in L _1/2 regularization theory is, however, of square form, the gradient of which is linear in its variables (such an objective function is the so-called linear gradient function). In this paper, through extending the linear gradient function of L _1/2 regularization framework to the logistic function, we propose a novel sparse version of KLR, the 1/2 quasi-norm kernel logistic regression (1/2-KLR). The version integrates advantages of KLR and L _1/2 regularization, and defines an efficient implementation scheme of sparse KLR. We suggest a fast iterative thresholding algorithm for 1/2-KLR and prove its convergence. We provide a series of simulations to demonstrate that 1/2-KLR can often obtain more sparse solutions than the existing sparsity driven versions of KLR, at the same or better accuracy level. The conclusion is also true even in comparison with sparse SVMs (1-SVM and 2-SVM). We show an exclusive advantage of 1/2-KLR that the regularization parameter in the algorithm can be adaptively set whenever the sparsity (correspondingly, the number of support vectors) is given, which suggests a methodology of comparing sparsity promotion capability of different sparsity driven classifiers. As an illustration of benefits of 1/2-KLR, we give two applications of 1/2-KLR in semi-supervised learning, showing that 1/2-KLR can be successfully applied to the classification tasks in which only a few data are labeled.     

Blind Deblurring Based on L0Norm from Salient Edges简

Motion deblurring is a basic problem in the field of image processing and analysis. This paper proposes a new method of single image blind deblurring which can be significant to kernel estimation and non-blind deconvolution. Experiments show that the details of the image destroy the structure of the kernel, especially when the blur kernel is large. So we extract the image structure with salient edges by the method based on RTV. In addition, the traditional method for motion blur kernel estimation based on sparse priors is conducive to gain a sparse blur kernel. But these priors do not ensure the continuity of blur kernel and sometimes induce noisy estimated results. Therefore we propose the kernel refinement method based on L0 to overcome the above shortcomings. In terms of non-blind deconvolution we adopt the L1/L2 regularization term. Compared with the traditional method, the method based on L1/L2 norm has better adaptability to image structure, and the constructed energy functional can better describe the sharp image. For this model, an effective algorithm is presented based on alternating minimization algorithm.     

支持向量机中核函数的性能评价策略

继神经网络方法之后,支持向量机成为机器学习领域中的有效方法,但是核函数的评价和选取问题一直存在。该文从结构风险出发,通过经验风险和置信区间2个方面对核函数的性能进行量化,给出评价核函数性能的公式,指出传统经验风险定义的缺陷,并提出了一个新的定义。实验证明了该算法的可行性和有效性。     

图像差与加权核范数最小化的压缩图像融合

现有的图像融合算法存在非线性操作产生的噪声干扰和空间复杂度高等问题,使得融合图像易失真和丢失信息。一些学者提出的压缩感知图像融合算法能有效改善这一问题,但大多忽略了图像矩阵的低秩性,往往会降低融合质量。由此,将压缩感知融合技术与低秩矩阵逼近方法相结合,提出基于信息论图像差与自适应加权核范数最小化的图像融合算法。该算法由3个阶段组成。首先,将2幅源图像通过小波稀疏基稀疏化,并利用结构随机矩阵压缩采样,得到测量输出矩阵。然后,将测量输出矩阵进行分块,再利用图像差融合算法得到融合后的测量输出矩阵块。最后,利用自适应加权核范数最小化优化得到的块权重,通过正交匹配追踪法重建融合图像。实验结果表明了该算法的有效性和普适性,并且在多种评价指标上优于其他融合算法。     

L1+L2正则化逻辑斯蒂模型分类算法

提出一种L1+L2范数正则化逻辑斯蒂模型分类算法。该算法引入L2范数正则化,解决L1正则化逻辑斯蒂算法迭代过程奇异问题,通过引入样本向量的扩展和新的权值向量完成L1范数非平滑问题,最终使用共轭梯度方法求解经过转化的最优化问题。在各种实际数据集上的实验结果表明,该算法优于L2范数、L1范数和Lp范数正则化逻辑斯蒂模型,具有较好的特征选择和分类性能。