L1/2正则化Logistic回归

提出一种L1/2正则化Logistic回归模型,并针对此模型构造有效的求解算法.文中模型基于L1/2正则化理论建立,有效改善传统模型存在的变量选择与计算过拟合问题.文中算法基于"坐标下降"思想构造,快速有效.在一系列人工和实际数据集上的实验表明,文中算法在分类问题中具有良好的变量选择能力和预测能力,优于传统Logistic回归和L1正则化Logistic回归.     

基于网络结构的正则化逻辑回归

逻辑回归是一个应用广泛的分类模型,但由于高维数据分类任务在实际应用中变得越来越频繁,使得分类模型面临着巨大的挑战.应对该挑战的一种有效方法是对模型进行正则化.许多已有的正则化逻辑回归直接运用L1范数罚作为正则化罚项,而不考虑特征之间的复杂关联关系.也有一些研究工作基于特征的组信息设计了正则化罚项,但它们假设组信息是预先给定的.文中从网络的视角对特征数据中存在的潜在模式进行挖掘,并基于此提出了一个基于网络结构的正则化逻辑回归.首先,以网络的形式描述特征数据并构建出特征网络;其次,从网络科学的角度对特征网络进行观察和分析,并基于此设计罚函数;然后,以该罚函数为正则化罚项,提出网络结构Lasso逻辑回归;最后,结合Nesterov加速近端梯度下降法和Moreau-Yosida正则化方法,推导了模型的求解过程.在真实数据集上的实验结果显示,所提网络结构Lasso逻辑回归表现优异,这表明从网络的视角观察和分析特征数据是研究正则化模型的一个具有潜力的方向.     

流形上的Laplacian半监督回归

把流形学习与半监督学习相结合,研究了流形上的半监督回归问题.简要介绍了半监督流形学习的Laplacian正则化框架,在此基础上推导了基于一类广义损失函数的Laplacian半监督回归,它能够利用数据所在流形的内在几何结构进行回归估计.具体给出了线性ε-不敏感损失函数,二次ε-不敏感损失函数和Huber损失函数的Laplacian半监督回归算法,在模拟数据和Boston Housing数据上对算法进行了实验,并对实验结果进行了分析.这些结果将为进一步深入研究半监督流形回归问题提供一些可借鉴的积累.     

基于平均区域划分的Laplacian稀疏编码的图像分类

针对稀疏编码方法中编码过程不稳定和金字塔匹配的划分方法无法使得融合后的特征很稀疏这两个问题,提出基于平均区域划分的Laplacian稀疏编码LSCARD(Laplacian sparse coding based on average region division)的图像分类方法。首先,对原始图像进行局部不变特征转化(SIFT)特征提取;然后,在稀疏编码方法中加入Laplacian正则化对局部特征进行编码,使相似的特征具有相似的码字;再利用平均区域划分以及最大值融合将编码后的特征向量进行融合;最后,采用多类SVM分类器对图像进行分类。在几个标准图像数据集上的实验结果表明,LSCARD算法具有更高的分类精度。     

基于Hessian矩阵范数正则化方法的共聚焦图像复原

对于泊松噪声污染下的模糊共聚焦图像复原问题,为解决传统方法中存在的阶梯效应,提出了一种基于Hessian矩阵范数的正则化方法.在泊松概率模型的基础上,该方法引入Hessian矩阵范数作为正则条件,并应用交替方向乘子法和梯度投影方法求解最优化模型.在激光扫描共聚焦显微镜实验中,所获得的复原图像质量优于传统方法,此结果证明了该方法可以有效地复原泊松噪声污染下的模糊共聚焦图像.     

基于卷积神经网络的正则化方法

正则化方法是逆问题求解中经常使用的方法.准确的正则化模型在逆问题求解中具有重要作用.对于不同类型的图像和图像的不同区域,正则化方法的能量约束形式应当不同,但传统的L1,L2正则化方法均基于单一先验假设,对所有图像使用同一能量约束形式.针对传统正则化模型中单一先验假设的缺陷,提出了基于卷积神经网络的正则化方法,并将其应用于图像复原问题.该方法的创新之处在于将图像复原看作一个分类问题,利用卷积神经网络对图像子块的特征进行提取和分类,然后针对不同特征区域采用不同的先验形式进行正则化约束,使正则化方法不再局限于单一的先验假设.实验表明基于卷积神经网络的正则化方法的图像复原结果优于传统的单一先验假设模型.     

双边全变分的自适应核回归超分辨率重建

正则化方法是目前解决超分辨率重建中病态问题的一种被广泛使用的方法。在分析了现有基于多种正则化超分辨率重建方法的基础上,构造了一种基于双边全变分（BTV）的自适应核回归滤波核,并将它作为正则化超分辨率重构的代价函数,该方法根据图像特征自适应生成正则项的滤波核函数。实验结果表明,与传统的正则化重建方法相比较,该算法既能有效地去除噪声,也能很好地保留图像细节部分,同时还具有一定的鲁棒性。通过客观和主观评价表明,图像重建质量有显著的提高。     

服从传输方程光学层析图像的正则化重建

基于近红外光子的辐射传输方程给出一种光学层析图像的正则化重建方法。通过引入图像熵和局部平滑函数为正则化项克服了重建问题的病态特性。首先阐述了基于辐射传输方程光学层析成像的前向模型，进而提出基于平滑准则的正则化重建方法。重建过程是对目标函数的优化过程。目标函数包括预测值和测量值之间的误差函数和正则化函数两部分。对上述目标函数，采用基于梯度的迭代优化方法。本文提出一种具体的基于梯度树的梯度求解算法。实验表明：该方法与非正则化重建方法相比，可有效降低重建的病态性。提高图像重建质量。     

能量泛函正则化模型在图像恢复中的应用分析

目的 能量泛函正则化模型是图像恢复研究的热点。为使更多工程领域的研究者对正则化技术进行探索和应用,推动不适定问题的研究,对能量泛函正则化模型的进展进行了分析。方法 首先建立图像整体坐标与局部坐标的关系,分析图像恢复正则化模型的基本原理,给出并证明正则化模型各向同性与各向异性扩散定理。然后结合函数空间、图像分解和紧框架,评述能量泛函正则化模型国内外发展现状,并对正则化模型解的适定性进行分析。结果 推导出图像恢复正则化模型扩散基本原理,给出正则化模型通用表达式,讨论正则化模型存在的问题及未来的发展方向。结论 正则化技术在解决图像恢复、修复等反问题起着重要作用。目前,国内外学者对该问题的研究取得了一些成果,但许多理论问题有待进一步研究。     

优化加权TV的复合正则化压缩感知图像重建

目的：压缩感知理论突破了传统的Shanon-Nyquist采样定理的限制,能够以较少的采样值来进行原信号的恢复。针对压缩感知图像重建问题,本文提出了一种基于优化加权全变差（Total Variation, TV）的复合正则化压缩感知图像重建模型。方法：提出的重建模型是以TV正则化模型为基础的。首先,为克服传统TV正则化会导致重建图像的边缘和纹理细节部分模糊或丢失的缺点,本文引入图像的梯度信息估计权重,构建加权TV的重建模型。其次,利用全变差去噪（Rudin–Osher–Fatemi,ROF）模型对权重进行优化估计,从而减少计算权重时受噪声的影响。再次,本文将非局部结构相似性先验和局部自回归性先验引入提出的加权TV模型,得到优化加权TV的复合正则化重建模型。最后,结合投影法和算子分裂法对优化模型求解。结果：针对自然图像的不同特性,本文使用复合正则化先验进行建模,实验表明上述重建问题通过我们的方法得到了很好的解决,加权TV正则化先验使得图像的平坦区域和强边重建较好,而非局部结构相似性先验和局部自回归性先验能够保证图像的精细结构部分的重建效果。结论：本文提出了一种新的复合正则化压缩感知重建模型。与其它基于TV正则化的重建模型相比,实验结果表明本文模型的重建性能无论是在视觉效果还是在客观评价指标上都有明显的提高。     

Hessian optimal design for image retrieval

Recently there has been a considerable interest in active learning from the perspective of optimal experimental design (OED). OED selects the most informative samples to minimize the covariance matrix of the parameters, so that the expected prediction error of the parameters, as well as the model output, can be minimized. Most of the existing OED methods are based on either linear regression or Laplacian regularized least squares (LapRLS) models. Although LapRLS has shown a better performance than linear regression, it suffers from the fact that the solution is biased towards a constant and the lack of extrapolating power. In this paper, we propose a novel active learning algorithm called Hessian optimal design (HOD). HOD is based on the second-order Hessian energy for semi-supervised regression which overcomes the drawbacks of Laplacian based methods. Specifically, HOD selects those samples which minimize the parameter covariance matrix of the Hessian regularized regression model. The experimental results on content-based image retrieval have demonstrated the effectiveness of our proposed approach.     

Nonnegative matrix factorization with Hessian regularizer

Because of the underlying data structure preserved by the manifold regularization term, the Nonnegative matrix factorization (NMF) with manifold regularizer demonstrates an advantage over the variants of NMF for many data analysis tasks. Currently, the Laplacian regularizer is commonly used as the smooth operator to preserve the locality of data space. However, with the Laplacian regularizer, coding vectors are biased to a constant, which leads to a lack of extrapolating power. Thus, the locality of data space cannot be preserved, as would be expected. To address this drawback, a novel variant of NMF, namely HsNMF, is proposed, where the Hessian regularization term is incorporated into the traditional NMF framework. Because Hessian Energy favors the functions whose values vary linearly with respect to the geodesics of the data manifold, the local structure of data space is more effectively preserved. Clustering and classification experimental results on real-world image datasets demonstrate that our proposed NMF is superior to the variants of NMF based on Laplacian Embedding.     

基于有效距离的低秩表示

低秩表示（Low-Rank Representation,LRR）在探索数据中的低维子空间结构方面具有良好的效果,近年来引起了人们的广泛关注。然而,传统的LRR方法通常使用欧氏距离来度量样本的相似性,仅考虑相邻样本两两之间的距离信息,对于具有流形结构的数据往往不能反映其固有的几何结构。最近的研究表明,概率激励距离测量（即有效距离）可以有效地对数据的全局信息进行建模,来度量样本间的相似性。在此基础上,提出了一种基于有效距离的低秩表示模型。该方法用稀疏表示方法计算样本之间的有效距离来构造拉普拉斯矩阵,并将其进行低秩表示拉普拉斯正则化约束,该模型不仅能表示全局低维结构,而且能捕获流形结构数据中的几何结构信息。为了评估方法的有效性,在三个公开数据集上进行了分类实验。实验结果表明,该方法比基于传统欧氏距离的方法,具有更高的分类性能和更强的鲁棒性。     

一种获取正则化参数的新方法

提出了一种获取正则化参数的新方法。利用随机理论解决正则解模糊误差能量期望值最小化问题,确定正则化参数。对正则化算子给定为Laplacian算子的情形予以测试,实验结果表明该文的恢复技术比传统方法的恢复性能好,恢复效果接近最佳且性能稳定。     

基于图学习正则判别非负矩阵分解的人脸识别

基于图正则非负矩阵分解（NMF）算法充分利用了高维数据通常位于一个低维流形空间的假设从而构造拉普拉斯矩阵,但该算法的缺点是构造出的拉普拉斯矩阵是提前计算得到的,并没有在乘性更新过程中对它进行迭代。为了解决这个问题,结合子空间学习中的自表示方法生成表示系数,并进一步计算相似性矩阵从而得到拉普拉斯矩阵,而且在更新过程中对拉普拉斯矩阵进行迭代。另外,利用训练集的标签信息构造类别指示矩阵,并引入两个不同的正则项分别对该类别指示矩阵进行重构。该算法被称为图学习正则判别非负矩阵分解（GLDNMF）,并给出了相应的乘性更新规则和目标函数的收敛性证明。在两个标准数据集上的人脸识别实验结果显示,和现有典型算法相比,所提算法的人脸识别的准确率提升了1% ~ 5%,验证了其有效性。     

Regularized logistic regression without a penalty term: An application to cancer classification with microarray data

Regularized logistic regression is a useful classification method for problems with few samples and a huge number of variables. This regression needs to determine the regularization term, which amounts to searching for the optimal penalty parameter and the norm of the regression coefficient vector. This paper presents a new regularized logistic regression method based on the evolution of the regression coefficients using estimation of distribution algorithms. The main novelty is that it avoids the determination of the regularization term. The chosen simulation method of new coefficients at each step of the evolutionary process guarantees their shrinkage as an intrinsic regularization. Experimental results comparing the behavior of the proposed method with Lasso and ridge logistic regression in three cancer classification problems with microarray data are shown.     

基于形状自适应非局部回归和非局部梯度正则的深度图像超分辨

针对深度图像分辨率低、深度不连续性模糊问题,提出一种基于形状自适应非局部回归和非局部梯度正则的深度图像超分辨方法。为了探究深度图像非局部相似块之间的相关性,提出了形状自适应的非局部回归。该方法对每个像素点提取其形状自适应块,并根据形状自适应块构建目标像素的相似像素组;然后针对相似像素组中的每个像素,结合同场景的高分辨率彩色图像获得非局部权重,从而构建非局部回归先验。为了保持深度图像的边缘信息,对图像梯度的非局部性进行探究。不同于总变分（TV）正则化对所有像素点梯度的零均值拉普拉斯分布假设,该方法利用深度图像梯度的非局部相似性,用非局部块估计特定像素点的梯度均值,并用学习到的均值来拟合各像素点的梯度分布。实验结果表明,相较于基于边缘不一致性评价模型（EIEM）,所提方法在Middlebury数据集上的2倍和4倍上采样率的平均绝对值差（MAD）分别下降了41.1%和40.8%。     

基于拉普拉斯非负稀疏编码的图像分类

针对复杂背景下的图像分类问题,结合非负稀疏编码和局部保持投影算法,提出一种拉普拉斯正则化非负稀疏编码算法。相比于已有的稀疏编码算法,该算法不仅能更好地模拟哺乳动物初级视觉系统主视皮层V1区简单细胞感受野的行为,同时也可使相似的特征经过编码后仍然相似,从而保证特征度量的一致性。将该算法与空间金字塔匹配模型相结合应用于图像分类,在多个图像数据库上的实验结果表明,该算法具有较高的分类精度。     

Semi-supervised learning with regularized Laplacian

We study a semi-supervised learning method based on the similarity graph and regularized Laplacian. We give convenient optimization formulation of the regularized Laplacian method and establish its various properties. In particular, we show that the kernel of the method can be interpreted in terms of discrete and continuous-time random walks and possesses several important properties of proximity measures. Both optimization and linear algebra methods can be used for efficient computation of the classification functions. We demonstrate on numerical examples that the regularized Laplacian method is robust with respect to the choice of the regularization parameter and outperforms the Laplacian-based heat kernel methods.