p范数正则化支持向量机分类算法

L2范数罚支持向量机(Support vector machine,SVM)是目前使用最广泛的分类器算法之一,同时实现特征选择和分类器构造的L1范数和L0范数罚SVM算法也已经提出.但是,这两个方法中,正则化阶次都是事先给定,预设p=2或p=1.而我们的实验研究显示,对于不同的数据,使用不同的正则化阶次,可以改进分类算法的预测准确率.本文提出p范数正则化SVM分类器算法设计新模式,正则化范数的阶次p可取范围为02范数罚SVM,L1范数罚SVM和L0范数罚SVM.     

基于次梯度的L1正则化Hinge损失问题求解研究

Hinge损失函数是支持向量机(support vector machines,SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.     

L1+L2正则化逻辑斯蒂模型分类算法

提出一种L1+L2范数正则化逻辑斯蒂模型分类算法。该算法引入L2范数正则化,解决L1正则化逻辑斯蒂算法迭代过程奇异问题,通过引入样本向量的扩展和新的权值向量完成L1范数非平滑问题,最终使用共轭梯度方法求解经过转化的最优化问题。在各种实际数据集上的实验结果表明,该算法优于L2范数、L1范数和Lp范数正则化逻辑斯蒂模型,具有较好的特征选择和分类性能。     

稀疏Tikhonov正则化多分类支持向量机

Tikhonov正则化多分类支持向量机是一种将多分类问题简化为单个优化问题的新型支持向量机.由于Tikhonov正则化多分类支持向量机利用全部类别数据样本构建核函数矩阵,因此不适合大规模数据集的模式分类问题,鉴于该原因,一种稀疏Tikhonov正则化多分类支持量机被建立,其训练算法首先构建样本重要性评价标准,在标准下通过迭代学习获取约简集,最后利用约简集构建核函数矩阵并训练支持向量机.仿真实验结果表明稀疏Tikhonov正则化多分类支持向量机在训练速度和稀疏性方面具有很大的优越性.     

基于正则化Softmax回归的全脑功能性磁共振成像数据特征选择框架*

针对功能性磁共振成像(fMRI)数据高维小样本特性给分类模型带来的过拟合问题,文中基于Softmax回归提出结合L2正则与L1正则的全脑fMRI数据特征选择框架.首先,基于大脑认知的特点,将全脑分成感兴趣区域和非感兴趣区域.然后,使用可以缩小权值系数的L2正则对感兴趣区域建模以选出感兴趣区域的全部体素,使用具有稀疏作用的L1正则对非感兴趣区域建模以选出非感兴趣区域中的激活体素.最后,结合感兴趣区域和非感兴趣区域的体素构成全脑fMRI数据的正则化Softmax回归模型.在Haxby数据集上的实验表明,L2与L1的正则化策略可有效提升全脑分类的准确率.     

迭代再权共轭梯度q范数正则化线性最小二乘–支持 向量机分类算法

L2范数罚最小二乘–支持向量机(least square support vector machine algorithm,LS–SVM)分类器是得到广泛研究和使用的机器学习算法,其算法中正则化阶次是事先给定的,预设q=2.本文提出q范数正则化LS–SVM分类器算法,0q∞,把q取值扩大到有理数范围.利用网格法改变正则化权衡参数c和正则化阶次q的值,在所选的c和q值上,使用迭代再权方法求解分类器目标函数,找出最小分类预测误差值,使预测误差和特征选择个数两个性能指标得到提高.通过对不同领域的实际数据进行实验,可以看到提出的分类算法分类预测更加准确同时可以实现特征选择,性能优于L2范数罚LS–SVM.     

双正则化参数的L_2-SVM参数选择

寻找支持向量机(SVM)的最优参数是支持向量机研究领域的热点之一。2范数软间隔SVM(L2-SVM)将样本转化成线性可分,在原始单正则化参数L2-SVM的基础上,提出双正则化参数的L2-SVM,获得它的对偶形式,从而确定了最优化的目标函数。然后结合梯度法,提出了一种新的支持向量机参数选择的新方法(Doupenalty-Gradient)。实验使用了10个基准数据集,结果表明,Doupenalty-Gradient方法是可行且有效的。对于实验所用的样本,极大地改善了分类精度。     

混合l2/l1/2范数的局部组稀疏表示方法

当前基于稀疏表示的行人再识别都是通过松弛l₀正则项为l₁正则项以达到逼近l₀范数稀疏性的目的.在满足有限等距性质(RIP)条件下,l₁和l₀具有等价性,然而在具有杂乱背景、物体遮挡等众多干扰因素的行人再识别任务中,却很难满足RIP条件.因此,文中提出混合l₂/l_1/2范数的组稀疏表示方法,通过将gallery集中同一行人图像序列视为一组,利用l₂范数约束组内结构,l_1/2范数约束组间结构,对遮挡和杂乱背景等干扰因素具有更高的鲁棒性.为了进一步增强模型的判别性,引入人体结构约束,将行人图像划分为若干近邻块区域,针对每一区域分别构造适应性的混合l₂/l_1/2范数的组稀疏模型,最终融合全部稀疏模型得出再识别结果.在当前具有挑战性的2个多行人图像序列数据集PRID 2011和iLIDS-VID上的实验验证文中方法的有效性.     

林业运动模糊图像复原的融合正则化方法

林业机器人在林业环境中进行作业时,很容易因为滑动、地面障碍物的碰撞等原因发生小幅的无规律运动导致机器人相机采集的图像发生运动模糊,对后续图像信息提取造成很大的影响。针对这一问题,提出了林业运动模糊图像复原的融合正则化方法。先建立包含[L1/L2]范数正则项的代价函数,求解运动模糊核。再通过图像梯度先验正则项及稀疏正则项构建代价函数,对清晰图像求解。引入的[L1/L2]范数正则项及图像梯度先验正则项对稀疏表示正则项容易产生块效应的问题进行了弥补,因而获得了令人满意的效果。对人工合成的运动模糊图像和自然条件下真实运动模糊图像进行的实验验证了该算法的有效性。     

结构稀疏模型及其算法研究进展

结构稀疏模型在统计学、信号处理和机器学习等领域中具有重要的应用。结构稀疏模型主要通过在目标函数中引入会导致组稀疏效果的罚函数来实现特征组结构选择。有趣的是一些组稀疏模型不仅能实现特征组选择,而且同时能够实现组内的特征选择。根据使用的罚函数的类型,结构稀疏模型主要分为组套索模型和非凸罚组稀疏模型两大类。系统地总结了重要的组结构稀疏模型,分析了各种组结构稀疏模型之间的区别与联系,归纳比较了各种组结构稀疏模型的统计特性(例如模型选择一致性、参数估计一致性和oracle性质)和组结构稀疏模型的求解算法。当前,结构套索模型主要包括普通组套索模型、L∞,1组套索模型、重叠组套索模型、树组套索模型、多输出树组套索模型、混合组套索模型、自适应组套索模型、逻辑斯蒂组套索模型和贝叶斯组套索模型。非凸罚组稀疏模型包括组SCAD罚模型、组桥模型和组MC罚模型等。求解组稀疏模型的算法有组最小角回归算法、块坐标下降(上升)算法、活动集算法、内点算法、投影梯度算法、谱投影梯度算法、轮换方向乘子算法和块坐标梯度下降算法等,结合组稀疏模型对这些算法进行了详细的分析。在使用上述优化方法前,通常需要对目标函数进行预处理,将不平滑的、非凸的、块坐标不可分离的组稀疏模型的目标函数向平滑、凸、块坐标可分离的方向进行转化,这一步常利用的技巧有变分不等式、Neste-rov的平滑近似技巧、局部一阶泰勒展开近似、局部二次近似、对偶范数和对偶函数等。接着给出了最新提出的一些组稀疏模型,如关于广义加模型的组套索模型、复合组桥模型、平方根组套索模型和关于Tobit模型的组套索模型等。最后,对组稀疏模型未来的研究方向进行了探讨。     

稀疏化的因子分解机

因子分解机（简称为FM）是最近被提出的一种特殊的二阶线性模型,不同于一般的二阶模型,FM对二阶项系数进行了分解,这种特殊的结构使得FM特别适用于高维且稀疏的数据。虽然FM在推荐系统领域已获得了应用,但FM本身并未显式考虑变量的稀疏性,特别当变量中包含结构稀疏信息时。因此,FM的二阶特征结构使其特征选择时应当满足这样一种性质,即涉及同一个特征的线性项和二阶项要么同时被选要么同时不被选,当该特征是噪音时,应当同时不被选,而当该特征是重要变量时,应当同时被选。考虑到这种结构特性,本文提出了一种基于稀疏组Lasso的因子分解机（SGL-FM）,通过添加稀疏组Lasso的正则项,不仅实现了组间稀疏,还实现了组内稀疏。从另一个角度看,组内稀疏也相当于对因子分解的维度k进行了控制,使其能根据数据的不同而自适应地调整维度k。实验结果表明,本文提出的方法在保证了相当精度甚至更优精度的情况下,获得了比FM更稀疏的模型。     

结合组稀疏效应和多核学习的图像标注

图像中存在的纹理、颜色和形状等异构视觉特征,在表示特定高层语义时所起作用的重要程度不同,为了在图像标注过程中更加有效地利用这些异构特征,提出了一种基于组稀疏(group sparsity)的多核学习方法(multiple kernel learning with group sparsity,简称MKLGS),为不同图像语义选择不同的组群特征.MKLGS先将包含多种异构特征的非线性图像数据映射到一个希尔伯特空间,然后利用希尔伯特空间中的核函数以及组LASSO(groupLASSO)对每个图像类别选择最具区别性特征的集合,最终训练得到分类模型对图像进行标注.通过与目前其他图像标注算法进行对比,实验结果表明,基于组稀疏的多核学习方法在图像标注中能取得很好的效果.     

基于鉴别稀疏保持嵌入的人脸识别算法

鉴于近年来稀疏表示（Sparse representation,SR）在高维数据例如人脸图像的特征提取与降维领域的快速发展,对原始的稀疏保持投影（Sparsity preserving projection,SPP）算法进行了改进,提出了一种叫做鉴别稀疏保持嵌入（Discriminant sparsity preserving embedding,DSPE）的算法. 通过求解一个最小二乘问题来更新SPP中的稀疏权重并得到一个更能真实反映鉴别信息的鉴别稀疏权重,最后以最优保持这个稀疏权重关系为目标来计算高维数据的低维特征子空间.该算法是一个线性的监督学习算法,通过引入鉴别信息,能够有效地对高维数据进行降维. 在ORL库、Yale库、扩展Yale B库和CMU PIE库上的大量实验结果验证了算法的有效性.     

通用稀疏多核学习

针对L1范数多核学习方法产生核权重的稀疏解时可能会导致有用信息的丢失和泛化性能退化,Lp范数多核学习方法产生核权重的非稀疏解时会产生很多冗余信息并对噪声敏感,提出了一种通用稀疏多核学习方法。该算法是基于L1范数和Lp范数(p>1) 混合的网状正则化多核学习方法,不仅能灵活的调整稀疏性,而且鼓励核权重的组效应,L1范数和Lp范数多核学习方法可以认为是该方法的特例。该方法引进的混合约束为非线性约束,故对此约束采用二阶泰勒展开式近似,并使用半无限规划来求解该优化问题。实验结果表明,改进后的方法在动态调整稀疏性的前提下能获得较好的分类性能,同时也支持组效应,从而验证了改进后的方法是有效可行的。     

压缩感知下溃疡性结肠炎辅助诊断

目的 长期感染溃疡性结肠炎（ulcerative colitis,UC）的患者罹患结肠癌的风险显著提升,因此早期进行结肠镜检测十分必要,但内窥镜图像数量巨大且伴有噪声干扰,需要找到精确的图像特征,为医师提供计算机辅助诊断。为解决UC图像与正常肠道图像的分类问题,提出了一种基于压缩感知和空间金字塔池化结合的图像特征提取方法。方法 使用块递归最小二乘（block recursive least squares,BRLS）进行初始字典训练。提出基于先验知识进行观测矩阵与稀疏字典的交替优化算法,并利用压缩感知框架获得图像的稀疏表示,该框架改善了原来基于稀疏编码的图像分类方法无法精确表示图像的问题,然后结合最大空间金字塔池化方法提取压缩感知空间金字塔池化（compressed sensing spatial pyramid pooling,CSSPP）图像特征,由于压缩感知的引入,获得的图像特征比稀疏编码更加丰富和精确。最后使用线性核支持向量机（support vector machine,SVM）进行图像分类。结果 对Kvasir数据集中的2 000幅真实肠道图像的分类结果表明,该特征的准确率比特征袋（bag of features,BoF）、稀疏编码空间金字塔匹配（sparse coding spatial pyramid matching,SCSPM）和局部约束线性编码（locality-constrained linear coding,LLC）分别提升了12.35%、3.99%和2.27%。结论 本文提出的溃疡性结肠炎辅助诊断模型,综合了压缩感知和空间金字塔池化的优点,获得了较对比方法更加精确的识别感染图像检测结果。     

结合DCGAN与LSTM的阿兹海默症分类算法

针对传统的阿兹海默症（AD）分类3D模型参数过多以及2D模型缺乏连续性特征的问题,提出了一种结合2D卷积神经网络与长短时记忆网络的脑部核磁共振成像（MRI）图像分类算法。利用深度卷积生成对抗网络（DCGAN）,卷积层能够在无标签的情况下自动提取到图像特征。首先以无监督的方式训练卷积神经网络;然后将MRI图像序列转换为特征序列,再输入到长短时记忆网络进行训练;最后结合特征序列与LSTM的隐藏状态进行分类。实验结果显示,相比3D模型,该算法有着更少的参数,对于NC与AD的分类达到了93.93%的准确率,对于NC与MCI的分类达到了86.27%的准确率。     

结合稀疏先验与多模式分解的低秩张量恢复方法

目的 各类终端设备获取的大量数据往往由于信息丢失而导致数据不完整,或经常受到降质问题的困扰。为有效恢复缺损或降质数据,低秩张量补全备受关注。张量分解可有效挖掘张量数据的内在特征,但传统分解方法诱导的张量秩函数无法探索张量不同模式之间的相关性;另外,传统张量补全方法通常将全变分约束施加于整体张量数据,无法充分利用张量低维子空间的平滑先验。为解决以上两个问题,提出了基于稀疏先验与多模式张量分解的低秩张量恢复方法。方法 在张量秩最小化模型基础上,融入多模式张量分解技术以及分解因子局部稀疏性。首先对原始张量施加核范数约束,以此捕获张量的全局低秩性,然后,利用多模式张量分解将整体张量沿着每个模式分解为一组低维张量和一组因子矩阵,以探索不同模式之间的相关性,对因子矩阵施加因子梯度稀疏正则化约束,探索张量子空间的局部稀疏性,进一步提高张量恢复性能。结果 在高光谱图像、多光谱图像、YUV（也称为YCbCr）视频和医学影像数据上,将本文方法与其他8种修复方法在3种丢失率下进行定量及定性比较。在恢复4种类型张量数据方面,本文方法与深度学习GP-WLRR方法（global prior refined weighted low-rank representation）的修复效果基本持平,本文方法的MPSNR（mean peak signal-to-noise ratio）在所有丢失率及张量数据上的总体平均高0.68dB,MSSIM（mean structural similarity）总体平均高0.01;与其他6种张量建模方法相比,本文方法的MPSNR及MSSIM均取得最优结果。结论 提出的基于稀疏先验与多模式张量分解的低秩张量恢复方法,可同时利用张量的全局低秩性与局部稀疏性,能够对受损的多维视觉数据进行有效修复。     

基于群稀疏的结构化字典学习

随着稀疏表示在机器学习和图像处理领域中的广泛应用,字典学习的算法受到越来越多的关注。传统意义上训练出来的字典只是一些原子的集合,没有结构。考虑到稀疏表示信号中群结构的稀疏性,建立了基于群稀疏的结构化字典学习的数学模型,并结合凸分析和单调算子理论提出了一个结构化字典学习的有效算法。实验结果表明,该算法具有更快的收敛速度,新模型训练出来的字典能够更好地适应数据,提高表示数据的精度,进而提高图像增强的效果。     

基于核稀疏保持投影的典型相关分析算法

模式识别的技术核心就是特征提取,而特征融合则是对特征提取方法的强力补充,对于提高特征的识别效率具有重要作用。本文基于稀疏表示方法,将稀疏表示方法用到高维度空间,并利用核方法在高维度空间进行稀疏表示,用其计算核稀疏表示系数,同时研究了核稀疏保持投影算法(Kernel sparsity preserve projection,KSPP)。将KSPP引入到典型相关分析算法(Canonical correlation analysis,CCA),研究了基于核稀疏保持投影的典 型相关分析算法(Kernel sparsity preserve canonical correlation analysis,K-SPCCA)。在多特征手写体数据库和人脸图像数据库上分别证实了本文提出方法的可靠性和有效性 。