流形与成对约束联合正则化半监督分类方法

半监督学习方法主要通过学习少量标记样本和大量未标记样本知识来提高学习效果,然而目前许多半监督方法注重在未标记样本的利用上深耕,忽略了对标记样本等监督信息的继续研究。鉴于此,结合流形正则化框架提出了一种流形与成对约束联合正则化半监督分类方法(semi-supervised classification method based on joint regularization of manifold and pairwise constraints,SSC-JRMPC)。SSC-JRMPC从两个方面进行研究:一方面该方法继承了流形正则化框架中的特点,将经验风险和结构风险最小化,以及对整个数据的内在数据分布进行运用;另一方面,通过将样本标签转化为成对约束的形式,并把这些扩展的知识并入到目标公式中来进一步探索监督信息包含的知识,一定程度上提高了SSC-JRMPC算法的分类准确性。通过在真实数据集上的实验,验证了上述优点。     

流形正则化约束的图像语义分割

目的 在基于深度学习的图像语义分割方法中,损失函数通常只考虑单个像素点的预测值与真实值之间的交叉熵并对其进行简单求和,而引入图像像素间的上下文信息能够有效提高图像的语义分割的精度,但目前引入上下文信息的方法如注意力机制、条件随机场等算法需要高昂的计算成本和空间成本,不能广泛使用。针对这一问题,提出一种流形正则化约束的图像语义分割算法。方法 以经过数据集ImageNet预训练的残差网络(residual network, ResNet)为基础,采用DeepLabV3作为骨架网络,通过骨架网络获得预测分割图像。进行子图像块的划分,将原始图像和分割图像分为若干大小相同的图像块。通过原始图像和分割图像的子图像块,计算输入数据与预测结果所处流形曲面上的潜在几何约束关系。利用流形约束的结果优化分割网络中的参数。结果 通过加入流形正则化约束,捕获图像中上下文信息,降低了网络前向计算过程中造成的本征结构的损失,提高了算法精度。为验证所提方法的有效性,实验在Cityscapes和PASCAL VOC 2012(pattern analysis, statistical modeling and computational learning visual object classes)两个数据集上进行。在Cityscapes数据集中,精度值为78.0%,相比原始网络提高了0.5%;在PASCAL VOC 2012数据集中,精度值为69.5%,相比原始网络提高了2.1%。同时,在Cityscapes数据集中进行对比实验,验证了算法的有效性,对比实验结果证明提出的算法改善了语义分割的效果。结论 本文提出的语义分割算法在不提高推理网络计算复杂度的前提下,取得了较好的分割精度,具有极大的实用价值。     

基于流形正则化的支持向量回归及应用

利用流形正则化的思想,围绕半监督学习,提出了一种针对回归问题的新算法。该算法基于流形上的正则化项和传统的正则化项相结合的方法,利用支持向量机回归已有的结果,解决半监督学习的回归问题,提高了泛化能力。通过数值试验,验证了该算法具有较好的泛化能力,对噪音具有较强的鲁棒性,与支持向量回归相比,具有更高的学习精度。     

基于流形正则化的文档分类算法研究

基于流形正则化框架提出一种分类算法(MI_I}RI_SC),以解决高维文档分类问题。该算法通过构建训练样本的最近部图来佑计数据空间的几何结构并将其作为流形正则化项,结合多变量线性回归获得高维文档的低维流形结构,并采用k近部分类器对低维流形进行分类,得到针对多类问题的分类器。该算法能够充分利用训练样本的类别信息来帮助学习以提取有效特征。通过在Rcutcrs 21578数据集上的实验,证明该算法的分类性能和运行速度比传统分类器有较大的提高。     

基于流形正则化极限学习机的文本分类算法研究

基于极限学习机的文本分类方法在对输入的文本特征进行随机映射时,会呈现一种非线性的几何结构,利用最小二乘法无法对其进行求解,影响文本的分类性能。为此,引入一种新的流形正则化思想,提出基于极限学习机的改进算法。利用拉普拉斯特征映射保持输入文本特征的几何结构。基于样本的类别信息对样本点之间的距离进行修正,优先选择类别相同的样本点,以改善分类性能。在Reuters和20newsgroup数据集上的实验结果表明,与正则化极限学习机算法、AdaBELM算法等相比,该算法分类性能较好,F1-measure值可达91.42%。     

基于流形正则化的分类与回归算法及应用

利用流形正则化的思想,围绕半监督学习,提出了一种针对流形正则化的模式分类和回归分析的新算法.该算法基于流形上的正则化项和传统的正则化项相结合的方法,利用支持向量机分类与回归已有的结果,解决半监督学习的分类与回归问题,提高了泛化能力.该算法实现简单,无需调用其他程序.通过数值试验,验证了该算法具有较好的泛化能力,对噪音具有较强的鲁棒性.且在分类问题上,该算法在输入极少数有标签样本时,也能保持较好的分类效果;在回归问题上,也具有较好的学习精度,尤其在输入带有噪音的流形数据上时,表现就更为突出.     

基于改进流形正则化随机配置网络的软测量

为提高复杂工业过程中某些关键参数的预测精度,提出一种基于改进流形正则化随机配置网络(improved manifold regularization stochastic configuration networks, IMRSCNs)的软测量建模方法。该方法首先采用基于迁移学习的特征提取思路,集成最大方差、协方差分布差异和最大均值差异获取特征变换矩阵,将训练集和测试集的特征信息投影到一个公共子空间。进一步将子空间的训练集数据输入带有流形正则化的随机配置网络中,训练网络模型,以保持数据在原特征空间的几何结构。通过多组实验结果表明,相较于原始随机配置网络(stochastic configuration networks, SCNs),所提的改进流形正则化SCNs模型拥有更高的预测精度和更好的泛化性能。     

基于干净数据的流形正则化非负矩阵分解

现有的非负矩阵分解（NMF）算法往往基于欧氏距离来设计目标函数,对噪声比较敏感。为了增强算法的鲁棒性,提出一种基于干净数据的流形正则化非负矩阵分解（MRNMF/CD）算法。在MRNMF/CD算法中,把低秩约束、流形正则化和NMF技术无缝地融为一体,使算法性能较为优异。首先,通过添加低秩约束,MRNMF/CD可以从噪声数据中恢复干净数据,并获得数据的全局结构;其次,为了利用数据的局部几何结构信息,MRNMF/CD把流形正则化融入目标函数中。此外,还提出了一种求解MRNMF/CD的迭代算法,并从理论上分析了该求解算法的收敛性。在ORL、Yale和COIL20数据集上的实验结果表明,MRNMF/CD算法比现有的k-means、主成分分析（PCA）、NMF和图正则化非负矩阵分解（GNMF）算法具有更好的识别准确性。     

流形正则化的交叉一致性语义分割算法

目的 为有效解决半监督及弱监督语义分割模型中上下文信息缺失问题,在充分考虑模型推理效率的基础上,提出基于流形正则化的交叉一致性语义分割算法。方法 首先,以交叉一致性训练模型作为骨架网络,通过骨架网络获得预测分割图像。其次,对输入域图像和输出域图像进行子图像块划分,以获取具有相同几何结构的数据对。再次,通过原始图像和分割图像的子图像块,计算输入数据与预测结果所处流形曲面上的潜在几何约束关系,并根据不同的训练方式分别设计半监督及弱监督的正则化算法。最后,利用流形约束的结果进一步优化图像分割网络中的参数,并通过反复迭代使半监督或弱监督的语义分割模型达到最优。结果 通过加入流形正则化约束,捕获了图像中上下文信息,降低了网络前向计算过程中造成的本征结构的损失,在不改变网络结构的前提下提高了算法精度。为验证算法的有效性,实验分别在半监督和弱监督两种不同类型的语义分割中进行了对比,在PASCAL VOC 2012(pattern analysis, statistical modeling and computational learning visual object classes 2012)数...     

一种基于全局和局部特征匹配的流形对齐算法

不同流形样本点之间的关联性挖掘是决定流形对齐算法效率的关键问题。提出了一种新的思路,利用测地距离初步构造不同流形样本点之间的关联性,再利用样本点之间局部几何结构的相似性进行修正,以更为准确地挖掘不同流形样本点之间的关联性。进一步提出一种新的半监督流形对齐算法,利用已知对应点信息和所挖掘样本点之间的关联性,将多个流形数据投影到共同的低维空间。与传统的半监督流形对齐算法相比,本算法在先验信息不充分的情况下,能更准确地联结不同流形数据集。最后通过在实际数据集上的实验验证了算法的有效性。     

基于可变损失和流形正则化的生成对抗网络

针对生成对抗网络中鉴别器在少量标记样本上的分类精度较差以及对流形局部扰动的鲁棒性不足的问题,提出一种基于可变损失和流形正则化的生成对抗网络算法。当标记样本较少时,该算法在鉴别器中利用可变损失代替原有对抗损失以解决训练前期分类性能较差的鉴别器对半监督分类任务的不利影响。此外,在鉴别器可变损失的基础上加入流形正则项,通过惩罚鉴别器在流形上分类决策的变化提高鉴别器对局部扰动的鲁棒性。以生成样本的质量和半监督的分类精度作为算法的评价标准,并在数据集SVHN和CIFAR-10上完成了数值实验。与其他半监督算法的对比结果表明,该算法在使用少量带标记数据的情况下能得到质量更高的生成样本和精度更高的分类结果。     

带空间约束的邻域中值加权FCM图像分割算法

在聚类分析过程中,欧氏距离是最为常用的距离度量方法,而传统的基于欧氏距离的图像分割方法没有综合考虑空间信息和邻域特征等因素。提出了一种用邻域中值加权欧氏距离替代欧氏距离的度量方法,同时植入像素空间约束信息,这样可以利用更多的图像空间信息来改善图像分割质量。通过对多幅图像的分割实验结果表明,与已有的算法相比,本算法不仅能提升图像分割效果,具有更好的噪声抵抗性,同时能加速算法的收敛速度,从而提高了分割效率。     

基于流形距离的半监督近邻传播聚类算法*

通过学习数据集的低维流形结构,给出一种流形距离测度;结合成对约束信息,调整数据的相似度矩阵,将其作为近邻传播算法的输入,提出了基于流形距离的半监督近邻传播聚类算法（SAP-MD）。通过在UCI标准数据集上的仿真实验表明,SAP-MD算法相比于仅利用成对约束信息的聚类算法,在聚类性能上有很大提高。     

基于空间结构的图像特征匹配算法

图像二进制特征描述器比浮点数特征描述器存储容量小、计算速度更快。在对常用二进制特征描述器进行分析的基础上,利用图像特征点之间的空间结构信息改进FREAK描述器的采样模式,提出MPFREAK描述器,提高特征描述能力;针对特征匹配时最近邻算法运行较慢的缺点,改进LSH算法,减少候选集列表空间,提出了海明空间的二进制特征快速匹配算法MLSH。实验表明,MPFREAK描述器描述能力优于其他算法,特征匹配算法效果明显、速度更快。     

Pointwise manifold regularization for semi-supervised learning

Manifold regularization(MR)provides a powerful framework for semi-supervised classification using both the labeled and unlabeled data.It constrains that similar instances over the manifold graph should share similar classification out-puts according to the manifold assumption.It is easily noted that MR is built on the pairwise smoothness over the manifold graph,i.e.,the smoothness constraint is implemented over all instance pairs and actually considers each instance pair as a single operand.However,the smoothness can be pointwise in nature,that is,the smoothness shall inherently occur“everywhereto relate the behavior of each point or instance to that of its close neighbors.Thus in this paper,we attempt to de-velop a pointwise MR(PW_MR for short)for semi-supervised learning through constraining on individual local instances.In this way,the pointwise nature of smoothness is preserved,and moreover,by considering individual instances rather than instance pairs,the importance or contribution of individual instances can be introduced.Such importance can be described by the confidence for correct prediction,or the local density,for example.PW.MR provides a different way for implementing manifold smoothness Finally,empirical results show the competitiveness of PW_MR compared to pairwise MR.     

基于改进流形距离K-medoids算法

针对空间分布复杂的数据以及空间分布未知的现实数据聚类问题,设计了一种改进流形距离作为不相似测度。该不相似测度可有效利用所有数据点之间的全局一致性,挖掘无类属数据集的空间分布信息。通过使用该不相似测度,提出了基于改进流形距离K-medoids算法。将新算法与基于已有的流形距离和基于欧氏距离的K-medoids算法进行性能比较,对八个人工数据集以及USPS手写体数字识别问题的实验结果表明:新算法针对不同结构的测试数据集,在聚类性能上均优于或接近于另外两种K-medoids算法,并且对于各种分布的,无论简单或复杂,凸或者非凸的数据都可以进行聚类。     

基于空间关系几何约束的无人机景象匹配导航*

针对GPS的信号强度较弱、易受各种电磁干扰,提出一种基于空间关系几何约束的景象匹配导航算法。首先基于空间关系几何约束的多匹配区选择方法,将实时图划分为多个分区;然后采用基于边缘响应的加权Hausdorff距离景象匹配算法对各个匹配区进行定位计算;最后,通过最优配准点坐标估计策略,解算出无人机实时图中心在基准图上的精确定位坐标。多区域景象匹配采用并行计算方法,利用历史导航信息来辅助修正景象匹配导航误差。实验结果表明,该算法可较好地满足无人机对景象匹配导航算法实时性、精确性的性能要求。