基于Nystrm低阶近似的半监督流形排序图像检索

实际图像检索过程中,用户提供的相关反馈有限,但存在大量未标记图像数据.本文在前期半监督流形图像检索工作的基础上,提出一种基于Nystr¨om低阶近似的半监督流形排序图像检索方法.通过采用半监督的流形正则化框架,将图像数据嵌入到低维流形结构中进行分类排序,以充分利用大量未标记数据,并兼顾分类误差、数据分布的几何结构以及分类函数的复杂性.针对半监督学习速度缓慢的问题,基于Nystrm低阶近似对学习过程进行加速.在较大规模的Corel图像数据集上进行了检索实验,实验结果表明该方法能获得较好的效果.     

基于Log-Gabor小波和二维半监督判别分析的人脸图像检索*

针对光照、表情变化给人脸识别造成的影响以及大型人脸图像库的训练样本中只有部分标记的问题,结合多通道Log-Gabor小波和半监督流形学习算法,提出一种新的人脸图像检索方法。该方法首先使用Log-Ga-bor小波对人脸图像进行滤波获得特征矩阵,进一步利用提出的二维半监督流形学习算法进行维数约简,得到低维判别特征。由于该方法直接作用于Log-Gabor特征矩阵,克服了小样本带来的奇异问题;另外,通过充分利用标记和未标记信息,还保留了数据的局部流形结构,增强了特征匹配的相似性。在CMU PIE和AR人脸数据库上的实验结果表明,该方法有效且优于其他方法。     

基于Grassmann流形的半监督图像集鉴别分析

提出了基于Grassmann流形的半监督图像集鉴别分析方法。该方法将子空间表示成Grassmann流形上的点,分别用一组单位正交基表示。通过Grassmann核函数,度量子空间的相似度。不同于其他基于Grassmann流形的图像集鉴别分析,引入图嵌入框架,通过保持数据局部邻域结构的同时,最大化不同类别数据的距离,得到最优投影矩阵,并在投影空间中进行图像集分类。采用半监督学习,对于未标记样本,根据其最近邻类别进行估计。实验表明,该方法取得了优于其他图像集识别算法的效果。     

流形与成对约束联合正则化半监督分类方法

半监督学习方法主要通过学习少量标记样本和大量未标记样本知识来提高学习效果,然而目前许多半监督方法注重在未标记样本的利用上深耕,忽略了对标记样本等监督信息的继续研究。鉴于此,结合流形正则化框架提出了一种流形与成对约束联合正则化半监督分类方法(semi-supervised classification method based on joint regularization of manifold and pairwise constraints,SSC-JRMPC)。SSC-JRMPC从两个方面进行研究:一方面该方法继承了流形正则化框架中的特点,将经验风险和结构风险最小化,以及对整个数据的内在数据分布进行运用;另一方面,通过将样本标签转化为成对约束的形式,并把这些扩展的知识并入到目标公式中来进一步探索监督信息包含的知识,一定程度上提高了SSC-JRMPC算法的分类准确性。通过在真实数据集上的实验,验证了上述优点。     

基于半监督学习的JPEG图像通用隐写检测方法

目前,JPEG图像的通用隐写检测是基于监督学习的,其关键技术包括图像特征提取和分类器的设计.首次提出了运用半监督学习中的EM算法来进行分类器的设计,该方法利用大量未标记样本辅助少量有标记样本进行分类器的学习.针对经典的JPEG隐写方法:Outguess和F5,用监督学习与文中半监督学习方法进行实验对比,结果表明,在缺少大量标记样本的情况下,文中方法能得到较好的分类性能,从而提高了JPEG图像通用隐写检测方法的实用性.     

一种偏好于查询子流形的半监督图像检索算法

在基于反馈的图像检索中,由于被用户标记为相关和不相关的图像数较少,使得检索问题变成了一个典型的小样本问题.流形可表达数据在低维空间中的内在几何结构,流形正则化的目的是利用这种几何结构来约束解空间,以使最优解能反映数据本身的几何分布.为了解决反馈检索中的小样本问题,本文在流形正则化框架下提出一个新的半监督图像检索算法.在新算法中,流形正则化项只依赖于文中定义的查询子流形,而不依赖于数据集的全局结构.在两个图像集上的实验结果对比表明,本文提出的新算法在检索效果上优于现有的4种state-of-the-art算法.     

基于自然邻居流形排序图像检索技术研究

流形排序算法被广泛地应用到半监督学习领域中,然而其性能紧紧依赖于底层图结构。首先,本文提出了一种全新的图结构—自然邻居图,并阐述了其构造方法。然后,将这种图结构应用到基于流形排序的图像检索框架下,同基于k-NN的图像检索算法相比,最大优势是此算法不需要提前指定参数k。最后,实验证明了基于本文提出的自然邻居图的流形排序算法的效果优于基于k-NN图的流形排序算法。     

结合Tri-training半监督学习和凸壳向量的SVM主动学习算法*

为解决监督学习过程中难以获得大量带有类标记样本且样本数据标记代价较高的问题,结合主动学习和半监督学习方法,提出基于Tri-training半监督学习和凸壳向量的SVM主动学习算法.通过计算样本集的壳向量,选择最有可能成为支持向量的壳向量进行标记.为解决以往主动学习算法在选择最富有信息量的样本标记后,不再进一步利用未标记样本的问题,将Tri-training半监督学习方法引入SVM主动学习过程,选择类标记置信度高的未标记样本加入训练样本集,利用未标记样本集中有利于学习器的信息.在UCI数据集上的实验表明,文中算法在标记样本较少时获得分类准确率较高和泛化性能较好的SVM分类器,降低SVM训练学习的样本标记代价.     

基于交叉熵的安全Tri-training算法

半监督学习方法通过少量标记数据和大量未标记数据来提升学习性能.Tri-training是一种经典的基于分歧的半监督学习方法,但在学习过程中可能产生标记噪声问题.为了减少Tri-training中的标记噪声对未标记数据的预测偏差,学习到更好的半监督分类模型,用交叉熵代替错误率以更好地反映模型预估结果和真实分布之间的差距,并结合凸优化方法来达到降低标记噪声的目的,保证模型效果.在此基础上,分别提出了一种基于交叉熵的Tri-training算法、一个安全的Tri-training算法,以及一种基于交叉熵的安全Tri-training算法.在UCI(University of California Irvine)机器学习库等基准数据集上验证了所提方法的有效性,并利用显著性检验从统计学的角度进一步验证了方法的性能.实验结果表明,提出的半监督学习方法在分类性能方面优于传统的Tri-training算法,其中基于交叉熵的安全Tri-training算法拥有更高的分类性能和泛化能力.     

结合均值漂移的基于图的半监督图像分类

针对基于图的半监督流形正则化图像分类算法需要大量无标记样本训练分类器,空间和时间复杂度高,甚至不能处理大规模图像,且对背景或目标复杂的图像分类错误率较高的问题,提出了结合均值漂移（mean shift）的基于图的半监督流形正则化图像分类算法。该方法对基于图的半监督流形正则化分类算法的改进主要体现在两方面,首先是通过mean shift算法对图像进行了平滑,以平滑后的图像作为分类对象;其次不是利用所有无标记样本,而是只采用少量无标记样本。实验结果表明:图像的平滑使得目标和背景区域的特征更为一致,从而利用较少的样本就可以提高分类器的正确率;同时大大降低了算法的复杂度,使得基于图的半监督分类算法用于分类大规模图像成为可能。     

Semi-supervised classification framework of hyperspectral images based on the fusion evidence entropy

Increasing attention is being paid to the classification of ground objects using hyperspectral spectrometer images. A key challenge of most hyperspectral classifications is the cost of training samples. It is difficult to acquire enough effective marked label sets using classification model frameworks. In this paper, a semi-supervised classification framework of hyperspectral images is proposed to better solve problems associated with hyperspectral image classification. The proposed method is based on an iteration process, making full use of the small amount of labeled data in a sample set. In addition, a new unlabeled data trainer in the self-training semi-supervised learning framework is explored and implemented by estimating the fusion evidence entropy of unlabeled samples using the minimum trust evaluation and maximum uncertainty. Finally, we employ different machine learning classification methods to compare the classification performance of different hyperspectral images. The experimental results indicate that the proposed approach outperforms traditional state-of-the-art methods in terms of low classification errors and better classification charts using few labeled samples.     

基于半监督学习的增量图像分类方法

为有效使用大量未标注的图像进行分类,提出一种基于半监督学习的图像分类方法。通过共同的隐含话题桥接少量已标注的图像和大量未标注的图像,利用已标注图像的Must-link约束和Cannot-link约束提高未标注图像分类的精度。实验结果表明,该方法有效提高Caltech-101数据集和7类图像集约10%的分类精度。此外,针对目前绝大部分半监督图像分类方法不具备增量学习能力这一缺点,提出该方法的增量学习模型。实验结果表明,增量学习模型相比无增量学习模型提高近90%的计算效率。关键词半监督学习,图像分类,增量学习中图法分类号TP391。41IncrementalImageClassificationMethodBasedonSemi-SupervisedLearningLIANGPeng^1,2,LIShao-Fa²,QINJiang-Wei²,LUOJian-Gao³¹(SchoolofComputerScienceandEngineering,GuangdongPolytechnicNormalUniversity,Guangzhou510665)²(SchoolofComputerScienceandEngineering,SouthChinaUniversityofTechnology,Guangzhou510006)³(DepartmentofComputer,GuangdongAIBPolytechnicCollege,Guangzhou510507)ABSTRACTInordertouselargenumbersofunlabeledimageseffectively,animageclassificationmethodisproposedbasedonsemi-supervisedlearning。Theproposedmethodbridgesalargeamountofunlabeledimagesandlimitednumbersoflabeledimagesbyexploitingthecommontopics。Theclassificationaccuracyisimprovedbyusingthemust-linkconstraintandcannot-linkconstraintoflabeledimages。TheexperimentalresultsonCaltech-101and7-classesimagedatasetdemonstratethattheclassificationaccuracyimprovesabout10%bytheproposedmethod。Furthermore,duetothepresentsemi-supervisedimageclassificationmethodslackingofincrementallearningability,anincrementalimplementationofourmethodisproposed。Comparingwithnon-incrementallearningmodelinliterature,theincrementallearningmethodimprovesthecomputationefficiencyofnearly90%。     

Neighborhood preserving regression for image retrieval

In content-based image retrieval (CBIR), relevance feedback has been proven to be a powerful tool for bridging the gap between low level visual features and high level semantic concepts. Traditionally, relevance feedback driven CBIR is often considered as a supervised learning problem where the user provided feedbacks are used to learn a distance metric or classification function. However, CBIR is intrinsically a semi-supervised learning problem in which the testing samples (images in the database) are present during the learning process. Moreover, when there are no sufficient feedbacks, these methods may suffer from the overfitting problem. In this paper, we propose a novel neighborhood preserving regression algorithm which makes efficient use of both labeled and unlabeled images. By using the unlabeled images, the geometrical structure of the image space can be incorporated into the learning system through a regularizer. Specifically, from all the functions which minimize the empirical loss on the labeled images, we select the one which best preserves the local neighborhood structure of the image space. In this way, our method can obtain a regression function which respects both semantic and geometrical structures of the image database. We present experimental evidence suggesting that our algorithm is able to use unlabeled data effectively for image retrieval.     

Leave-one-out manifold regularization

The manifold regularization (MR) based semi-supervised learning could explore structural relationships from both labeled and unlabeled data. However, the model selection of MR seriously affects its predictive performance due to the inherent additional geometry regularizer of labeled and unlabeled data. In this paper, two continuous and two inherent discrete hyperparameters are selected as optimization variables, and a leave-one-out cross-validation (LOOCV) based Predicted REsidual Sum of Squares (PRESS) criterion is first presented for model selection of MR to choose appropriate regularization coefficients and kernel parameters. Considering the inherent discontinuity of the two hyperparameters, the minimization process is implemented by using a improved Nelder-Mead simplex algorithm to solve the inherent discrete and continues hybrid variables set. The manifold regularization and model selection algorithm are applied to six synthetic and real-life benchmark dataset. The proposed approach, leveraged by effectively exploiting the embedded intrinsic geometric manifolds and unbiased LOOCV estimation, outperforms the original MR and supervised learning approaches in the empirical study.     

基于增强稀疏性特征选择的网络图像标注

面对网络图像的爆炸性增长,网络图像标注成为近年来一个热点研究内容,稀疏特征选择在提升网络图像标注效率和性能方面发挥着重要的作用.提出了一种增强稀疏性特征选择算法,即,基于l_2,1/2矩阵范数和共享子空间的半监督稀疏特征选择算法(semi-supervised sparse feature selection based on l_2,1/2-matix norm with shared subspace learning,简称SFSLS)进行网络图像标注.在SFSLS算法中,应用l_2,1/2矩阵范数来选取最稀疏和最具判别性的特征,通过共享子空间学习,考虑不同特征之间的关联信息.另外,基于图拉普拉斯的半监督学习,使SFSLS算法同时利用了有标签数据和无标签数据.设计了一种有效的迭代算法来最优化目标函数.SFSLS算法与其他稀疏特征选择算法在两个大规模网络图像数据库上进行了比较,结果表明,SFSLS算法更适合于大规模网络图像的标注.     

一种半监督的多标签Boosting分类算法

针对标记数据不足的多标签分类问题,提出一种新的半监督Boosting算法,即基于函数梯度下降方法给出一种半监督Boosting多标签分类的框架,并将非标记数据的条件熵作为一个正则化项引入分类模型。实验结果表明,对于多标签分类问题,新的半监督Boosting算法的分类效果随着非标记数据数量的增加而显著提高,在各方面都优于传统的监督Boosting算法。     

基于流形正则化的分类与回归算法及应用

利用流形正则化的思想,围绕半监督学习,提出了一种针对流形正则化的模式分类和回归分析的新算法.该算法基于流形上的正则化项和传统的正则化项相结合的方法,利用支持向量机分类与回归已有的结果,解决半监督学习的分类与回归问题,提高了泛化能力.该算法实现简单,无需调用其他程序.通过数值试验,验证了该算法具有较好的泛化能力,对噪音具有较强的鲁棒性.且在分类问题上,该算法在输入极少数有标签样本时,也能保持较好的分类效果;在回归问题上,也具有较好的学习精度,尤其在输入带有噪音的流形数据上时,表现就更为突出.