基于标签进行度量学习的图半监督学习算法

大多基于图的半监督学习方法，在样本间相似性度量时没有用到已有的和标签传播过程中得到的标签信息，同时，其度量方式相对固定，不能有效度量出分布结构复杂多样的数据样本间的相似性。针对上述问题，提出了基于标签进行度量学习的图半监督学习算法。首先，给定样本间相似性的度量方式，从而构建相似度矩阵。然后，基于相似度矩阵进行标签传播，筛选出k个低熵样本作为新确定的标签信息。最后，充分利用所有标签信息更新相似性度量方式，重复迭代优化直至学出所有标签信息。所提算法不仅利用标签信息改进了样本间相似性的度量方式，而且充分利用中间结果降低了半监督学习对标签数据的需求量。在6个真实数据集上的实验结果表明，该算法在超过95%的情况下相较三种传统的基于图的半监督学习算法取得了更高的分类准确率。     

基于标签进行度量学习的图半监督学习算法

大多基于图的半监督学习方法,在样本间相似性度量时没有用到已有的和标签传播过程中得到的标签信息,同时,其度量方式相对固定,不能有效度量出分布结构复杂多样的数据样本间的相似性。针对上述问题,提出了基于标签进行度量学习的图半监督学习算法。首先,给定样本间相似性的度量方式,从而构建相似度矩阵。然后,基于相似度矩阵进行标签传播,筛选出k个低熵样本作为新确定的标签信息。最后,充分利用所有标签信息更新相似性度量方式,重复迭代优化直至学出所有标签信息。所提算法不仅利用标签信息改进了样本间相似性的度量方式,而且充分利用中间结果降低了半监督学习对标签数据的需求量。在6个真实数据集上的实验结果表明,该算法在超过95%的情况下相较三种传统的基于图的半监督学习算法取得了更高的分类准确率。     

一种基于谱聚类的半监督聚类方法

半监督聚类利用少部分标签的数据辅助大量未标签的数据进行非监督的学习,从而提高聚类的性能。提出一种基于谱聚类的半监督聚类算法,其利用标签数据的信息,调整点与点之间的距离所形成的距离矩阵,而后基于被调整的距离矩阵进行谱聚类。实验表明,该算法较之于已提出的半监督聚类算法,获得了更好的聚类性能。     

面向相交多流形聚类的标签传播算法

经典的流形学习算法假设样本数据位于高维单流形上,但在现实生活中的真实数据通常位于高维多流形上,且这些数据往往相互交叠,导致流形学习算法效果不佳。传统的标签传播算法通过相似性矩阵构建连接矩阵,实现良好分离数据的聚类,但不能有效聚类相互交叠的多流形数据。针对该问题,提出一种面向相交多流形的标签传播算法LPAMMC。采用局部主成分分析算法确定相交多流形数据的相交区域,并基于混合概率主成分分析(MPPCA)模型和多流形的拓扑结构划分相互交叠的子流形,构建“must-link”和“cannot-link”聚类约束,通过约束构建适合相交多流形数据的传播矩阵,实现标签传播算法。LPAMMC算法通过MPPCA模型和多流形拓扑结构划分出子流形,提高相交多流形数据的聚类精度,且MPPCA模型仅用于多流形数据的相交区域,降低了计算复杂度。实验结果表明,LPAMMC算法不仅具有标签传播算法速度快的特点,且能有效聚类相交多流形数据。在Two spirals数据集上的聚类精度、标准互信息和调整兰德系数取得了与SMMC算法相同的性能,运行时间缩短86.7个百分点。     

基于约束优化传播的改进大规模数据半监督式谱聚类算法

针对传统谱聚类算法在聚类过程中所出现的高计算复杂度、噪声敏感,以及聚类簇形态偏斜等问题,结合当前大规模数据聚类的特点与需求,本文建立基于约束优化传播的改进大规模数据半监督式谱聚类模型。该模型首先利用先验成对点约束信息构建微型相似性矩阵,在此基础上采用Gabow算法提取该微型相似性矩阵所对应连通图的各强连通分支,继而提出面向各强连通分支的新型约束优化传播算法以获取整个数据集的点对相似度,最后通过奇异值分解并运用加速k-means算法获得大规模数据的聚类结果。在多个标准测试数据集上的实验表明,相比于该领域其它前期研究成果,本文所提聚类模型具有更高的聚类准确率和更低的计算复杂度,更适合大规模数据的聚类应用。     

一种基于高斯混合模型的协同过滤算法

协同过滤技术中的矩阵分解是推荐系统中的有效技术手段。而现在主流的矩阵分解算法假设推荐系统评分数据服从高斯分布,因而受数据噪声影响,其鲁棒性达不到预期。为了解决这个问题,提出基于高斯混合模型的矩阵分解算法。设定评分数据服从高斯混合分布,在此基础上应用基于贝叶斯概率的矩阵分解模型。同时,提出一种基于半监督学习的数据实验方法,充分挖掘有标签和无标签数据。实验结果表明,基于高斯混合分布的矩阵分解算法对评分噪声拥有更强的免疫力,同时可以提高预测准确率。     

流形结构保持的传播半监督降维算法

标签传播算法(LP)是一种基于图的半监督学习算法,通过保持数据间的某些特殊结构,将部分有标签数据的标签信息迭代传递给无标签数据,直至获得全局的稳定状态.结合标签传播算法和线性鉴别分析提出一种流形结构保持的传播半监督降维算法(SDRMPP),采用流行结构上的重构权重并结合已知的部分标签信息进行标签传播,利用传播后获得的全体软标签信息构造离散度矩阵实现鉴别分析,通过求解目标函数的最优值获得特征抽取空间,从而对测试样本进行分类.在Yale和Feret两个标准人脸库上实验验证了该算法的有效性,尤其在只存有少量有标签样本的情况下,该算法仍能保持良好的分类性能.     

一种基于数据相关性的半监督模糊聚类集成方法

现有的半监督聚类集成方法能利用先验信息,使集成的准确性、鲁棒性和稳定性得到提高,但在集成阶段加入成对约束信息时,只考虑了给定的约束信息而忽视了约束点与被约束点的邻域点之间的关系.针对此问题,提出了一种基于数据相关性的半监督模糊聚类集成方法.该方法首先利用半监督模糊聚类算法建立集成信息矩阵,并将其转换为相似性矩阵;然后,利用已知的约束信息及约束点与被约束点的邻域点之间的关系来修改相似性矩阵;最后,利用图划分算法得到最终的聚类结果.真实数据上的实验结果表明,提出的方法可以有效提高聚类质量.     

一种基于标签概率相关性的微博推荐方法

向微博用户推荐对其有价值和感兴趣的内容,是改善用户体验的重要途径。通过分析微博的特点以及现有微博推荐算法的缺陷,利用标签信息表征用户兴趣,提出一种基于标签概率相关性的微博推荐方法 LPCMR。首先,该方法利用标签之间的概率相关性,构造标签相似性矩阵。然后通过相关性标签权重加权方案,加强标签权重,构建用户-标签矩阵。针对用户标签矩阵稀疏的问题,采用标签相似性矩阵对用户-标签矩阵进行更新,使该矩阵既包含用户兴趣信息,又包含标签与标签之间的关系。以新浪微博公开API抓取的微博信息作为实验数据,进行了一系列的实验和分析,结果表明本文提出的推荐算法具有较好的效果。     

基于概率的信任传播模型

社会网络中,用户之间的信任关系可以为用户判别信息是否可信提供依据。现有的信任计算方法一般是通过搜索节点之间的路径,再在其上添加各种其它限制,如路径长度、信任度下界等来计算信任度,而考虑节点之间的相似性的方法却很少。从节点之间的相似性出发,在信任传播模型的基础上,结合贝叶斯条件概率公式,提出了基于概率的信任传播模型。同时分析了信任传播模型中衰减系数对结果的影响;通过统计分析数据,得出具有信任关系的用户之间的相似度要比不具有信任关系的用户之间的相似度高得多,从而证明了贝叶斯理论可显著提高信任传播算法的有效性。在Epinion数据集上进行的实验证明了该方法的有效性。     

结合稀疏表示与约束传递的半监督谱聚类算法

针对半监督谱聚类不能有效处理大规模数据,没有考虑约束传递不能充分利用有限约束信息的问题,提出一种结合稀疏表示和约束传递的半监督谱聚类算法。首先,根据约束信息生成约束矩阵,将其引入到谱聚类中;然后,将约束集合中的数据作为地标点构造稀疏表示矩阵,近似获得图相似度矩阵,从而改进约束谱聚类模型;同时,根据地标点的相似度矩阵生成连通区域,在每个连通区域内动态调整近邻点,利用约束传递进一步提高聚类准确率。实验表明,所提算法和约束谱聚类相比,在算法效率方面具有明显优势,且准确率没有明显下降;和快速谱聚类方法相比,在聚类准确率上有所提升。     

Semi-supervised orthogonal discriminant analysis via label propagation

Trace ratio is a natural criterion in discriminant analysis as it directly connects to the Euclidean distances between training data points. This criterion is re-analyzed in this paper and a fast algorithm is developed to find the global optimum for the orthogonal constrained trace ratio problem. Based on this problem, we propose a novel semi-supervised orthogonal discriminant analysis via label propagation. Differing from the existing semi-supervised dimensionality reduction algorithms, our algorithm propagates the label information from the labeled data to the unlabeled data through a specially designed label propagation, and thus the distribution of the unlabeled data can be explored more effectively to learn a better subspace. Extensive experiments on toy examples and real-world applications verify the effectiveness of our algorithm, and demonstrate much improvement over the state-of-the-art algorithms.     

基于半监督的超像素谱聚类彩色图像分割算法

近年来谱聚类算法被广泛应用于图像分割领域,而相似性矩阵的构造是谱聚类算法的关键步骤。 针对传统谱聚类算法计算复杂度高难以应用到大规模图像分割处理的问题,提出了基于半监督的超像素谱聚类彩色图像分割算法。该算法利用超像素将彩色图像进行预分割,利用用户提供的少量标记信息构造预分割区域的基于半监督的模糊相似性测度,利用该相似性测度构造预分隔区域的相似性矩阵并通过规范切图谱划分准则对预分割区域进行划分得到最终的图像分割结果。由于少量标记信息和模糊理论的引入,提高了传统谱聚类的分割性能,对比实验也表明该算法在分割效果和计算复杂度上都有较大的改善。     

稀疏近似最近特征空间嵌入标签传播

针对现有的基于图的半监督学习（graph-based semi-supervised learning,简称GSSL）方法存在模型参数敏感和数据空间判别信息不充分等问题,受最近特征空间嵌入和数据稀疏表示思想的启发,提出一种稀疏近似最近特征空间嵌入标签传播算法SANFSP（sparse approximated nearest feature space embedding label propagation）.SANFSP首先利用特征空间嵌入投影点来稀疏表示原始数据;然后,度量原始数据和稀疏近似最近特征空间嵌入投影间的相似性;进而提出稀疏近似最近特征空间嵌入正则化项;最后,基于传统GSSL 方法的标签传播算法,实现数据标签的平滑传播.同时,还将SANFSP 算法简单拓展到out-of-sample 学习.SANFSP 算法在人造和实际数据集（如人脸识别、可视物件识别以及手写数字分类等）上取得了有效的实验结果.     

Bidirectional Label Propagation over Graphs

Graph-Based label propagation algorithms are popular in the state-of-the-art semi-supervised learning research. The key idea underlying this algorithmic family is to enforce labeling consistency between any two examples with a positive similarity. However, negative similarities or dissimilarities are equivalently valuable in practice. To this end, we simultaneously leverage similarities and dissimilarities in our proposed semi-supervised learning algorithm which we term Bidirectional Label Propagation (BLP). Different from previous label propagation mechanisms that proceed along a single direction of graph edges, the BLP algorithm can propagate labels along not only positive but also negative edge directions. By using an initial neighborhood graph and class assignment constraints inherent among the labeled examples, a set of class-specific graphs are learned, which include both positive and negative edges and thus reveal discriminative cues. Over the learned graphs, a convex propagation criterion is carried out to ensure consistent labelings along the positive edges and inconsistent labelings along the negative edges. Experimental evidence discovered in synthetic and real-world datasets validates excellent performance of the proposed BLP algorithm.     

Exhaustive and Efficient Constraint Propagation: A Graph-Based Learning Approach and Its Applications

This paper presents a novel pairwise constraint propagation approach by decomposing the challenging constraint propagation problem into a set of independent semi-supervised classification subproblems which can be solved in quadratic time using label propagation based on $k$ -nearest neighbor graphs. Considering that this time cost is proportional to the number of all possible pairwise constraints, our approach actually provides an efficient solution for exhaustively propagating pairwise constraints throughout the entire dataset. The resulting exhaustive set of propagated pairwise constraints are further used to adjust the similarity matrix for constrained spectral clustering. Other than the traditional constraint propagation on single-source data, our approach is also extended to more challenging constraint propagation on multi-source data where each pairwise constraint is defined over a pair of data points from different sources. This multi-source constraint propagation has an important application to cross-modal multimedia retrieval. Extensive results have shown the superior performance of our approach.