半监督邻域保持嵌入在高光谱影像分类中的应用

为了解决高光谱遥感影像的维数约简问题以提高分类算法的分类精度,并针对高光谱影像通常只包含少量标记样本的问题,提出了基于一种半监督邻域保持嵌入(SSNPE)和改进的KNN分类器的高光谱影像分类算法。该算法在NPE的基础上同时利用同类标记样本和邻域未标记样本获得数据的邻域嵌入结构,并且通过增加标记近邻样本的权重加大降维数据的鉴别性,进而增加k近邻分类器的样本分类精度。在Urban、Indian高光谱影像数据集上的实验结果表明,改进的算法的分类精度提高了约8.7%、3.6%以上,分类性能有了较明显的改善。     

基于引力模型的多标签分类算法

针对多标签分类算法不能充分利用标签相关性的问题,通过建立标签的正、负相关性矩阵来挖掘标签间不同的相关关系,提出一种基于引力模型的多标签分类算法（MLBGM）。首先,遍历训练集中所有样本并分别求取每个训练样本的k个近邻样本,组成该样本的近邻集合;其次,根据每个样本的近邻集合中所有近邻样本的标签分布情况,分别为每个训练样本建立正、负相关矩阵来获取标签间的相关性;然后,为每个训练样本的近邻集合计算其近邻密度和近邻权重;最后,采用计算数据粒子间相互作用力的方式构建多标签分类模型。实验结果显示,MLBGM与5种未考虑标签负相关的对比算法相比,汉明损失（HammingLoss）平均降低了15.62%,微平均F1值（MicroF1）平均提升了7.12%,子集准确率（SubsetAccurary）平均提升了14.88%。MLBGM充分利用了标签间不同的相关性,获得了有效的实验结果且分类效果优于未考虑标签负相关的对比算法。     

一种核化图嵌入算法的快速求解模型

针对核化图嵌入算法对于人脸识别等高维小样本问题存在着计算量大且所需存储空间多的缺点,提出了一种核化图嵌入算法的快速求解模型。该模型的思想是首先对原始样本进行降维处理,对此给出了定理1和2。两个定理证明了样本先进行降维处理的可行性,同时也表明这一过程是不损失任何有效鉴别信息的。然后再对新的低维样本按核化图嵌入算法进行计算。人脸库上的实验结果表明,所提模型不但减少了算法的计算时间,同时也保证了算法的分类识别率。     

基于最大间距准则的局部图嵌入特征提取方法

针对局部线性嵌入(LLE)算法和最大间距准则(MMC)算法在特征提取问题中存在不足,提出一种有效的数据降维和分类方法--基于最大间距准则的局部图嵌入特征提取算法,并将其应用在人脸识别上.该算法在保持近邻的前提下,分别构造类内紧致图和类间惩罚图.首先在类内紧致图中利用线性重构的局部对称性找出高维数据空间中的非线性结构,使同类样本尽可能地聚集在一起;然后在类间惩罚图中使不同类别的样本尽可能分离;为了避免"小样本"问题,采用MMC的形式构造目标函数.在ORL,Yale和AR人脸图像库进行实验的结果表明,文中算法相对于DLA和LLE+LDA算法有较好的识别性能.     

多代表点的子空间分类算法

多代表点近邻分类克服了传统近邻分类算法的缺点,使用以代表点为中心的模型簇构造分类模型并自动确定近邻数目.此类算法在不同类别的样本存在大量重叠时将导致模型簇数量增大,造成预测精度下降.提出了一种多代表点的子空间分类算法,将不同类别的训练样本投影到多个不同的子空间,使用子空间模型簇构造分类模型,有效分隔了不同类别样本在全空...     

基于主动学习的图半监督分类算法

为抑制噪声数据对分类结果的影响,将噪声处理算法与高斯随机域算法相结合,提出一种带噪声系数的高斯随机域学习算法;针对样本集不平衡性数据分类问题,考虑主动学习在样本不平衡问题中的应用,将主动学习与图半监督算法相结合,提出一种鲁棒性强的主动学习图半监督分类算法。利用基于样本划分的主动学习方法,对正类的近邻样本集中样本与特定类样本形成的新样本集做总体散度排序,筛选出能使新样本集中总体散度最小的样本,代替正类的近邻样本集中所有样本,形成平衡类。在UCI标准数据集上的实验结果表明,与标准的图半监督算法相比,该算法的分类精度更高、泛化能力更强。     

基于l1范数和k近邻叠加图的半监督分类算法*

为了构造一个能够较好反映数据真实分布的图以提高分类性能,文中提出基于l¹范数和k近邻叠加图的半监督分类算法。首先构造一个l¹范数图,作为主图,然后构造一个k近邻图,作为辅图,最后将二者按一定比例叠加,得到l¹范数和k近邻叠加(LNKNNS)图。实验中选择标记样本比例从5%到25%,将基于LNKNNS图的半监督分类算法在USPS数据库上对比其它图(指数权重图、k近邻图、低秩表示图和l¹范数图)的算法。实验表明,文中算法的分类识别率更高,更适合基于图的半监督学习。     

LLE方法的分类与研究

对于低维数据的分类很常见, 但是对于高维数据的分类却不多, 主要是因为维度太高. 尤其对于分布不均匀的样本集, 传统的局部线性嵌入算法易受到近邻点个数的影响, 为了克服这一问题, 提出改进距离的局部线性嵌入算法. 通过实验表明, 改进距离的局部线性嵌入算法能使原来的样本集尽可能的分布均匀, 从而降低近邻点个数的取值对局部线性嵌入的影响, 在保证分类准确的前提下, 达到了有效缩短时间的目的.     

局部平衡的判别近邻嵌入算法

判别近邻嵌入算法（discriminant neighborhood embedding,DNE）通过构造邻接图,使得在投影子空间中能够保持原始数据的局部结构,能有效地发现最佳判别方向。但是它有两方面的不足：一方面不能标识样本点的近邻样本点位置信息,从而不能更好地保持邻域结构;另一方面当数据不均衡时,不能实现子空间中类内聚合或者类间分离的目的,这不利于分类。为此提出了一种新的有监督子空间学习算法--局部平衡的判别近邻嵌入算法（locality-balanced DNE,LBDNE）。在构建邻接图时,局部平衡的判别近邻嵌入算法分别建立同类邻接图和异类邻接图,并通过引入一个控制参数,有效地平衡了类内与类间的关系。该算法与其他经典算法相比,在人脸识别问题上具有较高的识别率,充分说明了局部平衡的判别近邻嵌入算法能够有效地处理识别问题。     

基于参考点的改进k近邻分类算法

基本k近邻(kNN)分类算法具有二次方的时间复杂度,且分类效率和精度较低。针对该问题,提出一种改进的参考点kNN分类算法。依据点到样本距离的方差选择参考点,并赋予参考点自适应权重。实验结果表明,与基本k NN算法及kd-tree近邻算法相比,该算法具有较高的分类精度及较低的时间复杂度。     

基于Beta分布和半监督学习的非确定性知识图谱嵌入模型

近年来,面向确定性知识图谱的嵌入模型在知识图谱补全等任务中取得了长足的进展,但如何设计和训练面向非确定性知识图谱的嵌入模型仍然是一个重要挑战。不同于确定性知识图谱,非确定性知识图谱的每个事实三元组都有着对应的置信度,因此,非确定性知识图谱嵌入模型需要准确地计算出每个三元组的置信度。现有的非确定性知识图谱嵌入模型结构较为简单,只能处理对称关系,并且无法很好地处理假负(false-negative)样本问题。为了解决上述问题,该文首先提出了一个用于训练非确定性知识图谱嵌入模型的统一框架,该框架使用基于多模型的半监督学习方法训练非确定性知识图谱嵌入模型。为了解决半监督学习中半监督样本噪声过高的问题,我们还使用蒙特卡洛Dropout计算出模型对输出结果的不确定度,并根据该不确定度有效地过滤了半监督样本中的噪声数据。此外,为了更好地表示非确定性知识图谱中实体和关系的不确定性以处理更复杂的关系,该文还提出了基于Beta分布的非确定性知识图谱嵌入模型UBetaE,该模型将实体、关系均表示为一组相互独立的Beta分布。在公开数据集上的实验结果表明,结合该文所提出的半监督学习方法和UBetaE模型,不仅...     

Graph grammars with neighbourhood-controlled embedding

A central feature that distinguishes graph grammars (we consider grammars generating sets of node-labelled undirected graphs only) from string grammars is that in the former one has to provide a mechanism by which a daughter graph (the right-hand side of a production) can be embedded in the rest of the mother graph, while in the latter this embedding is provided automatically by the structure that all strings possess (left-to-right orientation). In this paper we consider a possible classification of embedding mechanisms for (node-rewriting) graph grammars. This classification originates from the basic ideas of [9]. On the one hand it allows one to fit a number of existing notions of a graph grammar into a common framework and on the other hand it points out new “natural” possibilities for defining the embedding mechanism in a graph grammar. The relationship between the graph-language generating power of graph grammars using various embedding mechanisms is established.     

Locality Regularization Embedding for face verification

Graph embedding (GE) is a unified framework for dimensionality reduction techniques. GE attempts to maximally preserve data locality after embedding for face representation and classification. However, estimation of true data locality could be severely biased due to limited number of training samples, which trigger overfitting problem. In this paper, a graph embedding regularization technique is proposed to remedy this problem. The regularization model, dubbed as Locality Regularization Embedding (LRE), adopts local Laplacian matrix to restore true data locality. Based on LRE model, three dimensionality reduction techniques are proposed. Experimental results on five public benchmark face datasets such as CMU PIE, FERET, ORL, Yale and FRGC, along with Nemenyi Post-hoc statistical of significant test attest the promising performance of the proposed techniques.     

用于知识表示学习的对抗式负样本生成

知识表示学习目的是将知识图谱中符号化表示的关系与实体嵌入到低维连续向量空间。知识表示模型在训练过程中需要大量负样本,但多数知识图谱只以三元组的形式存储正样本。传统知识表示学习方法中通常使用负采样方法,这种方法生成的负样本很容易被模型判别,随着训练的进行对性能提升的贡献也会越来越小。为了解决这个问题,提出了对抗式负样本生成器（ANG）模型。生成器采用编码-解码架构,编码器读入头或尾实体被替换的正样本作为上下文信息,然后解码器利用编码器提供的编码信息为三元组填充被替换的实体,从而构建负样本。训练过程采用已有的知识表示学习模型与生成器进行对抗训练以优化知识表示向量。在链接预测和三元组分类任务上评估了该方法,实验结果表明该方法对已有知识表示学习模型在FB15K237、WN18和WN18RR数据集上的链接预测平均排名与三元组分类准确度都有提升。     

多尺度特征融合的图嵌入方法

针对结构模式识别领域中通用图嵌入方法缺乏且计算复杂度较高的问题,基于空间句法理论提出一种融合多尺度特征的图嵌入方法。通过提取图的节点数、边数和智能度等全局特征、节点拓扑特征、边领域特征差异度和边拓扑特征差异度等局部特征和节点与边上的数值属性和符号属性等细节特征,利用多尺度直方图统计的方法构造描述图特征的特征向量,以此将桥梁将结构模式识别问题转化为统计模式识别问题,进而借助支持向量机(SVM)实现图的分类识别。实验结果表明,所提出的图嵌入方法在不同的图数据集上均具有较高的分类识别率。与其他图嵌入方法相比,该方法对图的拓扑表达能力强,并且可融合图的领域方面的非拓扑特征,通用性较好,计算复杂度较低。     

Cost-sensitive boosting for classification of imbalanced data

Classification of data with imbalanced class distribution has posed a significant drawback of the performance attainable by most standard classifier learning algorithms, which assume a relatively balanced class distribution and equal misclassification costs. The significant difficulty and frequent occurrence of the class imbalance problem indicate the need for extra research efforts. The objective of this paper is to investigate meta-techniques applicable to most classifier learning algorithms, with the aim to advance the classification of imbalanced data. The AdaBoost algorithm is reported as a successful meta-technique for improving classification accuracy. The insight gained from a comprehensive analysis of the AdaBoost algorithm in terms of its advantages and shortcomings in tacking the class imbalance problem leads to the exploration of three cost-sensitive boosting algorithms, which are developed by introducing cost items into the learning framework of AdaBoost. Further analysis shows that one of the proposed algorithms tallies with the stagewise additive modelling in statistics to minimize the cost exponential loss. These boosting algorithms are also studied with respect to their weighting strategies towards different types of samples, and their effectiveness in identifying rare cases through experiments on several real world medical data sets, where the class imbalance problem prevails.     

面向政治领域的事理图谱构建

事理图谱是一种描述事件之间顺承、因果等关系的事理演化逻辑有向图,它蕴含了丰富的事件间关系,在各领域都具有重要的研究意义和应用价值。当前研究主要集中于公开域的事件抽取上,而在特定领域,如政治领域,因其事件类型和事件内容较为复杂,相关研究十分有限。该文旨在构建面向政治领域的事理图谱,针对政治事件抽取中存在的语料匮乏、标准缺失等问题,制定了一套面向政治领域的事件分类标准,构建了一套政治领域的事件语料库。同时,该文分别提出了一种融合注意力机制的字嵌入修正神经网络的Pipeline模型和一种基于BERT+BiLSTM的Joint模型进行事件触发词和论元抽取,并在该语料库上进行实验。实验结果表明,两种模型在事件触发词与论元抽取任务中,F₁指标较基线模型均有较大提升。     

基于节点相似度的无监督属性图嵌入模型

属性图嵌入旨在将属性图中的节点表示为低维向量,并同时保留节点的拓扑信息和属性信息.属性图嵌入已经有一系列相关工作,然而它们大多数提出的是有监督或半监督的算法.在实际应用中,需要标记的节点数量多,导致这些属性图嵌入算法的难度大,且需要消耗巨大的人力物力.针对上述问题以无监督的视角重新分析,提出了一种无监督的属性图嵌入算法...     

Semi-supervised dimension reduction based on hypergraph embedding for hyperspectral images

Dimension reduction (DR) is an efficient and effective preprocessing step of hyperspectral images (HSIs) classification. Graph embedding is a frequently used model for DR, which preserves some geometric or statistical properties of original data set. The embedding using simple graph only considers the relationship between two data points, while in real-world application, the complex relationship between several data points is more important. To overcome this problem, we present a linear semi-supervised DR method based on hypergraph embedding (SHGE) which is an improvement of semi-supervised graph learning (SEGL). The proposed SHGE method aims to find a projection matrix through building a semi-supervised hypergraph which can preserve the complex relationship of the data and the class discrimination for DR. Experimental results demonstrate that our method achieves better performance than some existing DR methods for HSIs classification and is time saving compared with the existed method SEGL which used simple graph.