基于自适应距离度量的最小距离分类器集成

提出了一种基于自适应距离度量的最小距离分类器集成方法,给出了个体分类器的生成方法。首先用Bootstrap技术对训练样本集进行可重复采样,生成若干个子样本集,应用生成的子样本集建立自适应距离度量模型,根据建立的模型对子样本集进行训练,生成个体分类器。在集成中,将结果用相对多数投票法集成最终的结论。采用UCI标准数据集实验,将该方法与已有方法进行了性能比较,结果表明基于自适应距离度量的最小距离分类器集成是最有效的。     

一种改进的最小距离分类器NN-MDC

为了提高最小距离分类器的性能,在其基础上提出了一种改进MDC——NN-MDC:它先对训练样本进行修剪,根据每个样本与其最近邻类标的异同决定其取舍,然后再用剩余的训练样本训练得到分类器。采用UCI标准数据集实验,结果表明本文所提出的NN-MDC与MDC相比具有较高的分类精度。     

基于混合多距离度量的多分类器加权集成研究

在机器学习领域,分类器加权在小样本数据集中的分类正确率较低。为此,提出一种基于混合距离度量的多分类器加权集成方法。结合欧氏距离、曼哈顿距离、切比雪夫距离,设计混合的距离度量加权方法,使用加权投票组合规则集成各分类器的输出结果。实验结果表明,该方法鲁棒性较好,分类正确率较高。     

最小距离分类器的改进算法--加权最小距离分类器

最小距离分类器是一种简单而有效的分类方法。为了提高最小距离分类器的分类性能,主要的改进方法是选择更有效的距离度量。通过分析多重限制分类器和决策树分类器的分类原则,提出了基于标准化欧式距离的加权最小距离分类器。该分类器通过对标称型和字符串型属性的距离的加权定义。以及增加属性值的范围约束,扩大了最小标准化欧式距离分类器的适用范围,同时提高了其分类准确率。实验结果表明,加权最小距离分类器具有较高的分类准确率。     

基于余弦距离度量学习的伪K近邻文本分类算法

距离度量学习在分类领域有着广泛的应用,将其应用到文本分类时,由于一般采用的向量空间模型(VSM)中的TF*IDF算法在对文本向量表达时向量均是维度相同并且归一化的,这就导致传统距离度量学习过程中采用的欧式距离作为相似度判别标准在文本分类领域往往无法取得预期的效果,在距离度量学习中的LMNN算法的启发下提出一种余弦距离度量学习算法,使其适应于文本分类领域,称之为CS-LMNN.考虑到文本分类领域中样本类偏斜情况比较普遍,提出采用一种伪K近邻分类算法与CS-LMNN结合实现文本分类,该算法首先利用CS-LMNN算法对训练数据进行距离度量学习,根据训练结果对测试数据使用伪K近邻分类算法进行分类,实验结果表明,该算法可以有效的提高分类精度.     

数据规范化方法对K近邻分类器的影响

讨论最小-最大规范化、z-score规范化及小数定标规范化3种方法对K近邻分类器性能的影响,在12个标准UCI真实数据集和1个人工数据集上进行实验比较。实验结果表明,规范化方法在大部分数据集能上提高K近邻分类器的识别率。针对实验结果研究据规范化方法提升分类器性能的内在原因,给出根据数据属性的数值分布特点决定是否使用数据规范化方法的一般准则。     

基于频谱能量的指纹分类

指纹分类是自动指纹识别系统中的关键技术,但目前的算法对低质量的指纹图像的分类还存在较大的误差.为了能够对低质量的指纹图像进行准确分类,提出了一种基于频谱能量的指纹分类,首先对分块的指纹图像进行傅立叶变换,然后根据频谱图中能量的分布特点得到指纹图像的方向图,提取core点周围的指纹图像的方向向量作为该指纹图像的特征向量.最后使用K近邻分类器和最小距离分类器对输入指纹进行分类.在NIST-4指纹数据库上的实验结果表明了算法的有效性,分类正确率达到94.1%,且算法速度比同类算法有较大的提高.     

基于Box-Cox变换的分类器性能改进

贝叶斯分类器、最小距离分类器、近邻分类器和BP网络等是比较常用的分类器,为提高这些分类器的性能,引入了Box—Cox变换的思想。将Box—Cox变换用于数据正态化处理技术,并对常用分类器的性能进行改进。实验结果显示,通过引入Box—Cox变换,分类器的分类正确率有较大的提高。     

基于形态距离及自适应权重的相似性度量

针对传统的动态时间弯曲算法的性能容易受到离群点以及局部噪声点的影响,同时对于复杂数据的处理能力较差。对此,文中提出基于形态距离及自适应权重的相似性度量算法。该算法首先利用 趋势滤波对原始待比较序列进行降维,压缩;其次引入形态距离计算两时间序列的距离矩阵,最后利用自适应赋权的距离函数抽取出各个子序列所含的信息量差异并结合动态时间弯曲完成最终时间序列相似度量。实验表明该算法有更强的鲁棒性,能够更好的利用序列的形态特征完成宏观的相似性度量,同时在处理复杂数据时更加精确,高效,稳定。     

自适应权重多视角度量学习的遥感图像场景分类方法

遥感图像易受光照和气象条件等干扰因素的影响,且随着遥感设备分辨率的提高,遥感图像中出现了更多的地表细节的问题.为了提高遥感图像的场景分类的准确度,提出一种自适应权重多视角度量学习方法.首先使用多个视角下的数据特征学习具有分辨力的度量空间,使在度量空间内同类图像紧凑,异类图像尽可能地远离;然后引入权重向量,在度量学习的过...     

An adaptive image Euclidean distance

The image Euclidean distance (IMED) considers the spatial relationship between the pixels of different images and can easily be embedded in existing image recognition algorithms that are based on Euclidean distance. IMED uses the prior knowledge that pixels located near one another have little variance in gray scale values, and defines a metric matrix according to the spatial distance between pixels. In this paper, we propose an adaptive image Euclidean distance (AIMED), which considers not only the prior spatial knowledge, but also the prior gray level knowledge from images. The most important advantage of the proposed AIMED over IMED is that AIMED makes the metric matrix adaptive to the content of the concerned images. Two ways of using gray level information are proposed. One is based on gray level distances, and the other is based on cosine dissimilarity of gray levels. Experiments on two facial databases and a handwritten digital database show that AIMED achieves the highest classification accuracy when it is embedded in nearest neighbor classifiers, principal component analysis, and support vector machines.     

非贪婪的鲁棒性度量学习算法

目的 度量学习是机器学习与图像处理中依赖于任务的基础研究问题。由于实际应用背景复杂,在大量不可避免的噪声环境下,度量学习方法的性能受到一定影响。为了降低噪声影响,现有方法常用L1距离取代L2距离,这种方式可以同时减小相似样本和不相似样本的损失尺度,却忽略了噪声对类内和类间样本的不同影响。为此,本文提出了一种非贪婪的鲁棒性度量学习算法——基于L2/L1损失的边缘费歇尔分析（marginal Fisher analysis based on L2/L1 loss,MFA-L2/L1）,采用更具判别性的损失,可提升噪声环境下的识别性能。方法 在边缘费歇尔分析（marginal Fisher analysis,MFA）方法的基础上,所提模型采用L2距离刻画相似样本损失、L1距离刻画不相似样本损失,同时加大对两类样本的惩罚程度以提升方法的判别性。首先,针对模型非凸带来的求解困难,将目标函数转为迭代两个凸函数之差便于求解;然后,受DCA（difference of convex functions algorithm）思想启发,推导出非贪婪的迭代求解算法,求得最终度量矩阵;最后,算法的理论证明保证了迭代算法的收敛性。结果 在5个UCI（University of California Irrine）数据集和7个人脸数据集上进行对比实验：1）在不同程度噪声的5个UCI数据集上,MFA-L2/L1算法最优,且具有较好的抗噪性,尤其在30%噪声程度的Seeds和Wine数据集上,与次优方法LDA-NgL1（non-greedy L1-norm linear discriminant analysis））相比,MFA-L2/L1的准确率高出9%;2）在不同维度的AR和FEI人脸数据集上的实验,验证了模型采用L1损失、采用L2损失提升了模型的判别性;3）在Senthil、Yale、ORL、Caltech和UMIST人脸数据集的仿真实验中,MFA-L2/L1算法呈现出较强鲁棒性,性能排名第1。结论 本文提出了一种基于L2/L1损失的鲁棒性度量学习模型,并推导了一种便捷有效的非贪婪式求解算法,进行了算法收敛性的理论分析。在不同数据集的不同噪声情况下的实验结果表明,所提算法具有较好的识别率和鲁棒性。     

基于距离测度学习的AP聚类图像标注

针对有效利用图像底层视觉特征和图像语义特征进行图像标注,提出一种改进的AP（Affinity Propagation）聚类标注模型。首先采用半监督距离测度学习算法,融合图像语义信息,训练得到新的距离测度。然后使用新的距离测度对每一类图像进行AP聚类,生成各类图像的聚类中心,计算待标注图像到各类图像聚类中心的平均距离,确定待标注图像类别。最后计算待标注图像到类内各个聚类中心的距离,确定待标注图像类内类别,统计该类别下图像的标注词,作为待标注图像的标注词。在Corel5K和NUS-WIDE数据集上进行了实验,经验证,该方法有效提高了标注精度。     

Cluster-Based Nearest-Neighbour Classifier and Its Application on the Lightning Classification

The problem addressed in this paper concerns the prototype generation for a cluster-based nearest-neighbour classifier.It considers,to classify a test pattern,the lines that link the patterns of the training set and a set of prototypes. An efficient method based on clustering is here used for finding subgroups of similar patterns with centroid being used as prototype.A learning method is used for iteratively adjusting both position and local-metric of the prototypes.Finally, we show that a simple adaptive distance measure improves the performance of our nearest-neighbour-based classifier.The performance improvement with respect to other nearest-neighbour-based classifiers is validated by testing our method on a lightning classification task using data acquired from the Fast On-orbit Recording of Transient Events (FORTE) satellite, moreover the performance improvement is validated through experiments with several benchmark datasets.The performance of the proposed methods are also validated using the Wilcoxon Signed-Rank test.     

基于树编辑距离的工作流距离度量方法

在工作流的发现和聚类等应用中,需要对两个工作流模型的距离进行度量。因此,提出一种计算两个不同结构化工作流的距离定量度量方法。首先介绍了结构化工作流,并将每一个结构化工作流转换为流程结构树;然后基于两个结构树之间的树编辑距离来计算工作流之间的距离及相应相似度。该距离度量方法满足距离度量的3个属性,即同实体不可区分性、对称性和三角不等式性质。这些属性使得该距离度量方法可以在工作流模型管理活动中作为定量分析工具。实验结果表明,基于树编辑距离的工作流度量方法是可行的。同时,与基于邻接矩阵的距离度量方法相比,该方法考虑了不同结构之间的语义距离,有效验证了此方法的合理性。