基于共享最近邻的离群检测算法

为识别混合属性数据集中的离群点,提出了一种基于共享最近邻的离群检测算法,通过计算增量聚类结果簇间的共享最近邻相似度,不但能够发现任意形状的簇,还可以检测到变密度数据集中的全局离群点。算法时间复杂度关于数据集的大小和属性个数呈近似线性。在人工数据集和真实数据集上的实验结果显示,提出的算法能有效检测到数据集中的离群点。     

基于密度的不确定数据离群点检测研究

针对不确定数据集进行离群点检测,设计了基于密度的不确定数据的局部离群因子(Uncertain Local Outlier Factor,ULOF)算法.通过建立不确定数据的可能世界模型来确定不确定对象在可能世界中的概率.结合传统的LOF算法推导出ULOF算法,根据ULOF值判断不确定对象的局部离群程度;然后对ULOF算法的效率性和准确性进行了详细分析,提出了基于网格的剪枝策略、k最近邻查询优化来减少数据的候选集;最后通过实验证明了ULOF算法对不确定数据检测的可行性和效率性,优化后的方法有效地提高了异常检测准确率,降低了时间复杂度,改善了不确定数据的异常检测性能.     

基于FLANN改进的KNN医疗分类算法

本文通过研究KNN（K-最近邻）算法在疾病预测领域的使用与分析,总结出KNN的2点不足,针对不足进行相应改进并提出F_KNN（循环最近邻搜索）算法：1）针对KNN计算量大、效率低下的缺点,本文采用FLANN（快速最近邻搜索）循环搜索与待测样本距离最近的点,记录若干个最近邻点作为最近邻点子集,利用此子集取代全集对待测样本进行计算,可以降低计算量,极大地提高了KNN算法效率;2）针对KNN难以对高维数据集分类的缺点,本文采用AHP（层次分析法）对样本的特征属性进行相关性研究,使用合适的参数分配权重,提高了KNN算法准确率。本文采用一组脑中风数据集对优化后的算法进行实验,实验结果表明,F_KNN准确率达96.2%。与传统KNN相比,F_KNN提高了分类性能且极大地提高了算法效率。在处理高维且较大的数据集时,F_KNN算法优势明显,具有较好的应用前景。     

一种基于学习的高维数据c-近似最近邻查询算法

针对高维数据近似最近邻查询,在过滤-验证框架下提出了一种基于学习的数据相关的c-近似最近邻查询算法.证明了数据经过随机投影之后,满足语义哈希技术所需的熵最大化准则.把经过随机投影的二进制数据作为数据的类标号,训练一组分类器用来预测查询的类标号.在此基础上,计算查询与数据集中数据对象的海明距离.最后,在过滤后的候选数据集上计算查询的最近邻与现有方法相比,该方法对空间需求更小,编码长度更短,效率更高.模拟数据集和真实数据集上的实验结果表明,该方法不仅能够提高查询效率,而且方便调控在查询质量和查询处理时间方面的平衡问题.     

多传感器数据融合系统中联合概率数据互联算法的研究

概述了多传感器数据融合系统中的联合概率数据互联算法，给出了MSJPDA的两种处理结构，分析了其算法的复杂度。并在此基础上，结合B．zhou提出的直接概率计算和近似概率计算的方法，提出了一种基于近似聚的近似概率数据互联算法(MSJPDA)，通过仿真研究以及和最近邻法所做的比较表明，该方法确实能提高在密集情况下的数据融合精度，算法耗时与最近邻法相差不大，精确度接近完全概率互联算法。     

参数自适应下基于近邻图的近似最近邻搜索

现有基于近邻图的近似最近邻搜索（ANNS）算法通常将数据库中被检索向量组织成近邻图结构,根据用户设定参数搜索查询向量的近似最近邻。为提升基于近邻图的ANNS算法在给定召回率下的搜索效率,提出一种参数自适应方法AdaptNNS。采集数据库中的被检索向量并对采样结果进行聚类,利用聚类中心向量和最近邻分类器提取查询负载特征,同时将查询负载特征与不同的召回率相结合作为输入特征训练梯度提升决策树（GBDT）模型。在查询处理过程中,根据应用程序指定的召回率获取最终输入特征,并通过GBDT模型预测最优搜索参数,提升ANNS算法的吞吐量。在Text-to-Image、DEEP和Turing-ANNS数据集上的实验结果表明,当达到相同的目标召回率时,AdaptNNS方法相比于Baseline方法最多可将DiskANN和HNSW算法的吞吐量提升1.3倍,具有更高的近似最近邻搜索效率。     

GridOF:面向大规模数据集的高效离群点检测算法

作为数据库知识发现研究的重要技术手段，现有离群点检测算法在运用于大型数据集时其时间与空间效率均无法令人满意．通过对数据集中离群点分布特征的分析，在数据空间网格划分的基础上，研究数据超方格层次上的密度近似计算与稠密数据主体滤除策略．给出通过简单的修正近似计算取代繁复的点对点密度函数值计算的方法．基于上述思想构造的离群点检测算法GlidOF在保持足够检测精度的同时显著降低了时空复杂度，运用于大规模数据集离群点检测具有良好的适用性和有效性．     

离群数据挖掘在高炉物料消耗数据认证中的应用

物料消耗量是指导高炉生产,计算各项生产指标的重要计量数据.及时核对认证高炉物料消耗数据,将为企业的科学决策提供重要的依据.在分析比较离群数据挖掘算法的基础上,采用k-最近邻距离法,对高炉物料消耗数据进行离群数据挖掘,找到错误数据后,用金属料平衡法对其进行修正,实现高炉物料消耗计量数据的自动认证.基于上述思想所开发的系统,弥补人工认证的缺陷,提高数据的认证效率和准确性.     

高维数据离群点检测的局部线性嵌入方法

由于高维空间中数据点比较稀疏,用传统方法来检测高维空间中的离群点不能达到预期效果。提出了一种基于局部线性嵌入的离群点检测方法（OLLE）。在OLLE降维方法中,建立了一种有效的粗糙集模型,使数据集的下近似中的点保持局部线性结构。同时构造两个权重,使所有样本点保持局部近邻结构,且保证在降维的过程中使离群点远离正常点。最后,在低维空间中,采用基于最小生成树的k-最近邻启发式方法来检测离群点。通过一系列的模拟实验,证明OLLE方法能达到很好的降维效果,并且在低维空间中可以有效地检测出离群点。     

对随机投影算法的离群数据挖掘技术研究

[d]维点集离群数据挖掘技术是目前数据挖掘领域的研究热点之一。当前基于距离或最近邻概念进行离群数据挖掘时,在高维数据情况下的挖掘效果不佳,鉴于此,将基于角度的离群因子应用到高维离群数据挖掘中,提出一种新的基于随机投影算法的离群数据挖掘方案,它只需要用接近线性时间的方法就能预测所有数据点的基于角度的离群因子。该方法可以用于并行环境进行并行加速。对近似质量进行了理论分析,以保证算法的可靠性。合成和真实数据集实验结果表明,对超高维数据集,该方法效率高、可伸缩性强。     

基于KNN图的两阶段孤立点检测及应用研究

针对两种基于KNN图孤立点检测方法：入度统计法（ODIN）和K最邻近（K-nearest Neighbor,RSS）算法的不足,提出了一种新的改进方法：两阶段孤立点检测方法,并进行了适当扩充使之适用于数据集中孤立点数目未知情况下的孤立点检测。算法应用于“小样本,高维度”的基因微阵列数据集进行样本孤立点检测取得了很好效果,证明了此方法的有效性。     

一种改进的KNN网页分类算法

针对KNN算法懒惰分类和效率不高的特点,将训练数据集进行优化,提取有代表性的训练样本作为代表样本,用其代替整个训练集进行相似度比较。实验结果表明,使用代表样本集的分类性能与传统KNN算法的性能相当,缩短了分类时间,提高了分类效率,并且不需要估计K值,减少了人工估计值的偏差。     

基于KD-Tree的KNN文本分类算法

本文将KD-Tree应用到KNN文本分类算法中,先对训练文本集建立一个KD-Tree,然后在KD-Tree中搜索测试文本的所有祖先节点文本,这些祖先节点文本集合就是待测文本的最邻近文本集合,与测试文本有最大相似度的祖先的文本类型就是待测试文本的类型,这种算法大大减少了参与比较的向量文本数目,时间复杂度仅为O（log2N）。实验表明,改进后的KNN文本分类算法具有比传统KNN文本分类法更高的分类效率。     

基于KNN图的空间离群点挖掘算法

空间数据集中离群数据与正常数据之间的非空间属性值相差较大。针对该情况,提出一种基于K-最邻近(KNN)图的空间离群点挖掘算法。该算法通过所有对象的K近邻关系构造KNN图,将相邻对象非空间属性值的差作为2个对象点间的边权值,利用裁边策略去掉权值较高的边,从而识别出空间离群点和离群区域。实验结果表明,该算法的时间性能优于POD算法。     

数据规范化方法对K近邻分类器的影响

讨论最小-最大规范化、z-score规范化及小数定标规范化3种方法对K近邻分类器性能的影响,在12个标准UCI真实数据集和1个人工数据集上进行实验比较。实验结果表明,规范化方法在大部分数据集能上提高K近邻分类器的识别率。针对实验结果研究据规范化方法提升分类器性能的内在原因,给出根据数据属性的数值分布特点决定是否使用数据规范化方法的一般准则。     

基于K最近邻模型的青藏高原CMORPH日降水数据的订正研究

青藏高原的降水数据主要由遥感产品和多源观测数据融合产生,由于青藏高原的观测站点分布稀疏不均,遥感数据误差较大,因此常用的CMORPH(Climate Prediction Center Morphing Technique)等降水数据集精度有限。通过K最近邻(K-Nearest Neighbor,简称KNN)模型,可以建立环境(海拔、坡度、坡向、植被)、气象因子(气温、湿度、风速)和日降水量的关系,从而订正青藏高原的CMORPH日降水数据集,提高数据精度。对CMORPH日降水数据的误差分析表明,采用KNN模型订正后的CMORPH降水数据优于原始数据和采用PDF(Probability Density Function Matching Method)法订正的CMORPH数据,且空间分布较好地符合青藏高原的降水分布特征。     

基于代表点与K近邻的密度峰值聚类算法

密度峰值聚类(density peaks clustering, DPC)是一种基于密度的聚类算法,该算法可以直观地确定类簇数量,识别任意形状的类簇,并且自动检测、排除异常点.然而, DPC仍存在些许不足:一方面, DPC算法仅考虑全局分布,在类簇密度差距较大的数据集聚类效果较差;另一方面, DPC中点的分配策略容易导致“多米诺效应”.为此,基于代表点(representative points)与K近邻(K-nearest neighbors, KNN)提出了RKNN-DPC算法.首先,构造了K近邻密度,再引入代表点刻画样本的全局分布,提出了新的局部密度;然后,利用样本的K近邻信息,提出一种加权的K近邻分配策略以缓解“多米诺效应”;最后,在人工数据集和真实数据集上与5种聚类算法进行了对比实验,实验结果表明,所提出的RKNN-DPC可以更准确地识别类簇中心并且获得更好的聚类结果.     

基于KNN的Web文本分类方法的研究

为了更有效地组织Internet 上丰富的信息资源, 通过分析Web 文本的特点,提出了基于KNN 的Web文本分类方法,并结合具体实验在对数据进行预处理的基础上实现了KNN分类算法.实验表明,该方法训练数据规模大大减少,训练效率较高,同时具有较好的精确率和召回率.     

一种基于关联分析的KNN文本分类方法

KNN算法在数据挖掘的分支-文本分类中有重要的应用。在分析了传统KNN方法不足的基础上,提出了一种基于关联分析的KNN改进算法。该方法首先针对不同类别的训练文本提取每个类别的频繁特征集及其关联的文本,然后基于对各个类别文本的关联分析结果,为未知类别文本确定适当的近邻数k,并在已知类别的训练文本中快速选取k个近邻,进而根据近邻的类别确定未知文本的类别。相比于基于传统KNN的文本分类方法,改进方法能够较好地确定k值,并能降低时间复杂度。实验结果表明,文中提出的基于改进KNN的文本分类方法提高了文本分类的效率和准确率。