大数据下的快速kNN分类算法*

针对K最近邻算法测试复杂度至少为线性,导致其在大数据样本情况下的效率很低的问题,提出了一种应用于大数据下的快速KNN分类算法。该算法创新的在K最近邻算法中引入训练过程,即通过线性复杂度聚类方法对大数据样本进行分块,然后在测试过程中找出与待测样本距离最近的块,并将其作为新的训练样本进行K最近邻分类。这样的过程大幅度的减少了K最近邻算法的测试开销,使其能在大数据集中得以应用。实验表明,本文算法在与经典KNN分类准确率保持近似的情况下,分类的速度明显快于经典KNN算法。     

基于FLANN改进的KNN医疗分类算法

本文通过研究KNN（K-最近邻）算法在疾病预测领域的使用与分析,总结出KNN的2点不足,针对不足进行相应改进并提出F_KNN（循环最近邻搜索）算法：1）针对KNN计算量大、效率低下的缺点,本文采用FLANN（快速最近邻搜索）循环搜索与待测样本距离最近的点,记录若干个最近邻点作为最近邻点子集,利用此子集取代全集对待测样本进行计算,可以降低计算量,极大地提高了KNN算法效率;2）针对KNN难以对高维数据集分类的缺点,本文采用AHP（层次分析法）对样本的特征属性进行相关性研究,使用合适的参数分配权重,提高了KNN算法准确率。本文采用一组脑中风数据集对优化后的算法进行实验,实验结果表明,F_KNN准确率达96.2%。与传统KNN相比,F_KNN提高了分类性能且极大地提高了算法效率。在处理高维且较大的数据集时,F_KNN算法优势明显,具有较好的应用前景。     

基于特别的特征表示方法的局部线性KNN算法

提出了一种特别的特征表示方法,并在此基础上提出了一种基于特别的特征表示方法的局部线性K最近邻算法(locally linear K-nearest neighbor method,L~2KNN),并将之应用到人脸识别中。特别的特征表示方法是在传统的稀疏表示的基础上,加入了非负约束,改进了传统的稀疏表示的方法,在目标函数中增加了集群正则化项,然后优化新的目标函数得到一个新的近似的特征表示。L~2KNN算法具有最近邻集群效应(clustering effect of nearest neighbors,CENN),不仅可以增强测试样本与同类的训练样本之间的相关性,而且可以增强同类训练样本之间的相关性。L~2KNN算法进一步应用到L~2KNNc(L~2KNN-based classifier)分类器中,并提出一种系数截断的方法增加L~2KNNc分类器的泛化性能,进一步提高分类器的分类性能。在人脸数据集上的实验结果证明了上述结论。     

基于两阶段搜索的密度聚类算法

为克服当前密度聚类算法存在的随机性、主观性和连带错误等问题,提出一种基于两阶段搜索的密度聚类算法。给出密度阈值和簇最近邻定义及计算方法。采用密度排序、簇最近邻分配和自适应搜索策略构建算法的两阶段聚类机制,设计邻域递归搜索和簇最近邻搜索两个阶段的聚类算法,实现不同密度数据点的准确聚类。8个数据集聚类实验结果表明,该密度聚类算法聚类稳定,无噪声,且自动确定类簇数,聚类精度优于比较的密度聚类算法。     

基于K-Medoids聚类的改进KNN文本分类算法

为有效提高传统KNN算法(K最近邻算法)在海量数据的分类效率,分析传统KNN算法的分类过程,提出基于K-Medoids聚类的改进KNN算法。利用K-Medoids算法对文本训练集进行聚类,把文本训练集分成相似度较高的簇;根据待分类文本与簇的相对位置,对文本训练集进行裁剪,解决传统KNN算法在文本训练集过大时速度慢的问题。分析与实验结果表明,该裁剪方法能够合理有效地裁剪文本训练集,提高了KNN算法的运行效率和分类能力。     

一种基于Canopy和粗糙集的CRS-KNN文本分类算法

针对KNN算法的分类效率随着训练集规模和特征维数的增加而逐渐降低的问题,提出了一种基于Canopy和粗糙集的CRS-KNN（Canopy Rough Set-KNN）文本分类算法。算法首先将待处理的文本数据通过Canopy进行聚类,然后对得到的每个类簇运用粗糙集理论进行上、下近似分割,对于分割得到的下近似区域无需再进行分类,而通过上、下近似作差所得的边界区域数据需要通过KNN算法确定其最终的类别。实验结果表明,该算法降低了KNN算法的数据计算规模,提高了分类效率。同时与传统的KNN算法和基于聚类改进的KNN文本分类算法相比,准确率、召回率和[F1]值都得到了一定的提高。     

基于合作型协同进化的RBFNN分类算法

针对传统优化方法提高径向基函数神经网络(RBFNN)分类能力存在的问题,提出一种基于合作型协同进化群体并行搜索的CO-RBFNN学习算法.该算法首先利用K-均值算法对最近邻方法确定的网络初始隐节点聚类,然后以聚类后的隐节点群作为子种群进行协同进化操作,最终获得网络的最优结构.算法采用包含整个网络隐节点结构和控制向量的矩阵式混合编码方式,隐层和输出层之间的连接权值由伪逆法确定.在UCI的8个数据集上进行的仿真实验结果验证该算法的有效性和可行性.     

面向轨迹数据流的KNN近似查询

提出一种基于滑动窗口的K-最近邻(KNN)近似查询算法。将滑动窗口内数据通过聚类划分成若干大小不一的基本窗口,针对每个基本窗口给定一个采样率,对窗口内数据进行偏倚采样,形成数据流摘要,并基于该摘要,采用计算几何平面扫描算法执行分布式最近邻查询。仿真实验结果表明该算法有效,且具有较好的可扩展性。     

基于值差度量和聚类优化的K最近邻算法在银行客户行为预测中的应用

为提升贷款金融客户行为预测的准确性,针对传统的K-最近邻（KNN）算法在数据分析中处理非数值因素的不完备问题,提出了一种采用值差度量（VDM）距离的对聚类结果迭代优化的改进KNN算法。首先对收集到的数据信息进行基于VDM距离的KNN算法的聚类,再对聚类结果进行迭代分析,最后通过联合训练提高了预测精度。基于葡萄牙零售银行2008-2013年收集的客户数据比较可知,改进的KNN算法与传统的KNN算法、基于属性值相关距离的KNN改进（FCD-KNN）算法、高斯贝叶斯算法、Gradient Boosting等现有算法相比具有更好的性能和稳定性,在银行数据预测客户行为中具有很大的应用价值。     

二阶段近似KNN离群挖掘算法与应用

针对高维大数据集，提出了二阶段近似最近邻离群挖掘算法（TPOM），在聚类的基础上，通过加速最近邻查询和改善剪枝效率，提高了循环嵌套KNN算法的离群检测效率。应用分析表明，该算法对于实际数据集有良好的适用性和可扩展性，具有近似线性的时间复杂度。