大数据下的分布式精确模糊KNN分类算法

针对K近邻（KNN）方法处理大数据集的效率问题进行了研究,提出了一种基于Spark框架的分布式精确模糊KNN分类算法, 创新性地将Spark框架分布式map和reduce过程与模糊KNN结合。首先对不同分区中训练样本类别信息进行模糊化处理,得到类别隶属度,将训练集转换为添加类隶属度的模糊训练集;然后使用KNN算法对先前计算的类成员测试集计算得到◢k◣个最近邻;最后通过距离权重进行分类。针对百万级大数据集样本的实验,以及与其他算法的对比实验表明,所提算法是可行的和有效的。     

用于色情网页过滤中的KNN算法改进

针对互联网日益泛滥的色情信息,分析了向量空间模型中KNN算法,并对它的缺陷进行了改进,将其运用于色情网页过滤中,提出了一种色情网页过滤解决方案。该方法首先对特征项的选取和权重计算的方法进行了优化,然后使用改进后KNN算法进行网页分类。实验表明,通过改进,有效地降低了向量空间的维数,提高了网页分类的精度和速度,能有效地识别并过滤色情网页。     

用模拟退火改进的KNN分类算法

KNN(k Nearest Neighbor)算法是1种简单、有效、非参数的文本分类法,但缺点是样本相似度的计算量大,故不适用于有大量高维样本的文本。一方面,本文分析了KNN算法的优点和缺陷,采用了1种应用特征词提取和特征词聚合的方法来改进KNN算法在特征词提取方面的不足。另一方面,本文又深入研究了模拟退火算法思想,采用退火模拟思想的典型优化组方法和模拟退火算法原理来加快KNN算法的分类速度。最后,通过2种方法的加入改进了KNN分类算法。实验结果表明,本文提出的方法大大提高了分类算法的效率和性能。     

用于文本分类的改进KNN算法

采用灵敏度方法对距离公式中文本特征的权重进行修正;提出一种基于CURE算法和Tabu算法的训练样本库的裁减方法,采用CURE聚类算法获得每个聚类的代表样本组成新的训练样本集合,然后用Tabu算法对此样本集合进行进一步维护(添加或删除样本),添加样本时只考虑增加不同类交界处的样本,添加或删除样本以分类精度最高、与原始训练样本库距离最近为原则。     

基于KNN算法的组合式非搜索特征选择算法

随着特征维数的不断增长，搜索性特征选择算法付出巨大的时间代价，而非搜索性算法则由于其时间代价小，而且能有效去除冗余特征等优越性越来越受到关注。该文介绍了一种非搜索性算法——KNN特征选择算法，该算法通过计算特征间的相关性来消除冗余特征，时间代价小。在此基础上，该文提出了一种基于KNN算法的组合式非搜索特征选择算法。     

基于指纹识别特征选择的改进加权KNN算法

KNN是最著名的模式识别统计学方法之一。它是一种无参数分类方法,由于其分类的简单有效性,因此得到较为广泛的应用。但是对KNN分类系统的全面评价还有待进一步研究。提出的改进加权KNN算法相比之下具有更高和更加稳定的识别率。因为它在经典KNN算法基础上增加加权距离和类间相似度信息,比经典KNN这种单纯依靠投票的分类方法更加可靠,在分类识别研究中更具有研究和应用价值。     

基于改进KNN算法的交通流异常数据修复方法

交通流数据分析是交通规划、控制、管理等工作实施的基础。交通流数据异常会给交通状态辨识及交通管理和控制带来困扰,不利于交通领域各方面研究及工作的开展。因此,对异常数据进行修复具有必要性。为了提高交通流异常数据修复精度,进一步改善交通数据质量,构建了基于改进K近邻（K-Nearest Neighbor,KNN）算法的交通流异常数据修复模型。通过对KNN基础模型中k值和状态向量进行优选、提出距离占比的近邻值权重选取方式,实现对其模型的改进。为了验证模型的有效性,采用实测交通流数据进行实验分析。实验结果表明,改进的KNN数据修复模型具有更高的修复精度,其平均相对误差为9.88%,能够有效改善数据质量,为智能交通控制体系提供基础数据支持。     

基于AP聚类算法的联邦学习聚合算法

在传统的联邦学习中,多个客户端的本地模型由其隐私数据独立训练,中心服务器通过聚合本地模型生成共享的全局模型。然而,由于非独立同分布（Non-IID）数据等统计异质性,一个全局模型往往无法适应每个客户端。为了解决这个问题,本文提出一种针对Non-IID数据的基于AP聚类算法的联邦学习聚合算法（APFL）。在APFL中,服务器会根据客户端的数据特征,计算出每个客户端之间的相似度矩阵,再利用AP聚类算法对客户端划分不同的集群,构建多中心框架,为每个客户端计算出适合的个性化模型权重。将本文算法在FMINST数据集和CIFAR10数据集上进行实验,与传统联邦学习FedAvg相比,APFL在FMNIST数据集上提升了1.88个百分点,在CIFAR10数据集上提升了6.08个百分点。实验结果表明,本文所提出的APFL在Non-IID数据上可以提高联邦学习的精度性能。     

基于属性值信息熵的KNN改进算法

为了克服传统KNN算法,距离加权-KNN算法在距离定义及投票方式上的不足,提出了一种基于属性值对类别重要性的改进算法Entropy-KNN。首先定义两个样本间的距离为相同属性值的平均信息熵,此距离可通过重要属性值有效度量样本之间的相似程度,其次算法Entropy-KNN根据上述定义的距离选取与待测试样本距离最小的K个近邻,最后根据各类近邻样本点的平均距离及个数判断待测试样本的类别。在蘑菇数据集上的实验表明,Entropy-KNN算法的分类准确率高于传统KNN算法和距离加权KNN算法。     

非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径, 尤其在数据高度异构的情况下. 本文选取FedAvg算法与FedALA算法作为主要研究对象, 并提出其改进算法pFedALA. pFedALA通过令客户端在等待期间继续本地训练, 有效降低了由于同步需求导致的资源浪费. 在此基础上, 本文重点分析这3种算法中优化器的作用, 通过在MNIST和CIFAR-10数据集上测试, 比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能. 其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置. 实验结果表明: 1) pFedALA算法呈现出比FedALA算法更优的性能, 表现为其平均测试准确率较FedALA提升约1%; 2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异, 与其他主流优化器相比, SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.     

用于不均衡数据集分类的KNN算法

针对KNN在处理不均衡数据集时,少数类分类精度不高的问题,提出了一种改进的算法G-KNN。该算法对少数类样本使用交叉算子和变异算子生成部分新的少数类样本,若新生成的少数类样本到父代样本的欧几里德距离小于父代少数类之间的最大距离,则认为是有效样本,并把这类样本加入到下轮产生少数类的过程中。在UCI数据集上进行测试,实验结果表明,该方法与KNN算法中应用随机抽样相比,在提高少数类的分类精度方面取得了较好的效果。     

大数据下的快速kNN分类算法*

针对K最近邻算法测试复杂度至少为线性,导致其在大数据样本情况下的效率很低的问题,提出了一种应用于大数据下的快速KNN分类算法。该算法创新的在K最近邻算法中引入训练过程,即通过线性复杂度聚类方法对大数据样本进行分块,然后在测试过程中找出与待测样本距离最近的块,并将其作为新的训练样本进行K最近邻分类。这样的过程大幅度的减少了K最近邻算法的测试开销,使其能在大数据集中得以应用。实验表明,本文算法在与经典KNN分类准确率保持近似的情况下,分类的速度明显快于经典KNN算法。     

基于聚类算法的KNN文本分类算法研究

KNN算法是一种在人工智能领域如专家系统、数据挖掘、模式识别等方面广泛应用的算法。该算法简单有效,易于实现。但是KNN算法在决定测试样本的类别时,是把所求的该测试样本的K个最近邻是等同看待的,即不考虑这Ｋ个最近邻能表达所属类别的程度。由于训练样本的分布是不均匀的,每个样本对分类的贡献也就不一样,因此有必要有区别的对待训练样本集合中的每个样本。利用聚类算法,求出训练样本集合中每个训练样本的隶属度,利用隶属度来区别对待测试样本的K个最近邻。通过实验证明,改进后的KNN算法较好的精确性。     

简化的粒子群优化快速KNN分类算法

提出了一种有效的k近邻分类文本分类算法,即SPSOKNN算法,该算法利用粒子群优化方法的随机搜索能力在训练集中随机搜索.在搜索k近邻的过程中,粒子群跳跃式移动,掠过大量不可能成为k近邻的文档向量,并且去除了粒子群进化过程中粒子速度的影响,从而可以更快速地找到测试样本的k个近邻.通过验证算法的有效性表明,在查找k近邻相同时,SPOSKNN算法的分类精度高于基本KNN算法。     

用于大数据分类的KNN算法研究

针对KNN算法在处理大数据时的两个不足对其进行了研究,提出多层差分KNN算法。算法对已知样本根据类域进行分层,既避免了传统改进算法中剪辑样本带来的判别误差,又大大降低了无效的计算量;同时在最后一层采用差分的方法进行决策,而不是直接根据最近邻进行分类,大大提高了分类的准确性。实验结果表明,该算法在对样本容量大、涉及邻域多的大数据样本进行分类时能取得较好的分类效果。     

基于聚类改进的KNN文本分类算法

传统的KNN文本分类算法是一种无监督的、无参数的、简单的、较流行的且容易实现的分类算法,但是KNN算法在处理文本分类的过程中需要不断的计算待测文本与样本的相似度,当文本数量更大时,算法的效率就会更差。为了提高传统KNN算法在文本分类中的效率,提出一种基于聚类的改进KNN算法。算法开始之前采用改进统计量方法进行文本特征提取,再依据聚类方法将文本集聚类成几个簇,最后利用改进的KNN方法对簇类进行文本分类。实验对比与分析结果表明,该方法可以较好的进行文本分类。     

基于Storm的流数据KNN分类算法的研究与实现

KNN算法是一种简单、有效且易于实现的分类算法,可用于类域较大的分类。近年来对KNN算法的研究偏向于静态大数据集,不过,在越来越多的情况下要用KNN算法在线实时处理流数据。考虑到流式数据流量大,连续且快速,不易存储和恢复等特性,以及流处理系统Storm对流数据处理具有实时性、可靠性的特点,提出了基于Storm的流数据KNN分类算法,该算法首先对整个样本集进行划分,形成多个片集,然后计算出待分类向量在各片集上的[K]近邻,最后再将所有片集[K]近邻归约得出整体[K]近邻,实现待分类向量的分类。实验结果表明,基于Storm的流数据KNN分类算法能够满足大数据背景下对流数据分类的高吞吐量、可扩展性、实时性和准确性的要求。     

一种改进的关系数据数字水印算法

介绍了Agrawal算法,针对其容易破坏数据的使用价值和具有属性顺序敏感性等不足之处,提出了引入百分比约束和按属性名的散列值对属性进行排序的改进策略,并给出了改进算法。仿真试验证明,改进后的算法能够更有效地保护数据的使用价值,摆脱了属性顺序攻击的威胁,实现了完全的盲检测,并且更加实用。     

结合属性值贡献度与平均相似度的KNN改进算法

与传统的K-近邻算法不同,提出了一种结合属性值贡献度与平均相似度的KNN改进算法。首先考虑测试样本与相似样本点间的平均相似度,其次考虑不同类别中的相似样本点的个数,最后还考虑与相似样本相同的属性值对类别的贡献度。在蘑菇数据集上进行实验结果表明,改进后的KNN分类算法的准确率比传统的K-近邻分类算法的准确率更高。