基于MapReduce的分布式近邻传播聚类算法

随着信息技术迅速发展,数据规模急剧增长,大规模数据处理非常具有挑战性.许多并行算法已被提出,如基于MapReduce的分布式K平均聚类算法、分布式谱聚类算法等.近邻传播(affinity propagation,AP)聚类能克服K平均聚类算法的局限性,但是处理海量数据性能不高.为有效实现海量数据聚类,提出基于MapReduce的分布式近邻传播聚类算法——DisAP.该算法先将数据点随机划分为规模相近的子集,并行地用AP聚类算法稀疏化各子集,然后融合各子集稀疏化后的数据再次进行AP聚类,由此产生的聚类代表作为所有数据点的聚类中心.在人工合成数据、人脸图像数据、IRIS数据以及大规模数据集上的实验表明:DisAP算法对数据规模有很好的适应性,在保持AP聚类效果的同时可有效缩减聚类时间.     

一种基于数据聚类的鲁棒SIFT特征匹配方法

针对噪声敏感造成的SIFT特征匹配鲁棒性低问题,提出一种基于数据聚类的两阶段特征匹配方法.在满足特征匹配几何距离最邻近本质要求下扩展了k d数据结构,使其不但能够完成算术平均化匹配特征离线聚类,而且能够实现第1阶段聚类特征在线匹配.在此基础上,给出一种概率最优投票策略选择关键图像进行第2阶段匹配,最后合并两阶段属于关键图像的所有匹配特征对.实验结果表明,对于大量存在重叠关系的图像集合,该方法能够有效减少重复特征数量,降低噪声信息对特征匹配的干扰,极大地提高特征匹配的鲁棒性.     

分布式粒子滤波实现无线传感器网络目标跟踪

为了延长无线传感器网络寿命,减小通信代价,提出一种层次型网络结构下基于粒子滤波的分布式跟踪算法.层次型网络由簇头节点和普通传感节点组成,簇头节点采用粒子滤波获得目标运动状态,联合当前时刻目标的本地估计位置、预测速度预测下一时刻的目标位置.并根据目标的预测位置判断是否转移簇首.目标离开节点探测范围后,节点进入休眠状态.实验表明,该方法能满足目标跟踪精度,并可有效的减少网络能耗,提高无线传感器网络使用寿命.     

基于杂度增益与层次聚类的数据匿名方法

数据匿名是发布数据时对隐私信息进行保护的重要手段之一.对数据匿名的基本概念和应用模型进行了介绍,探讨了数据匿名结果应该满足的要求.为了抵制背景知识攻击,提出了一种基于杂度增益与层次聚类的数据匿名方法,该方法以杂度来度量敏感属性随机性,并以概化过程中信息损失最小、杂度增益最大的条件约束来控制聚类的合并过程,可以使数据匿名处理后的数据集在满足k-匿名模型和l-多样模型的同时,使数据概化的信息损失最小且敏感属性的取值均匀化.在实验部分,提出了一种对数据匿名结果进行评估的方法,该方法将匿名结果和原始数据进行对比,并从平均信息损失和平均杂度2个方面来评估数据匿名的质量.实验结果验证了以上方法的有效性.     

基于Jaccard距离与概念聚类的多模型估计

Multi-RANSAC、RHT等方法难以有效实现多模型估计。为此,提出一种基于模型聚类的多模型估计方法。将数据点描述为所属模型的倾向集,把倾向集间的Jaccard距离描述为数据点的一种属性,基于该属性使用改进的Cobweb算法进行聚类。该方法无需预知模型数目和参数变换,可有效克服漏检、交叉模型误检等情况。实验结果表明,该方法具有高效、高精度等优点,适用于消隐点检测、相机自标定等领域。     

基于模糊聚类的图像型火灾检测

提出一种基于模糊聚类的图像型火灾检测算法。建立火焰颜色模型,利用像素运动累积法获取疑似目标的闪烁频率,借助有监督模糊聚类法合并同一疑似火焰区域中的不连通部分,依据火焰的运动特征进行火灾判定。实验结果表明,该算法误报率较低,运行效率较高,适用于多种场景的火灾检测。     

基于网络编码的分簇无线Mesh网络路由协议

传统的网络编码算法会增加网络的复杂性.为此,引入分簇的思想,提出一种基于网络编码的分簇无线Mesh网络路由协议以及一个用于平面型无线混合Mesh网络的分簇算法,根据相关性计算网络节点的度值,实现无线Mesh网络层次结构的划分.仿真结果表明,该协议能在一定程度上减小网络编码的复杂性.     

基于时序聚类的北斗位置冗余数据压缩算法

在北斗用户机的位置数据采集过程中,容易出现数据冗余现象。为此,分析导致数据冗余的原因,提出一种基于时序聚类的冗余数据压缩算法。该算法采用基于密度的聚类方法将数据集进行分簇,把属于同一类运动特征的位置数据归为一类,根据簇直径判断该簇是否为冗余数据,并对冗余数据进行压缩。实验结果表明,该算法可以正确标识冗余数据,实现数据压缩。     

WSN中基于分簇的改进路由协议

LEACH协议的非均匀分簇会造成网络节点能耗分布不均衡。为此,提出一种基于分簇的改进LEACH路由协议。根据节点剩余能量以及节点到基站的距离选举簇首,依据接收信号强度确定簇成员节点,并且成簇规模不得超过最大成员数。采用在簇首与基站之间建立多跳路由树的方法,向基站发送数据。仿真结果证明,改进协议能均衡网络负载,提高网络运行周期。     

基于MapReduce的JP算法设计与实现

针对大规模文本聚类分析所面临的海量、高维、稀疏等难题,提出一种基于云计算的海量文本聚类解决方案。选择经典聚类算法Jarvis-Patrick(JP)作为案例,采用云计算平台的MapReduce编程模型对JP聚类算法进行并行化改造,利用搜狗实验室提供的语料库在 Hadoop平台上进行实验验证。实验结果表明,JP算法并行化改造可行,且相对于单节点环境,该算法在处理大规模文本数据时具有更好的时间性能。