基于层次密度聚类的去噪自适应混合采样

针对非平衡数据存在的类内不平衡、噪声、生成样本覆盖面小等问题, 提出了基于层次密度聚类的去噪自适应混合采样算法(adaptive denoising hybrid sampling algorithm based on hierarchical density clustering, ADHSBHD). 首先引入HDBSCAN聚类算法, 将少数类和多数类分别聚类, 将全局离群点和局部离群点的交集视为噪声集, 在剔除噪声样本之后对原数据集进行处理, 其次, 根据少数类样本中每簇的平均距离, 采用覆盖面更广的采样方法自适应合成新样本, 最后删除一部分多数类样本集中的对分类贡献小的点, 使数据集均衡. ADHSBHD算法在7个真实数据集上进行评估, 结果证明了其有效性.     

结合非局部均值的快速FCM算法分割MR图像研究

针对FCM算法分割医学MR图像存在的运算速度慢、对初始值敏感以及难以处理MR图像中固有Rician噪声等缺陷,提出了一种结合非局部均值的快速FCM算法。该算法的核心是首先针对MR图像中存在的Rician噪声,利用非局部均值算法对图像进行去噪处理,消除噪声对分割结果的影响;然后根据所提出的新的自动获取聚类中心的规则得到初始聚类中心;最后将得到的聚类中心作为快速FCM算法的初始聚类中心用于去噪后的图像分割,解决了随机选择初始聚类中心造成的搜索速度慢和容易陷入局部极值的问题。实验表明,该算法能够快速有效地分割图像,并且具有较好的抗噪能力。     

形态小波域声呐图像谱聚类去噪算法研究

针对声呐图像噪声污染严重的问题,在基于形态小波的声呐图像去噪方法中引入了谱聚类算法以实现低信噪比下图像的去噪.给出基于形态中点小波的声呐图像去嗓法,在此基础上引入谱聚类的概念,针对谱聚类能快速实现数据分类的特点,对形态中点小波分解后的高频小波系数进行分类,使得包含噪声与细节信号部分的小波系数得以分离.对分离后的两类小波...     

基于联合滤波的聚类稀疏表示图像去噪算法

针对非局部均值去噪算法中噪声对结构聚类影响的问题,提出了一种基于联合滤波预处理的聚类稀疏表示图像去噪算法。利用维纳滤波和巴特沃斯滤波联合滤波处理提取含噪图像中的高频分量,同时减小了噪声对聚类的影响;利用非局部均值去噪的思想将高频图像块进行聚类,每一类图像块单独进行字典学习,增强字典的自适应性;利用多循环字典更新的K-SVD算法进行类内字典学习,增强字典的描述能力。实验结果表明,与传统的K-SVD算法相比,该算法能有效保留图像的结构信息,并且提升了图像的去噪效果。     

基于粗糙集与密度峰值聚类的特征选择算法

特征选择可以有效地去除高维数据中的冗余和不相关的特征，保留重要的特征，从而降低模型计算的复杂性，提高模型精度。在特征选择过程中，针对数据中存在的离群点和边界点等可能影响分类效果的噪声数据，提出了基于粗糙集与密度峰值聚类的特征选择方法。首先，通过密度峰值聚类方法去除噪声数据，并挑出簇类中心；然后，结合粗糙集理论的思想，按簇类中心划分数据，并根据同一簇类的点应具有相同标签的假设，定义特征重要性评价指标；最后，设计了一种启发式特征选择算法，用于挑选出使簇类结构纯度更高的特征子集。在6个UCI数据集上，与其他算法进行了分类精度、特征选择个数和运行时间的对比实验，实验结果验证了所提算法的有效性和高效性。     

去噪处理下的复杂网络聚类优化模型研究

由于当前已有模型未能对加权复杂网络数据进行去噪处理,导致网络聚类结果和聚类质量不理想,聚类实际运行时间上升.提出一种基于空间关联性的加权复杂网络聚类模型,通过法向张量投票技术组建投影时的局部坐标系,获取网络编码局部几何结构,利用邻居节点间感知数据的空间关联性过滤噪声数据,同时使用坐标更新算法调整噪声点位置,实现复杂网络...     

一种改进的密度偏差抽样算法

随机抽样技术已经广泛应用于数据挖掘的各类算法中，它在处理分布均匀的数据集时非常有效，但在处理分布比较倾斜的数据集时容易丢失小的聚类。为此提出基于网格的密度偏差抽样算法，仅需要扫描一遍数据集就可以得到近似的密度偏差抽样。经实验测试分析表明，该算法不仅提高了聚类的正确性，而且抗噪声能力强、效率高，是解决海量数据挖掘的一种有效途径。     

高压动态校准的数据建模与补偿

提出采用小波包相关阈值法对测量数据进行去噪,对处理后的数据采用基于减法聚类和LMS算法的RBF神经网络来建立并补偿传感器模型。研究结果表明:小波包相关阈值法去噪优于常规的去噪方法,所提出的算法简单、收敛速度快、建立的模型精度高,并使传感器的非线性得到了有效的校正。     

大规模数据集下基于DBSCAN算法的增量并行化快速聚类

时空轨迹数据挖掘是发现移动对象行为模式的重要方式。针对海量轨迹数据处理的需求,提出一种增量并行化快速聚类算法。算法基于数据点的数量采用二分法对空间网格分区,结合贪心算法弹性重组分区,合理进行数据划分;进行本地局部聚类,获得合并簇候选集;采用R*-tree索引候选簇进行合并判断并处理;建立合并簇的无向无环图模型,并进行数据的全局重标签。实验结果表明:算法的弹性分区处理能有效地减少噪点数据,提高局部聚类的质量,采用R*-tree索引结构的合并策略有效提高了聚类的时间效率,聚类效果好,能实现大规模数据的在线处理。     

应用于三维点云数据去噪的改进C均值算法

针对三维激光扫描仪采集到的点云数据中离群点不易区分和去噪难度大的问题,提出了一种改进的C均值算法。通过分析三维点云数据特征,在传统C均值算法中引入模糊聚类权重因子,降低类内距离和拉大类间距离,有效增强了离群点特征以降低识别难度。进而将识别出的噪声分类别处理,利用改进的C均值算法去除大尺度噪声,构造双边滤波算法去除小尺度噪声数据。与密度聚类算法、正交整体最小二乘平面拟合和基于特征选择的双边滤波点云去噪等算法相比,去噪准确度分别提升了7.3%、6.5%和6.0%,实验结果表明该算法可以有效去除大尺度噪声并能较好地保留有效数据。     

云计算环境下数据弱关联挖掘模型的仿真

在对云计算环境下海量数据进行挖掘的过程中,容易出现大量冗余数据,造成数据间关联性降低,导致传统的基于模糊神经网络的云计算环境下海量数据中弱关联.由于容易陷入局部最小,无法有效完成弱关联的挖掘,提出一种采用弱聚类算法的云计算环境下海量数据中弱关联挖掘方法,通过数据的描述特征对数据特征进行分解,依据数据特征,对全部数据进行融合.基于关联决策概率将云计算环境下海量数据进行有效划分,完成所有数据特征关联概率的计算,通过弱聚类方法对属性元素进行分类,将数量型元素转换成类别型,通过弱化关联规则方法,对经聚类处理后的数据进行挖掘.实验结果表明,所提方法具有很高的高效性及有效性.     

基于DPC聚类重采样结合ELM的不平衡数据分类算法

采样技术与ELM分类算法进行结合可提高少数类样本的分类精度,但现有的大多数结合ELM的采样方法并未考虑到样本的不平衡程度及样本内部的分布情况,采样技术过于单一,导致分类模型的效率低下,少数类样本的识别率不高。针对此问题,提出了一种基于DPC聚类的重采样技术结合ELM的不平衡数据分类算法,首先根据数据集的不平衡程度分2种情况构建一个混合采样模型来平衡数据集;然后在此模型上运用DPC聚类算法分别对多数类样本和少数类样本进行分析处理,解决数据中存在的类内不平衡和噪声问题,使得2类样本相对均衡;最后使用ELM分类算法对得到的数据集进行分类。实验结果表明,与同类型分类算法进行比较,所提算法的2个分类性能指标在实验数据集上都有明显提升。     

基于MapReduce的Canopy-Kmeans改进算法

针对分布式Canopy-Kmeans算法中Canopy选取的随机性问题,采用"最小最大原则"对该算法进行了改进,避免了Cannopy选取的盲目性;采用MapReduce并行计算框架对算法进行了并行扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景。以海量互联网新闻信息聚类作为应用背景,对改进后的算法进行了实验分析。实验结果表明:该方法较随机挑选Canopy策略在分类准确率以及抗噪能力上都明显提高,而且在处理海量数据时表现出较大的性能优势。     

数据驱动的蒸发器在线建模方法

针对蒸发器离线建模方法对变量运行工况范围要求较大的问题，利用K-means算法对辨识模型的观测数据进行聚类筛选处理，提出一种基于数据的蒸发器在线建模方法。首先利用DB准则和PSO算法提出K-means算法中最优分类数K*和最优初始聚类中心的确定方法，提高算法的收敛速度，并使用改进的K-means算法获得各簇聚类中心来代替辨识模型的观测数据，减少模型辨识的数据量。然后利用已有的蒸发器模型结构以及模型辨识方法，对模型进行辨识。实验结果表明：利用聚类筛选前、后的观测数据所辨识的模型精度基本相当，分别在±3%和±3.5%以内。最后利用在线观测数据到各聚类中心欧氏距离的分析判断，提出蒸发器的在线建模方法。该方法可以先采用小工况范围的少量离线数据辨识模型，再利用在线数据修正模型参数，扩大模型的适用范围。     

一种新的散乱点云快速去噪算法

针对三维扫描仪获取的含噪点云数据会严重影响到后期三维重建的精度,提出一种新的散乱点云快速去噪算法。该算法首先通过改进的K-means聚类算法来建立点云的空间拓扑关系,然后对聚类后每一类的点云进行噪声点识别及去除。实验结果表明算法简单快速,在散乱点云实现有效聚类的基础上不但去噪效果良好,而且能够快速去除点云中的明显离群噪声点,保留理想目标点云。     

基于复合分析算法的智能电表数据应用

随着智能电表使用的普及化，其带来的海量数据得到了广泛关注。对这些数据的分析可获得众多有价值的信息。用户用电量预测是泛在电力物联网建设的核心内容。利用智能电表海量数据实现用户用电量的精准预测，是智能电表数据的重要应用方向之一。提出了基于模糊聚类、子群发现和长短期记忆(LSTM)神经网络相结合的复合算法，利用海量智能电表数据实现了用户用电量精准预测。首先，通过模糊聚类将区域内用户按用电量进行合理分类。然后，采用Apriori子群发现算法深度挖掘各子类中影响用电量的关联性因素，将各子类的相似日关联性因素和历史用电量作为LSTM的训练数据完成神经网络的训练。最后，实现了目标日的用电量精准预测。算例分析表明，该算法有效、可行。与其他预测方法相比，该算法剔除了非关联因素的影响，预测精度明显提高，实现了智能电表海量数据的高效利用。     

Hadoop云平台下的聚类算法研究

为了解决在面对海量数据时机器学习算法很难在有效时间内完成规定的任务,并且很难有效地处理高维度、海量数据等问题,提出了基于Hadoop分布式平台的谱聚类算法并行化研究。利用MapReduce编程模式,将传统的谱聚类算法进行重新编写;在该平台上用Canopy算法对数据进行预处理,以达到更好的聚类效果。实验结果表明了设计的分布式聚类算法在加速比等方面有良好的性能,并且在数据伸缩率方面效果明显,改进后的算法适合处理海量数据。     

联合ZINB模型与图注意力自编码器的自优化单细胞聚类

单细胞数据聚类在生物信息分析中具有重要作用,但受测序原理和测序平台的限制,单细胞数据集普遍存在高维稀疏性、高方差噪声和基因数据缺失的问题,导致单细胞数据在聚类分析和应用方面仍面临诸多挑战。现有的单细胞聚类方法主要针对细胞和基因表达间的关系进行建模,忽略了对细胞间潜在特征关系的充分挖掘以及对噪声的去除,导致聚类结果不理想,从而阻碍了后期对数据的分析。针对上述问题,提出了一种联合零膨胀负二项(Zero Inflated Negative Binomial, ZINB)模型与图注意力自编码器的自优化单细胞聚类算法(Self-optimized Single Cell Clustering Using ZINB Model and Graph Attention Autoencoder, scZDGAC)。该算法首先使用ZINB模型并结合可扩展的DCA去噪算法,通过ZINB分布更好地拟合数据特征分布,提升自编码器的去噪性能,并减小噪声和数据丢失对KNN算法输出的影响;然后通过图注意力自编码器在不同权重的细胞之间传播信息,更好地捕获细胞间的潜在特征进行聚类;最后scZDGAC采用自优化的方法使原...     

动态加权模糊核聚类算法

为了克服噪声特征向量对聚类的影响,充分考虑各特征向量对聚类结果的贡献度的不同,运用mercer核将待聚类的数据映射到高维空间,提出了一种新的动态加权模糊核聚类算法.该算法运用动态加权,自动消弱噪声特征向量在分类中的作用,在对数据没有任何先验信息的情况下,不仅能够准确划分线性数据,而且能够做到非线性划分非团状数据.仿真和实际数据分类结果表明,数据中的噪声对分类结果影响较小,该算法具有很高的实用性.     

基于非下采样Shearlet和几何结构的遥感图像无监督变化检测

提出了基于非下采样Shearlet和几何结构的遥感图像无监督变化检测新算法。首先将两幅SAR图像相减取绝对值得到差异图像,然后利用基于非下采样Shearlet自适应贝叶斯阈值去噪算法对差异图像进行去噪处理来减少噪声的影响。最后根据差异图像的局部几何特征和邻域信息构造跨特征矢量,再利用模糊C-means聚类算法对跨特征矢量聚类,聚类的结果为变化类和未变化类即最终的变化检测结果。实验证明:该算法对噪声的抗噪性能平稳而且有效,可以得到较好的检测结果。