一种基于密度的高性能增量聚类算法

提出并证明了一种基于密度的高性能增量聚类算法，算法的主要工作包括：(1)利用分区和抽样技术对数据进行抽取和清理。(2)利用密度和网格技术对数据进行聚类。(3)改变阈值后提出一种增量算法，只对受影响的点重新计算聚类。(4)在动态环境下，数据增删后的增量聚类算法。实验证明，该算法能很好地处理高维数据，有效过滤噪声数据，大大节省聚类时间。     

基于DBSCAN的批量更新聚类算法

为更新批量数据,提出一种基于DBSCAN的新聚类方法。该算法通过扫描原对象确定它们同增量对象间的关系,得到一个相关对象集,同时根据该相关对象和增量对象之间的关系获得新的聚类结果。实验结果表明,该算法与DBSCAN是等价的,能更有效地解决批量数据更新时的增量聚类问题。     

基于网格的多密度增量聚类算法

提出一种基于网格的多密度增量聚类算法MICG,定义含网格单元间的相对密度和重心距离的判别函数。当数据集的部分数据发生变动后,不需要对全部数据重新聚类,只需分析有数据变更的单元与邻居单元的关系,结合原有的聚类结果形成新的聚类,有效地提高了聚类分析的效率。时间复杂度与空间复杂度同数据集大小、属性个数成线性关系。实验结果表明,MICG算法能够处理任意形状和不同密度的类,有效地解决数据更新时的增量聚类问题。     

扩散涌现的增量聚类算法

为了有效聚类动态数据,妥善处理已存在的类簇与新增数据的关系,高效利用计算资源,提高聚类的效率,扩散涌现的增量聚类算法被提出.该算法在扩散涌现聚类算法的基础上,利用近邻传播算法完善了算法的分裂机制,实现了新旧数据的有效聚合.实验结果表明,该算法有效实现了动态数据的聚类,提高了聚合动态数据的效率和资源的利用率.     

一种基于网格的增量聚类算法*

分析了现有基于网格的聚类算法,该算法具有高效且可以处理高维数据的特点,但传统网格聚类算法的聚类质量受网格划分的粒度影响较大。为此,提出了一种基于网格的增量聚类算法IGrid。IGrid算法具有传统网格聚类算法的高效性,且通过维度半径对网格空间进行了动态增量划分以提高聚类的质量。在真实数据集与仿真数据集上的实验结果表明,IGrid算法在聚类准确度以及效率上要高于传统的网格聚类算法。     

一种有效的增量聚类算法

聚类是数据挖掘领域中最活跃的研究分支之一,聚类技术在其他的科学领域也有广泛的应用。迄今为止已经提出了大量的聚类算法,其中基于密度的DBSCAN算法因其很多优点而备受关注,为了减少DBSCAN的区域查询次数,降低I／O开销而提出的改进算法有FDBSCAN、LSNCCP等。随着应用的发展,增量聚类显得越来越重要,而现有的增量聚类算法存在很大的局限性。基于LSNCCP,提出了一种有效的增量聚类算法,同时它也可以用于对LSNCCP进行性能优化。     

基于相对密度的混合属性数据增量聚类算法

传统的基于密度的带噪声空间数据聚类算法主要存在以下问题:聚类只对具有数值属性的数据有效,而对具有非数值属性的数据失效;参数设置困难且聚类结果对参数较为敏感;聚类的度量以绝对密度值为标准,无法发现密度等级不同的聚类结果.针对以上问题,提出一种面向混合属性数据的、基于相对密度的聚类算法 RDBC M,同时提出解决这类问题的增量式聚类算法,并从理论和仿真实验两方面分析、验证了算法的有效性和加速效果.     

基于聚类融合的混合属性数据增量聚类算法

针对传统增量聚类方法对混合属性数据聚类时存在不稳定、随机性大和准确性不够高的缺点,提出一种基于聚类融合的混合属性数据增量聚类算法.该算法以传统增量聚类为基础,采用多种聚类算法的结果进行融合来代替原有单一划分,并重新修正了阈值的取值范围.实验表明,所提出的算法利用原有数据的特征,提高了聚类的稳定性和精确性,具有很好的聚类效果.     

支持实时增量更新的闭子树聚类算法

现有的树聚类算法在树数据库实时更新后无法及时更新已有的聚类结果。为此,建立一种支持实时增量更新的闭子树聚类模型,以解决闭子树的增量聚类问题并提高聚类效率。针对树的半结构化特性,将结点语义和结点-边的结构特性结合在一起,提出一种准确率更高的树相似性度量方法,在此基础上,利用CTUM算法、TC算法和UTC算法,分别解决闭子树增量更新、聚类和增量聚类等问题。实验结果表明,该算法具有较高的运行效率和聚类准确率。     

IncSNN——一种基于密度的增量聚类算法

基于密度的聚类算法是一类重要的聚类算法,能发现任意形状的簇,但由于它的时间复杂度较高,因此设计有效的增量更新算法是一个重要研究方向.在SNN算法的基础上,提出一种基于密度的增量聚类算法-IncSNN.该算法将所更新对象的空间进行划分,定义了基于该划分的最近邻居的概念,进而确定了受影响对象的集合,当算法更新时,只需要对受影响的数据进行处理.由于受影响对象的集合远小于原数据集合,因此显著提高了算法的效率.实验结果验证了IncSNN的有效性.     

一种基于密度的空间数据流在线聚类算法

为了解决空间数据流中任意形状簇的聚类问题,提出了一种基于密度的空间数据流在线聚类算法(On-line density-based clustering algorithm for spatial datastream,OLDStream),该算法在先前聚类结果上聚类增量空间数据,仅对新增空间点及其满足核心点条件的邻域数据做局部聚类更新,降低聚类更新的时间复杂度,实现对空间数据流的在线聚类.OLDStream算法具有快速处理大规模空间数据流、实时获取全局任意形状的聚类簇结果、对数据流的输入顺序不敏感、并能发现孤立点数据等优势.在真实数据和合成数据上的综合实验验证了算法的聚类效果、高效率性和较高的可伸缩性,同时实验结果的统计分析显示仅有4%的空间点消耗最坏运行时间,对每个空间点的平均聚类时间约为0.033 ms.     

进化数据流中基于密度的聚类算法

分析当前数据流聚类算法的优点及不足,提出一种新的进化数据流中基于密度的聚类算法——Sdstream算法,该算法能够分析并处理大规模进化数据流,利用真实数据集和仿真数据集对其进行性能测试,实验结果表明,该算法具有良好的适用性、有效性和可扩展性,能够取得较高的聚类效果。     

基于网络的数据仓库动态增量维护算法与模型

提出数据仓库动态增量维护算法和模型．文中阐述了动态增量维护算法、模型以及利用该算法对数据仓库视图的维护技术，并以基于网络的数据仓库为例，描述了动态增量维护算法在数据仓库系统中的实现技术．本算法与技术对数据仓库技术的发展及应用有着重要的理论意义和实用价值。     

障碍空间里基于密度的快速聚类算法

传统的聚类方法不能直接运用于分布空间内存在障碍物的数据的聚类.提出了一种障碍空间内基于密度的快速聚类算法DBCO来解决此类问题.DBCO中,在基于密度的聚类基础上引入了障碍模型,提出了一种保持数据间可见性的简化障碍的方法.为了使障碍模型不影响聚类质量,定义了障碍顶点距离、连接距离和判断距离来维持聚类的质量.另外,在聚类过程中,选择某一些代表点和拓展点而不是每一个点来对每一个聚类进行扩展,从而大大提高了聚类算法的效率.实验结果表明了DB-CO算法可以快速地得到高质量的聚类结果.     

一种用于位置数据库结构调整的增量聚类算法

在移动通信网络环境中,如何合理地组织和存储移动对象的配置信息,从而有效地降低查询和更新代价是位置管理中的一个重要问题.将数据挖掘应用到移动计算环境中是一项具有挑战性的研究课题,具有广阔的应用前景.区域划分能够优化位置数据库的拓扑结构,有效地降低查询和更新代价.但是随着时间的迁移,用户的移动模式会发生改变,导致原有区域的划分与当前的移动模式不符,因此产生了动态区域划分这一亟待解决的重要问题.聚类可以很好地解决区域划分问题,而对于动态区域划分问题,如果仍然采用聚类来解决,就等于重新划分,没有充分利用原有划分的信息,所需代价很大.提出了一种增量的聚类算法来解决动态区域划分问题.该方法以较小的代价调整原有划分,使得新得到的划分仍然满足区域划分所需满足的条件.     

基于密度的增量式网格聚类算法

提出基于密度的网格聚类算法GDcA,发现大规模空间数据库中任意形状的聚类.该算法首先将数据空间划分成若干体积相同的单元,然后对单元进行聚类只有密度不小于给定阈值的单元才得到扩展,从而大大降低了时间复杂性在GDcA的基础上,给出增量式聚类算法IGDcA,适用于数据的批量更新.     

增量式CURE聚类算法研究

聚类是一种非常有用的数据挖掘方法 ,可用于发现隐藏在数据背后的分组和数据分布信息 .目前已经提出了许多聚类算法及其变种 ,但在增量式聚类算法研究方面所作的工作较少 .当数据集因更新而发生变化时 ,数据挖掘的结果也应该进行相应的更新 .由于数据量大 ,在更新后的数据集上重新执行聚类算法以更新挖掘结果显然比较低效 ,因此亟待研究增量式聚类算法 .通过对 CURE聚类算法的改进 ,提出了一种高效的增量式 CU RE聚类算法 .它能够很好的解决传统聚类算法在伸缩性、数据定期更新时所面临的问题 .实验结果显示本算法是一种有效的增量式聚类算法     

一种改进的基于密度的抽样聚类算法

基于密度的聚类算法DBSCAN是一种有效的空间聚类算法,它能够发现任意形状的聚类并且有效地处理噪声。然而,DBSCAN算法也有一些缺点,例如,①在聚类时只考虑空间属性没有考虑非空间属性;②在对大规模空间数据库进行聚类分析时需要较大的内存支持和I/O消耗。为此,在分析DBSCAN算法不足的基础上,提出了一种改进的基于密度的抽样聚类(improved density-based spatial clustering algorithm with sampling,IDBSCAS)算法,使之能够有效地处理大规模空间数据库,并且它不仅考虑了空间属性也考虑了非空间属性。2维空间数据的测试结果表明,该算法是可行、有效的。     

一种面向数据仓库周期性查询的增量优化方法

大数据蕴含着巨大的价值.分析类查询是获取数据价值的一种重要手段.为及时把握分析结果的变化,查询需要周期性地重复.为此,将不可避免地引入对旧数据的重复分析.目前,以重用历史数据的中间结果,优化冗余计算为核心思路的增量分析技术,存在用户透明性不佳、对历史结果存储位置的选择不够智能化等问题,对周期性增量查询的优化效果有限.本文从兼顾用户透明性和优化收益的角度出发,设计了一种以语义规则为指导的增量优化方法.该方法扩展了增量描述语法,以查询操作符的操作语义和输出语义指导对历史数据存储、合并位置的选择,再根据代价模型和物理查询任务的划分位置对选择结果进行调整,生成优化后可以在分布式计算框架（如：MapReduce）周期性调度执行的物理查询任务.本文以Apache Hive为基础实现了上述方法的原型HiveInc.实验表明,对于扩展了增量语法描述的TPC-H测试集,HiveInc相比优化前,可以获得平均2.93倍,最高5.78倍的加速;与经典优化技术IncMR,DryadInc相比,分别可以获得1.69和1.61倍的加速.