一种基于密度的分布式聚类方法

聚类是数据挖掘领域中的一种重要的数据分析方法.它根据数据间的相似度,将无标注数据划分为若干聚簇.CSDP是一种基于密度的聚类算法,当数据量较大或数据维数较高时,聚类的效率相对较低.为了提高聚类算法的效率,提出了一种基于密度的分布式聚类方法MRCSDP,利用MapReduce框架对实验数据进行聚类.该方法定义了独立计算单元和独立计算块的概念.首先,将数据拆分为若干数据块,构建独立计算单元和独立计算块,在集群中分配独立计算块的任务;然后进行分布式计算,得到数据块的局部密度,将局部密度合并得到全局密度,根据全局密度计算中心值,由全局密度和中心值得到每个数据块中候选聚簇中心;最后,从候选聚簇中心选举出最终的聚簇中心.MRCSDP在充分降低时间复杂度的基础上得到较好的聚类效果.实验结果表明,分布式环境下的聚类方法MRCSDP相对于CSDP更能快速、有效地处理大规模数据,并使各节点负载均衡.     

A Novel Density-Based Clustering Framework by Using Level Set Method

In this paper, a new density-based clustering framework is proposed by adopting the assumption that the cluster centers in data space can be regarded as target objects in image space. First, the level set evolution is adopted to find an approximation of cluster centers by using a new initial boundary formation scheme. Accordingly, three types of initial boundaries are defined so that each of them can evolve to approach the cluster centers in different ways. To avoid the long iteration time of level set evolution in data space, an efficient termination criterion is presented to stop the evolution process in the circumstance that no more cluster centers can be found. Then, a new effective density representation called level set density (LSD) is constructed from the evolution results. Finally, the valley seeking clustering is used to group data points into corresponding clusters based on the LSD. The experiments on some synthetic and real data sets have demonstrated the efficiency and effectiveness of the proposed clustering framework. The comparisons with DBSCAN method, OPTICS method, and valley seeking clustering method further show that the proposed framework can successfully avoid the overfitting phenomenon and solve the confusion problem of cluster boundary points and outliers.     

一种基于主题的文本聚类方法

现有的文本聚类方法难以正确识别和描述文本的主题,从而难以实现按照主题对文本进行聚类。本文提出了一种新的基于主题的文本聚类方法: LFIC。该方法能够准确识别文本主题并根据文本的主题对其进行聚类。本方法定义和抽取了“主题元素”,并利用其进行基本类索引。同时还整合利用了语言学特征。实验表明,LFIC的聚类准确率达到94.66%,优于几种传统聚类方法。     

一种结合密度聚类和区域生长的图像分割方法

提出了一种基于改进区域生长规则的彩色图像分割方法.采用RGB空间中的颜色相似系数度量像素间的颜色相似性,并将基于密度的聚类算法DBSCAN应用于区域生长规则.由于计算在RGB空间进行,省去了向其他颜色空间的转换过程,从而提高了图像分割效率.实验结果表明,此方法可对彩色图像进行有效分割,并具有一定的抗噪性.     

基于密度的最小生成树聚类算法研究

基于密度的方法是一种相当有效的聚类方法,能够发现任意形状的聚类,对噪声数据不敏感,但是聚类结果严重依赖于用户参数的合理选择。针对其存在的问题,将最小生成树理论与基于密度的方法相结合,提出了一种基于密度的最小生成树聚类算法。通过构造、分割最小生成树得到确定样本空间划分的最小生成子树;根据子树特性,产生局部密度参数;并对生成子树进行局部密度聚类。理论分析和应用结果表明。该算法不仅体现了基于密度聚类方法的优点,聚类结果不依赖于用户参数的选择,使数据聚类更合理,特别是对大型数据库非常有效;也体现了数据分区的思想,使其可以并行执行,进一步提高了信息处理的时空效率和性能。     

数据聚类中基于浓度噪音消除的可视化参数选择方法

可视化技术的发展极大地提高了传统数据挖掘技术的效率.通过结合人类识别模式的能力,计算机程序能够更有效的发现隐藏在数据中的规律和信息.作为聚类分析的重要步骤,噪音消除一直都是困绕数据挖掘研究者的问题,尤其对于不同领域的应用,由于噪音的模型和定义不同,单一的数据处理方法无法有效而准确地去除域相关的噪音.本文针对这一问题,提出了一个新型的可视化噪音处理方法CLEAN.CLEAN的独特之处在于它设计的噪音处理技术和提出的可视化方法有机地结合在一起.噪音处理算法为可视化模型生成所需数据,同时针对噪音处理算法选择可视化方法,从而达到提高整个数据处理系统性能的目的.这样不仅降低了噪音去除过程中主观因素的影响,还可以帮助数据挖掘程序去除领域相关的噪音.同时源数据的质量,算法参数的选择和不同噪音去除算法的精确性都可以在所使用的可视化模型中反映出来.实验表明CLEAN能够有效地帮助空间数据聚类算法在噪音环境下发现数据的自然聚类.     

一种基于排序子空间的高维聚类算法及其可视化研究

为了有效地发现数据聚簇，尤其是任意形状的聚簇，近年来提出了许多基于密度的聚类算法，如DBSCAN．OPTICS，DENCLUE,CLIQUE等．提出了一个新的基于密度的聚类算法CODU(clustering by ordering dense unit)，基本思想是对单位子空间按密度排序，对每一个子空间，如果其密度大于周围邻居的密度则形成一个新的聚簇．由于子空间的数目远小于数据对象的数目，因此算法效率较高．同时，提出了一个新的数据可视化方法，将数据对象看做刺激光谱映射到三维空间，使聚类的结果清晰地展示出来．     

基于神经网络的文本聚类促进本体的构建

通过使用SOM(Self-Orgahizing Map)进行聚类分析,得到自组织语义图,同时针对其中某些情况使用传统聚类算法k-medoids算法,在输出模块中确定每一类中的内容,以获得更为精确的结果并结合到本体内,用于解决由支持本体的构建和维护而引发的自动化问题。     

一种快速有效的Web文档聚类方法

以矢量空间模型VSM为Web文本的表示方法，提出了一种基于关联规则的Web文档聚类方法。实验证明：该方法能在保证文档聚类高精度的同时，依然保持高效率，其聚类性能明显优于传统Web文档聚类算法。     

一种基于本体的军用文书理解系统设计

本文提出了一套基于本体和自然语言理解相结合的军用文书理解的解决方案.系统通过信息抽取和军标本体匹配两个模块,针对军用文书与军队标号相对应的特点,通过计算机自动处理,将军用文书转化成一种无二义性的中间格式,传递给其他系统使用,以提高指挥作战的效能.     

基于本体的领域文档主题抽取方法研究

为了使抽取的主题词更能反映领域文档的内容,提出一种基于本体的领域文档主题抽取方法。该方法利用领域文档的特点,使用领域本体对文档词汇集进行过滤,排除非领域高频词汇的干扰并降低文档词汇集维度,从而提高算法效率和抽取质量;利用同/近义词典对文档候选主题词及其权重进行合并,降低同/近义词对抽取结果的影响,使得结果更加全面准确。实验表明,该方法具有较高的正确率和召回率。     

一种有效的基于本体的词语一概念映射方法

词语一概念映射是基于本体的语义检索的重要一环,对语义检索的查准率及查全率有很大的影响。在传统的基于关键词匹配的方法中,通常从词语一概念的共现程度来计算它们的相关度,这种方法没有考虑概念的属性及属性值,即丢失了概念的语义信息。针对这一问题,提出了一种词语一概念映射方法,该方法基于本体三元组一文档标注结果,利用概念一文档与词语一文档两重关系,首先计算出词语一概念的相关度与置信度,再实现词语一概念的映射。实验结果表明,该方法有效地提高了检索的效果。     

Effective Linkage Learning Using Low-Order Statistics and Clustering

The adoption of probabilistic models for selected individuals is a powerful approach for evolutionary computation. Probabilistic models based on high-order statistics have been used by estimation of distribution algorithms (EDAs), resulting better effectiveness when searching for global optima for hard optimization problems. This paper proposes a new framework for evolutionary algorithms, which combines a simple EDA based on order 1 statistics and a clustering technique in order to avoid the high computational cost required by higher order EDAs. The algorithm uses clustering to group genotypically similar solutions, relying that different clusters focus on different substructures and the combination of information from different clusters effectively combines substructures. The combination mechanism uses an information gain measure when deciding which cluster is more informative for any given gene position, during a pairwise cluster combination. Empirical evaluations effectively cover a comprehensive range of benchmark optimization problems.      

一种基于NMFSC的文本聚类方法

通过分析文本的特征,提出了一种基于稀疏约束非负矩阵分解（NMFsc）的文本聚类新方法。该方法用NMFSC分解词．文本矩阵来降低特征空间的维度,并依照稀疏约束更好地控制稀疏度,然后利用簇中文本的相似性进一步细化簇。实验表明,与基于k-means的文本聚类方法和基于NMF的文本聚类方法相比,此方法具有较高的归一化互信息值（NMI）,从而具有良好的聚类性能。     

一种基于SOM和K-means的文档聚类算法

提出了一种把自组织特征映射SOM和K-means算法结合的聚类组合算法。先用SOM对文档聚类,然后以SOM的输出权值初始化K-means的聚类中心,再用K—means算法对文档聚类。实验结果表明,该聚类组合算法能改进文档聚类的性能。     

Document Clustering Using Graph Based Fuzzy Association Rule Generation

With the wider growth of web-based documents, the necessity of automatic document clustering and text summarization is increased. Here, document summarization that is extracting the essential task with appropriate information, removal of unnecessary data and providing the data in a cohesive and coherent manner is determined to be a most confronting task. In this research, a novel intelligent model for document clustering is designed with graph model and Fuzzy based association rule generation (gFAR). Initially, the graph model is used to map the relationship among the data (multi-source) followed by the establishment of document clustering with the generation of association rule using the fuzzy concept. This method shows benefit in redundancy elimination by mapping the relevant document using graph model and reduces the time consumption and improves the accuracy using the association rule generation with fuzzy. This framework is provided in an interpretable way for document clustering. It iteratively reduces the error rate during relationship mapping among the data (clusters) with the assistance of weighted document content. Also, this model represents the significance of data features with class discrimination. It is also helpful in measuring the significance of the features during the data clustering process. The simulation is done with MATLAB 2016b environment and evaluated with the empirical standards like Relative Risk Patterns (RRP), ROUGE score, and Discrimination Information Measure (DMI) respectively. Here, DailyMail and DUC 2004 dataset is used to extract the empirical results. The proposed gFAR model gives better trade-off while compared with various prevailing approaches.     

基于本体的语义网络会话聚类和可视化方法

提出一种基于本体的网络会话表示方法,即语义会话,和一种会话聚类和可视化方法。会话聚类方面基于用户浏览网站的公共路径提出一种语义会话间的相似性度量——语义公共路径相似性度量(SMSCP),并且使用改进的kmedoids聚类算法衡量其有效性。在聚类结果可视化方面应用层云表来展示聚类结果。实验表明文中的聚类方法和可视化方法具有更好的有效性及可理解性。     

基于相异性选择的密度聚类算法研究

在最优K相异性算法（OptiSim）的基础上，提出一种扩展的最优K相异性算（EOptiSim）。由于EOptiSim在处理组合数据库和分布式数据库方面能弥补基本的OptiSim方法的不足，所以通过在DBSCAN算法之前应用0ptiSim或EOptiSim多样化代表性子集选择技术。在显著降低I／O耗费和内存需求的同时，不仅能够有效地聚类单一的大规模空间数据库，而且还能聚类大规模组合数据库或分布式数据库．实验结果表明本文的算法是可行、有效的．