APSCAN: A parameter free algorithm for clustering

DBSCAN is a density based clustering algorithm and its effectiveness for spatial datasets has been demonstrated in the existing literature. However, there are two distinct drawbacks for DBSCAN: (i) the performances of clustering depend on two specified parameters. One is the maximum radius of a neighborhood and the other is the minimum number of the data points contained in such neighborhood. In fact these two specified parameters define a single density. Nevertheless, without enough prior knowledge, these two parameters are difficult to be determined; (ii) with these two parameters for a single density, DBSCAN does not perform well to datasets with varying densities. The above two issues bring some difficulties in applications. To address these two problems in a systematic way, in this paper we propose a novel parameter free clustering algorithm named as APSCAN. Firstly, we utilize the Affinity Propagation (AP) algorithm to detect local densities for a dataset and generate a normalized density list. Secondly, we combine the first pair of density parameters with any other pair of density parameters in the normalized density list as input parameters for a proposed DDBSCAN (Double-Density-Based SCAN) to produce a set of clustering results. In this way, we can obtain different clustering results with varying density parameters derived from the normalized density list. Thirdly, we develop an updated rule for the results obtained by implementing the DDBSCAN with different input parameters and then synthesize these clustering results into a final result. The proposed APSCAN has two advantages: first it does not need to predefine the two parameters as required in DBSCAN and second, it not only can cluster datasets with varying densities but also preserve the nonlinear data structure for such datasets.     

基于无监督学习的交叉互联电缆行波测距方法

为提高交叉互联电缆故障测距精度,提出了一种基于无监督学习的交叉互联电缆行波测距新方法。首先结合直埋敷设方式的实际工程背景分析了电缆各个电流模量之间的关系,给出了采取三相护层电流之和作为故障测距信号的依据。其次,通过无监督学习的主成分分析法对由直接接地箱和交叉互联箱中采集到数据组成的高维矩阵降维,采用密度聚类算法对降维后的样本进行聚类。最后选取含样本量最少的簇类所匹配的区段为故障区段并用双端测距公式测距。PSCAD仿真结果表明,所提方法可避免交叉互联点对护层电流行波的影响,使得故障测距在不同故障距离下仍有较高的准确度和可靠性,且不受过渡电阻的影响。     

基于快速DBSCAN聚类的铁路异物侵限检测算法

在铁路建设及运营阶段,侵入限界的异物对既有线的安全行车构成极大威胁。将复杂的空间侵限检测转换为简单的平面内异物检测,研究利用二维激光测距传感器构建三维幕墙的侵限检测方法。在异物检测过程中,正常通过的列车不能认作异物,必须设计合理的算法检测并予以剔除。由于列车主要体现在轨道平面的检测结果中,重点研究通过分析扫描点云的分布特征对轨道平面内侵限物体进行分类的算法,提出了利用测量序列极值点作为核心对象的快速DBSCAN(density-based spatial clustering of applications with noise)聚类方法,并利用点簇的运动及分布特征判断是否为正常通过列车。现场试验表明,该方法能够有效区分侵限异物和正常通过的列车。     

基于区域比例的聚类方法

为了改善DBSCAN参数敏感性和对密度分布不均数据对象聚类质量不高的问题,提出了一种基于DBSCAN算法的改进聚类方法。算法使用K最近邻的均值距离度量密度,中心点选取当前密度最大点,并以中心点为核心点扩展种子队列,直至由给定的密度比例因子所决定的密度边缘。为了改善聚类质量,提出了候选核心点,并使用给定的半径比例因子发现核心点。在实验中,利用数据集对该算法进行了测试,测试结果证明了该改进算法的参数鲁棒性,和在聚类密度分布不均数据集时的较好性能。     

基于DBSCAN聚类算法的闪电临近预报模型

针对闪电定位仪中庞大而杂乱的定位数据,提出一种基于改进DBSCAN聚类算法(IDBSCAN)进行闪电聚类分析的方法。该方法依据闪电定位系统中的实时监控数据,搜索闪电密度大于阈值范围的地闪点,建立密度可达最大值的地闪聚类簇,并找到该簇类中的核心地闪点。同时,应用邻接表结构对DBSCAN算法进行改进,使得初始地闪数据的搜索集的建立时间和空间得到大大减少。在聚类分析结果基础上,对核心地闪点的移动路径进行拟合,从而预报下一时刻的核心地闪点位置。实验证明,将IDBSCAN算法应用在闪电临近预报中是有效的。     

类自动车牌识别轨迹数据的伴随车辆组挖掘

自动车牌识别（ANPR）数据比私人全球定位系统（GPS）数据更易获得,且包含更有用的信息,但是相对成熟的针对GPS轨迹数据挖掘伴随车辆组方法并不适用于自动车牌识别数据,现有的少量自动车牌识别数据伴随车辆组挖掘算法存在重视轨迹相似而忽视时间因素的缺陷,因此提出一种基于轨迹特征的聚类方法挖掘伴随车辆组。针对自动车牌识别数据中采样点固定而采样时间不定的特点,通过轨迹中共现的次数判定两个对象构成伴随模式。该共现定义引入豪斯多夫距离,综合考虑轨迹的地点、方向和时间特征,旨在挖掘数据中采样点不同但采样点距离近且轨迹相似的伴随车辆组,以此提高伴随车辆组挖掘效率。实验结果表明,所提方法较现有方法更能有效挖掘伴随车辆组,识别非伴随模式数据,效率提升了近两倍。     

基于动态近邻的DBSCAN算法

针对DBSCAN算法聚类参数敏感不易获取、参数固定无法适应密度不均匀数据等问题。提出了动态近邻的概念,即聚类参数随密度动态变化。设计了用于调整动态参数的近邻规模演化算法,即通过限制相对密度变化率,逐步调整近邻规模。最后根据动态的近邻规模,重新定义了DBSCAN算法核心对象的概念,并设计了基于动态近邻的DN-DBSCAN算法。仿真结果表明,DN-DBSCAN能够有效识别非凸及密度分布不均匀的数据样本,聚类效果优于传统DBSCAN算法和其他经典改进算法。     

基于Logsitic回归模型和自适应密度聚类算法的分行业负荷增长规律

电力企业营配大数据的持续积累为电力用户负荷发展规律的研究提供了良好的数据基础。传统分行业负荷特性研究方法在海量数据挖掘上存在一定局限性,且缺乏对用户负荷年度成长模式的研究。应用Logsitic回归模型自动识别电力用户的饱和水平值和增长速度,形成3项用户增长特性参数。应用参数自适应的密度聚类算法,分不同行业、不同规模搜索典型用户,获取增长特性参数的典型值,形成分行业分容量的典型负荷成长曲线。所提方法能够识别电力用户的负荷成长模式,降低数据维度,具备较好的大数据处理分析效果。最后对某沿海城市3万个电力用户进行模型验证,结果表明所提方法识别度较高,经挖掘得到的分行业负荷发展规律对负荷预测、电网规划有较强的指导意义。     

数据挖掘中聚类算法比较及在武警网络中的应用研究

聚类算法是数据挖掘的核心技术,根据评价聚类算法优劣的几个标准,对数据挖掘中常用聚类算法做了比较分析,根据各自特点,加以改进,并应用于武警部队数据挖掘项目中。通过运用改进型K-means算法,取得了较好的挖掘结果,为进一步信息的智能化检索、信息的过滤、分拣提供依据。     

基于DBSCAN聚类算法的研究与实现

高密度聚类作为数据挖掘中聚类算法的一种分析方法，它能找到样本比较密集的部分，并且概括出样本相对比较集中的类。文中分析了传统的聚类算法及局限性，讨论了一个基于高密度聚类算法的实现过程，使得算法可自动发现高维子空间，处理高维数据表格，得到较快的聚类速度和最佳的聚类效果。