基于HMM2的时间序列凝聚聚类算法

为弥补传统的基于隐M arkov模型在前提假设上的不足,提出了二阶隐马尔可夫模型。在研究二阶隐马尔可夫模型和凝聚算法在时空序列分析的基础上,提出了一种新的基于 HMM2的时间序列凝聚算法。该算法应用 HMM2对时间序列进行建模,合理考虑了概率和模型历史状态的关联性,按照相异度原则将序列聚成几个类,每个类用模型代表,进而对这些模型训练、合并及迭代得到聚类结果。实验比较了该算法与基于HMM算法的聚类质量,研究了聚类正确率与聚类数、距离正确率与模型距离的关系。结果表明,该算法比传统的基于HMM的聚类算法具有更好的性能。     

一种改进的DBSCAN算法及其应用

对网络流量等大规模数据,基于密度的DBSCAN聚类算法收敛时间过长、对某些流量聚类效果欠佳。在基于隐马尔科夫模型（Hidden Markov Model,HMM）的流量识别研究背景下,提出一种改进的DBSCAN算法,从减少每次区域查询次数及查询时间两方面提高算法的时间效率和准确率。并创新性地采用分治策略将新算法应用于自动构建网络协议的HMM模型。实验结果表明,改进的DBSCAN算法在保证聚类准确率的同时大大提高了时间效率,并能通过对网络流数据包进行聚类,正确完成网络协议HMM模型的自动建模。     

人体运动非监督聚类分析

提出了一种基于非监督学习的人体运动分析方法.该方法通过使用MDL准则约束下的HMM模型对连续运动序列进行分割和聚类,并实现对运动序列的自动分割和标记.该方法由两步组成,首先通过聚类将连续运动离散化,并按照最小描述长度准则在离散域得到初始解.在此基础上,返回到连续域训练MDL准则约束下的HMM模型.使用HMM模型可以进一步利用原始序列中的动态信息获得更精确的最终结果.通过对实际人体运动序列进行的实验验证了方法的有效性.     

基于“快速投票”算法的HMM／SVM混合识别模型及应用

提出一种基于隐马尔可夫模型（HMM）和支持向量机（SVM）的双层过滤识别系统。根据隐马尔可夫模型训练中不同结构的序列其L值分布范围不同的特点，对传统多类“投票模型”进行改进，提出一种“快速投票”算法。先用HMM对人类内含子和外显子进行识别，同时，对于L值区域有重叠造成识别率较低的部分，再用支持向量机进行第二次识别过滤。这一模型克服了传统用单一HMM识别方法的不足，实现了HMM和SVM的优势互补。实验表明，用HMM／SVM进行两类识别，其平均识别率达到了90％，进行多类识别，平均识别率达到了91．5％。     

基于扩展C型HMM人脸表情识别

隐马尔科夫模型(HMM)能够很好地对时间和空间建模,在对动态的表情序列进行识别时HMM取得了很好的识别效果。但是传统的HMM训练算法基于最大似然准则,在该准则下训练的HMM表情序列模型识别能力有限。针对这一不足,通过增加状态中心参数C对HMM模型进行了扩展,然后在此基础上使用状态空间上隐射算法来建立模型。试验结果表明所建立的扩展C型HMM模型和相应的算法提高了识别能力。     

基于最佳鉴别变换的HMM手写数字字符识别

基于隐马尔可夫模型(HMM)的手写字符识别方法是近年来的一个研究热点，针对HMM编码稳定性：郁建模过程复杂的问题，提出了一种新方法，即采用统计不相关最佳鉴别变换对模式进行特征抽取和降维，获得最佳鉴别特征向量．并在此基础上对各最佳鉴别方向的投影结果进行编码，作为HMM的观测值序列．由于统计不相关最佳鉴别变换保证了变换特征向量集类内散布最小．类间散布最大的条件，使HMM编码的稳定性和模式的可分性得到明显改善，通过对美国国家邮政局USPS手写字库的识别实验证实了该算法的准确性和鲁棒性。     

符号序列的概率向量聚类方法*

针对符号序列聚类中表示模型及序列间距离度量定义的困难问题,提出一种基于概率向量的表示模型及基于该模型的符号序列聚类算法。该模型引入符号序列的概率分布表示法,定义了一种基于概率分布差异的符号序列距离度量及该模型的目标函数,最后给出了一种符号序列K-均值型聚类算法,并在来自不同领域的实际应用序列集上进行了实验验证。实验结果表明,与基于子序列表示模型的符号序列聚类算法相比,所提方法在DNA序列和语音序列等具有较多符号的实际数据上,有效提高聚类精度的同时降低聚类时间50%以上。     

基于自编码器和隐马尔可夫模型的时间序列异常检测方法

针对已有基于隐马尔可夫模型(HMM)的时间序列异常检测模型的符号化方法不能很好地表征原始时间序列的问题,提出了一种基于自编码器和HMM的时间序列异常检测方法(AHMM-AD)。首先,通过滑动窗口对时间序列样本进行分段,按照分段位置形成若干时间序列分段样本集,由正常时间序列上不同位置的分段样本集训练各个分段的自编码器;然后,利用自编码器得到每个分段时间序列样本的低维特征表示,通过对低维特征表示向量集的K-means聚类处理,实现时间序列样本集的符号化;最后,由正常时间序列的符号序列集生成HMM,根据待测样本在已建HMM上的输出概率值进行异常检测。在多个公共基准数据集上的实验结果显示,AHMM-AD比已有的基于HMM的时间序列异常检测模型在精确度、召回率和F1值分别平均提高了0.172、0.477、0.313,比基于autoencoder的时间序列异常检测模型,在这三方面分别平均提高了0.108、0.450、0.319。实验结果表明,AHMM-AD方法能够提取时间序列中的非线性特征,解决已有HMM建模时间序列符号化过程中不能很好表征时间序列的问题,并在时间序列异常检测性能上也有显著提升。     

模糊神经网络模型混沌混合优化学习算法及应用

基于混沌优化的思想，提出一种新的模糊模型的优化学习算法．将模糊推理规则转化为模糊RBF网络模型，用模糊C均值(FCM)聚类算法和分区效验熵得到模型结构。用混沌变换序列寻优得到优化的中心初值群，用FCM获得最优聚类中心，最后获得模糊神经网络模型．将该方法应用于转炉终点磷含量预报模型。取得了较好的结果．     

改进的时序基因表达数据动态聚类算法

文[1]采用了一种基于动态模型的聚类算法,将时序基因表达数据作为一组时间序列进行动态的聚类分析,得到了较为理想的聚类结果。对上述算法在数据初始化方面进行了合理改进,并利用贝叶斯理论对数据的联合概率分布进行了重新分析。实验表明,提出的改进算法所得聚类结果明显优于原算法所得结果。     

基于密度聚类的HMM协作频谱预测算法

针对传统隐马尔科夫频谱预测中的时延长、预测准确度低的问题,提出了一种基于密度聚类(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)的HMM协作频谱预测算法。该算法采用DBSCAN算法将具有强相关性的频域信道聚为一簇,并以簇为单位对信道状态进行预测,通过减少预测次数来降低频谱预测时延;同时在时域利用多个次级用户协作预测的方法,通过融合各次级用户的初始预测结果来降低预测的不确定度。仿真实验表明,相比于传统的隐马尔科夫频谱预测算法,所提算法的频谱预测时延更短,准确度更高。     

一种改进的K_means聚类方法

针对传统K_means聚类方法采用随机选择初始聚类中心而导致的收敛速度慢的问题,本文结合空间中的距离度量提出一种改进的K_means聚类算法。该方法通过给出有效的启发式信息,选择较好的聚类中心,减少聚类达到稳定状态所需要的迭代步骤,加速算法的执行。标准数据集上的实验结果表明,与传统的K_means聚类方法相比,本文提出的改进的聚类方法收敛速度快,从而在较少的迭代后得到良好的聚类效果。     

基于多维网格空间的改进K-means聚类算法

K-means算法是被广泛使用的一种聚类算法,传统的K-means算法中初始聚类中心的选择具有随机性,易使算法陷入局部最优,聚类结果不稳定。针对此问题,引入多维网格空间的思想,首先将样本集映射到一个虚拟的多维网格空间结构中,然后从中搜索出包含样本数最多且距离较远的子网格作为初始聚类中心网格,最后计算出各初始聚类中心网格中所包含样本的均值点来作为初始聚类中心。此法选择出来的初始聚类中心与实际聚类中心拟合度高,进而可据此初始聚类中心稳定高效地得到最终的聚类结果。通过使用计算机模拟数据集和UCI机器学习数据集进行测试,结果表明改进算法的迭代次数和错误率比较稳定,且均小于传统K-means算法测试结果的平均值,能有效避免陷入局部最优,并且聚类结果稳定。     

优化初始聚类中心的K-means聚类算法

针对传统K-means算法对初始中心十分敏感,聚类结果不稳定问题,提出了一种改进K-means聚类算法。该算法首先计算样本间的距离,根据样本距离找出距离最近的两点形成集合,根据点与集合的计算公式找出其他所有离集合最近的点,直到集合内数据数目大于或等于[α]（[α]为样本集数据点数目与聚类的簇类数目的比值）,再把该集合从样本集中删除,重复以上步骤得到K（K为簇类数目）个集合,计算每个集合的均值作为初始中心,并根据K-means算法得到最终的聚类结果。在Wine、Hayes-Roth、Iris、Tae、Heart-stalog、Ionosphere、Haberman数据集中,改进算法比传统K-means、K-means++算法的聚类结果更稳定;在Wine、Iris、Tae数据集中,比最小方差优化初始聚类中心的K-means算法聚类准确率更高,且在7组数据集中改进算法得到的轮廓系数和F1值最大。对于密度差异较大数据集,聚类结果比传统K-means、K-means++算法更稳定,更准确,且比最小方差优化初始聚类中心的K-means算法更高效。     

结合初始中心优化和特征加权的K-Means聚类算法

为了提高传统K-Means聚类算法的聚类准确性,提出一种结合初始中心优化和特征加权的改进K-Means聚类算法。首先,根据样本特征对聚类的贡献程度获得初始特征权重,构建一种加权距离度量。其次,利用提出的初始聚类中心选择方法获得k个初始聚类中心,并结合初始特征权重进行初步聚类。然后,根据聚类精度来调整特征权重并再次执行聚类过程。重复执行上述过程直到聚类精度不再变化,获得最终的聚类结果。在UCI数据库上的实验结果表明,与现有相关K-Means聚类算法相比,该算法具有较高的聚类准确性。     

基于比对相似度动态矩阵聚类算法在基因序列中的应用

基于BAG图的聚类算法 ,利用聚类单元引导类的分割 ,保证聚类结果不会产生过多的类碎片 ,但其相似分数阈值Cutoff初始值和最长公共子串最小长度阈值Threshold如何确定并没有明确给出。提出基于比对相似度动态矩阵的聚类算法 ,并在此基础上明确给出了确定cutoff初始值和Threshold阈值的方法。实验结果表明该算法可以获得较好的聚类正确率。     

Clustering data with measurement errors

Traditional clustering methods assume that there is no measurement error, or uncertainty, associated with data. Often, however, real world applications require treatment of data that have such errors. In the presence of measurement errors, well-known clustering methods like k-means and hierarchical clustering may not produce satisfactory results.In this article, we develop a statistical model and algorithms for clustering data in the presence of errors. We assume that the errors associated with data follow a multivariate Gaussian distribution and are independent between data points. The model uses the maximum likelihood principle and provides us with a new metric for clustering. This metric is used to develop two algorithms for error-based clustering, hError and kError, that are generalizations of Ward's hierarchical and k-means clustering algorithms, respectively.We discuss types of clustering problems where error information associated with the data to be clustered is readily available and where error-based clustering is likely to be superior to clustering methods that ignore error. We focus on clustering derived data (typically parameter estimates) obtained by fitting statistical models to the observed data. We show that, for Gaussian distributed observed data, the optimal error-based clusters of derived data are the same as the maximum likelihood clusters of the observed data. We also report briefly on two applications with real-world data and a series of simulation studies using four statistical models: (1) sample averaging, (2) multiple linear regression, (3) ARIMA models for time-series, and (4) Markov chains, where error-based clustering performed significantly better than traditional clustering methods.     

Clustering data with measurement errors

Traditional clustering methods assume that there is no measurement error, or uncertainty, associated with data. Often, however, real world applications require treatment of data that have such errors. In the presence of measurement errors, well-known clustering methods like k-means and hierarchical clustering may not produce satisfactory results.In this article, we develop a statistical model and algorithms for clustering data in the presence of errors. We assume that the errors associated with data follow a multivariate Gaussian distribution and are independent between data points. The model uses the maximum likelihood principle and provides us with a new metric for clustering. This metric is used to develop two algorithms for error-based clustering, hError and kError, that are generalizations of Ward's hierarchical and k-means clustering algorithms, respectively.We discuss types of clustering problems where error information associated with the data to be clustered is readily available and where error-based clustering is likely to be superior to clustering methods that ignore error. We focus on clustering derived data (typically parameter estimates) obtained by fitting statistical models to the observed data. We show that, for Gaussian distributed observed data, the optimal error-based clusters of derived data are the same as the maximum likelihood clusters of the observed data. We also report briefly on two applications with real-world data and a series of simulation studies using four statistical models: (1) sample averaging, (2) multiple linear regression, (3) ARIMA models for time-series, and (4) Markov chains, where error-based clustering performed significantly better than traditional clustering methods.     

A framework of spatiotemporal fuzzy clustering for land-cover change detection using SAR time series

Compared with optical satellite images, synthetic aperture radar (SAR) images are less influenced by weather conditions such as cloud and haze. With the support of SAR image time series, a framework of change detection based on spatiotemporal fuzzy clustering is presented. This framework mainly consists of three components: (1) pixel-level SAR image time-series modelling, based on scale invariant feature transform (SIFT); (2) probability analysis of change node based on iterative binary partition-mean square error model of the series is calculated to ascertain change nodes; (3) spatiotemporal fuzzy clustering is used to determine the types of change detection. To validate the method, 26 SAR images of the study area between 2004 and 2010 are utilized to monitor annual changes of cultivated land to construction land, and comparative experiments are conducted to evaluate the detection accuracy. Experimental results showed that the proposed framework could effectively extract the change nodes and change pixels, with correctness of 84.52% and completeness of 82.64%, outperforming the traditional fuzzy clustering method, as well as traditional classification methods.