一种混合模型的时序数据异常检测方法

对设备性能指标、用户数据指标的异常检测能有效地发现系统潜在故障,本文提出了一种混合异常检测方法。该方法利用k-means将历史数据按照时间进行划分,使用grubbs算法剔除历史数据中的噪音,并计算各时间段的阈值形成动态阈值,同时利用曲线拟合和ARIMA算法对预处理后的历史数据进行训练,得到对应的模型,作为判断异常的依据。该方法结合了统计学的高效、机器学习的准确,无需对数据进行标注,该方法能自动发现单指标和多指标异常。通过在几个系统的实际运维的检验,本文提出的方法能有效地发现缺数异常和系统异常,提高告警准确率,单指标的查全率达到100%,平均查准率为95.7%,算法的效率满足生产环境中的性能要求。     

基于树编辑距离的层次聚类算法

为了识别犯罪嫌疑人伪造和篡改的虚假身份,利用树编辑距离计算个体属性相似性,证明了树编辑距离的相关数学性质,对属性应用层次编码方法,提出了一种新的基于树编辑距离的层次聚类算法HCTED(Hi-erarchical Clustering Algorithm Based on Tree Edit Distance)。新算法通过树编辑操作使用最少的代价计算属性相似性,克服了传统聚类算法标称型计算的缺陷,提高了聚类精度,通过设定阈值对给定样本聚类。实验证明了新方法在身份识别上的准确性和有效性,讨论了不同参数对实验结果的影响,对比传统聚类算法,HCTED算法性能明显提高。新算法已经应用到警用流动人口分析中,取得了良好效果。     

社会网络分析和社团信息挖掘的三项探索——挖掘虚拟社团的结构、核心和通信行为

社会网络分析是数据挖掘的新热点。文中综述了社会网络分析研究动态，介绍了作者近期在社会网络挖掘方面的三项探索，包括:（a）虚拟社团的结构挖掘，讨论了初始社团生成、权重计算，社团树生成和社团结构挖掘算法。(b) 基于六度分割和最短路径社团核心成员挖掘，讨论了计算节点间的最短路径，根据六度分割定理的剪枝，基于SPLINE算法和中心度挖掘犯罪子团伙中的核心的技术。(c)基于用户属性的通信行为挖掘，讨论了用户个性和通信行为关系的量化描述，采用911事件解密数据来建立社会网络，用于模拟恐怖分子间邮件的收发。     

基于概念邮件系统的犯罪数据挖掘新方法

将数据挖掘技术应用于反犯罪和反恐怖是目前各国安全部门的研究热点。目前国内在分析犯罪和恐怖团伙之间联系行为等方面的研究工作有限。本文主要做了下列探索：（1）建立了一个可用的基于邮件用户个性特征和情报属性的概念仿真邮件系统CEM（Conceptual based EMail system），模拟潜在的犯罪和恐怖组织利用电子邮件进行通信的规律；（2）利用符合个性特征和情报属性上的正态分布，模拟真实的邮件进行数据的收发；（3）使用社会网络分析和时间序列分析方法对邮件通信量进行深层次分析，挖掘有意义的邮件通信模式，进而发现异常通信行为；（4）通过实验证明CEM系统具有很好的鲁棒性和伸缩性，可以准确地模拟大量用户的邮件收发，解决了目前仿真数据不足的缺点，并用于发现不同性格特征群体收发邮件的规律。     

基于个性特征仿真邮件分析系统挖掘犯罪网络核心

数据挖掘应用于犯罪集团或恐怖组织社会网络分析是一种新兴的研究方法,国内外在分析犯罪和恐怖组织之间通信行为方面的研究工作亟待深入.为了模拟社会网络中个体利用电子邮件进行通信的规律,设计了一种基于个性特征的仿真邮件分析系统MEP,提出一种利用个性特征判别矩阵计算个性特征矢量各个维度权重的新方法,借助符合用户个性特征的正态分布模型模拟真实的邮件通信行为.为了挖掘犯罪网络的核心成员,提出了一种基于社会网络分析挖掘犯罪组织核心成员的算法CNKM(Crime Network Key Membermining),并利用时间序列分析方法对邮件的收发规律进行深入分析,发现异常通信事件.实验证明了该文提出的仿真邮件分析系统的有效性和实用性,模拟邮件通信的平均误差小于10%,并验证了CNKM算法的有效性.