基于多维聚类挖掘的异常检测方法研究

网络异常检测是网络管理中非常重要的课题,因此已在近年来得到广泛研究.人们在该领域提出了许多先进的网络流量异常检测方法,但是自动准确地对网络流量进行分类和识别来发现网络中的异常流量仍然是一个非常具有挑战性的问题.文中提出了一种基于多维聚类挖掘的异常检测方法,通过两个阶段来实现异常检测.第一阶段先通过多维聚类挖掘算法,自动对网络中的流量进行多维聚类,第二阶段通过计算多维聚类的异常度来实现异常检测.通过文中的方法,网络中的异常流量被自动归类到不同的有意义的聚类中,通过对这些聚类进行分析可以发现网络中的异常行为.最后通过实验对算法进行了验证,结果表明该方法能够有效检测网络中的异常流量.     

一种变栅格高维数据收缩聚类算法

针对数据挖掘领域中高维数据的聚类问题,提出一种变栅格的高维数据收缩聚类算法.主要是对数据箱按密度跨距进行排列,将数据点沿着密度梯度进行移动,产生浓缩聚类.采用大小可变的栅格对相连密度单元进行检测,当边界线不再改变时得到最优聚类结果.仿真结果表明,收缩聚类方法对低维、高维数据的聚类都具有良好效果.     

一种新型的基于密度和栅格的聚类算法*

针对网格和密度方法的聚类算法存在效率和质量问题,给出了密度和栅格相结合的聚类挖掘算法,即基于密度和栅格的聚类算法DGCA（density and grid based clustering algorithm）。该算法首先将数据空间划分为栅格单元,然后把数据存储到栅格单元中,利用DBSCAN密度聚类算法进行聚类挖掘;最后进行聚类合并和噪声点消除,并将局部聚类结果映射到全局聚类结果。实验通过人工数据样本集对该聚类算法进行理论上验证,表明了该算法在时间效率和聚类质量两方面都得到了提高。     

基于动态可重用性结构化分区融合的大数据清洗规则链自动生成方法

针对智能网络大数据分布正则性差的问题,提出基于动态可重用性结构化分区融合的大数据清洗规则链自动生成方法。先基于动态配置网络构建规则类型分布集,采用动态编译方法实现对数据的语义特征检测和稀疏参数辨识,采用多维关系网络分组检测方法进行数据的局部谱密度聚类。建立数据规则链的实体结构模型,通过数据聚类的张量表达实现动态可重用性结构化分区处理和信息融合,通过网络大数据的多维尺度扩展聚类处理,实现对干扰数据的分组滤波,基于链路的聚类方法实现对网络大数据的结构化数据重排,实现智能网络大数据清洗规则链自动生成。仿真测试结果表明,采用该方法进行网络大数据清洗的抗干扰性较好,清洗的准确回填性高于95%,且100条数据的平均清洗用时为12.6 ms,性能优于对比方法,提高了网络大数据信息提取和辨识能力,具有较大的应用价值。     

基于网络社团划分方法的多维数据聚类研究

为了解决传统聚类方法在多维数据集中聚类效果不佳的问题,提出了将网络社团划分的方法,并应用到多维数据聚类分析中。对于一个多维数据集,首先对分析对象进行特征提取,构建出每个对象的特征向量,通过计算皮尔森相关系数来度量不同特征向量之间的相似性,从而构建出一个相似性网络,采用Blondel算法对该网络进行社团划分达到聚类的效果。实验结果表明该方法可以在多维数据聚类中得到较好的聚类结果,准确率达到92.5%,优于K-means算法的75%。     

菲波那奇数列变栅格的数据收缩聚类方法研究*

利用菲波那奇数列对栅格尺度进行确定,结合边界确定方式和焦点定位方法获得一种有效的高维数据收缩聚类方法。从基于密度的聚类方法出发,研究密度跨距基础上的良好聚类时变栅格的获取方式,引入菲波那奇数列获取变栅格相应的网格;在实际数据聚类的过程中,采用数据点吸引的方式确定数据质心,通过数据移动和收缩获得最终聚类的焦点和形状。仿真实验的结果表明,本方法可以有效运用于二维和高维数据的聚类分析,在准确获取现有数据内部结构的基础上,具有一定的防噪声作用,可以依据焦点实现数据的有效收缩。     

基于聚类算法的多维数据库一致性检测与恢复方法研究

为提高数据一致性以及检索效率,提出一种基于聚类算法的多维数据库一致性检测与恢复方法。计算数据指标均值与标准差,标准化处理数据;利用K-means算法衡量不同数据属性的相似特征,建立特征簇,选择聚类特征;通过稀疏图描述数据间关系,利用多级图分割算法获取多个子图,通过凝聚层次聚类方法,判断子图间相似度,设定合并阈值聚类子图,根据聚类结果判断数据库的一致性;针对一致性较差的数据库,采用等价类算法构建恢复模型,实现多维数据库一致性检测与恢复。实验结果证明：所提方法检测速度快,恢复后数据库一致性较好。     

多维时间序列数据符号化表示方法的研究

提出了一种简单高效的多维离散时间序列符号化方法,该方法用模糊自适应共振理论（Fuzzy ART）对多维时间序列数据进行聚类,实现多维时间序列数据的符号化问题。同时,通过属性相关性预处理分析,过滤掉聚类中不相关或弱相关的属性,保证了聚类算法的准确性,将提出的算法应用于多维交通流数据的符号化,效果很好。     

结合SOFM的改进CLARA聚类算法

介绍了自组织特征映射（SOFM）算法及大规模应用聚类（CLARA）算法的基本思想,提出了一种首先利用SOFM算法对数据集进行粗聚类,确定簇的数目k和神经元的连接权向量,然后从数据集中找出与SOFM算法的神经元的连接权向量最相似的k个代表点作为CLARA算法的k个代表点的初始值的改进CLARA算法。实验结果表明,改进算法具有更高的聚类效率和更好的聚类质量。     

基于动态SOFM的网络入侵检测

针对目前入侵检测系统误报率过高、检测率不高和对未知入侵检测能力有限的缺陷,提出一种动态SOFM的网络入侵检测方法,定义了聚类节点信任度,并根据竞争结果、信任度、中心相似度,制定节点的增删策略,提升聚类效果。使用KDD99数据集进行实验,结果表明系统在保持误报率低的情况下,入侵检测率有所提高。     

A similarity-based robust clustering method

This paper presents an alternating optimization clustering procedure called a similarity-based clustering method (SCM). It is an effective and robust approach to clustering on the basis of a total similarity objective function related to the approximate density shape estimation. We show that the data points in SCM can self-organize local optimal cluster number and volumes without using cluster validity functions or a variance-covariance matrix. The proposed clustering method is also robust to noise and outliers based on the influence function and gross error sensitivity analysis. Therefore, SCM exhibits three robust clustering characteristics: 1) robust to the initialization (cluster number and initial guesses), 2) robust to cluster volumes (ability to detect different volumes of clusters), and 3) robust to noise and outliers. Several numerical data sets and actual data are used in the SCM to show these good aspects. The computational complexity of SCM is also analyzed. Some experimental results of comparing the proposed SCM with the existing methods show the superiority of the SCM method.     

无人机辅助的移动边缘计算中的任务分配策略

在使用无人机（UAV）作为计算卸载的数据收集器对用户设备（UE）提供移动边缘计算（MEC）服务的场景下,设计了一种通过UAV实现高效的UE覆盖的无线通信策略。首先,在给定UE分布的条件下,对于UAV的飞行轨迹和通信策略,使用了连续凸逼近（SCA）的优化方法来得出一种可以使全局能量最小化的近似最优解;此外,对于UE大范围分布或任务量较大的场景,提出了一种自适应聚类算法,以将地面的UE划分成尽量少的聚类,并保证每个聚类中全部UE的卸载数据都可以在一次飞行中全部完成收集;最后,将每个聚类中UE的计算卸载数据收集任务分配给一次飞行,从而达到减少单个UAV完成任务所需的派遣次数或多UAV执行任务所需的UAV派遣数量的目的。仿真结果表明,所提方法可以生成相比K-Means算法更少的聚类数量且能快速收敛,适用于UE大范围分布下UAV辅助的计算卸载场景。     

基于飞参数据的航空发动机故障预报研究

为了充分挖掘飞参数据的应用价值,研究了利用飞参历史数据对发动机进行故障预报的方法.从理论上分析了飞参数据中的几组参数与发动机性能的内在关系,论述了利用飞参历史数据对发动机的4类故障进行预报的可行性以及具体的预报方法,并结合某型飞机飞参系统实际记录的数据研究了该方法的应用.研究结果对于保障飞行安全具有重要意义.     

基于飞参数据和支持向量机的航空发动机建模

为了利用飞参数据进行航空发动机的状态监控,提出采用支持向量回归方法,建立空中飞行阶段发动机的工作模型,通过监控模型输出误差判断发动机工作是否正常。仿真结果表明,建立的模型能正确反映发动机各参数间的关系,适用性强,为发动机的状态监控奠定了基础。     

延迟计时滞回比较器在发动机故障检测中的应用研究

在试飞中利用发动机状态实时智能监视软件对发动机故障进行实时自动检测时,比较器是不可缺少的元件。但是鉴于试飞中遥测数据有时会同时受到毛刺和跳点干扰,因此,单门限比较器和滞回比较器不能满足使用要求。延迟计时滞回比较器在滞回比较器的基础上增加了一个延迟计时器,具有与滞回比较器一样的抗毛刺干扰能力。此外,延迟计时滞回比较器对跳点干扰同样是免疫的,具有很好的鲁棒性。     

基于XGBoost的民航飞机发动机性能参数预测模型

为提高民航飞机发动机性能参数的预测精度,本文提出一种基于模糊推理和XGBoost算法的发动机性能参数预测方法。对发动机进行总体性能分析,确定油门杆位置、气压高度、总温、全重、马赫数及飞行阶段为影响发动机性能参数的主要因素。其次采用模糊推理对快速存取记录器（QAR）数据进行纵向飞行阶段划分,消除人为划分训练数据对预测精度的主观影响。最后,建立各发动机性能参数的XGBoost预测模型,并与多种预测模型进行对比实验。实验结果表明：对发动机N1、燃油流量参数的预测,XGBoost预测模型相比支持向量回归（SVM）、线性回归模型和BP神经网络,其精度更高且不需要对训练数据进行缩放。     

WSN集成EPCglobal:环境感知的供应链监管

随着目前全球供应链管理网络体系（EPCglobal）的日趋成熟,供应链的管理已经不再局限于一个企业内部,开放式、多角色参与的供应链管理模式正在形成。通过物品上的EPC标识和一个分布式的信息系统,EPCglobal为流通物品创建了一条信息链,可追溯至此物品的供应链源头。从供应链管理的本质与发展趋势看,与真实环境的交互能力越强,交互数据越实时,越能更好地对供应链的实施全程监管。提出一个将WSN与EPCglobal的集成方案,无缝地绑定物品EPC标识和环境感知信息,可大大增强EPCglobal对生产和仓储过程的信息获取和处理能力,并提供统一接口供用户访问。WSN与EPCglobal的集成不仅是技术意义上的异种网络集成,更是对供应链信息化管理层面的一种拓宽和深化。     

SOFM神经网络在处理非空间属性中的应用

由于非空间属性维数较高,空间聚类算法在处理非空间属性约束时难点首先在于如何为这些非空间属性设定参数,然后是哪些非空间属性在聚类中将起主要作用,并真正影响聚类的结果。对这些问题进行了讨论,并提出使用神经网络中自组织映射的方法来首先选择哪些非空间属性将被优先考虑,使用自组织特征映射（SOFM）方法对非空间属性聚类,最后把非空间属性和空间属性聚类进行合并得到最终的聚类结果的方法。     

基于PCA/SOFM混合神经网络的矢量量化

针对自组织特征映射(SOFM)神经网络应用于矢量量化具有收敛速度慢、计算量大等缺点,本文提出了一种基于PCA/SOFM混合神经网络的矢量量化的算法,先用主元分析(PCA)线性神经网络对输入矢量进行降维处理,再用SOFM神经网络进行矢量量化。通过调整SOFM神经网络的学习函数、邻域权值及初始码书对网络进行优化。实验表明,改进算法缩短了图像压缩的时间,提高了码书的性能。     

基于贝叶斯网络的航班保障服务时间动态估计

针对航班保障服务时间估计的问题,考虑到航班保障服务流程的特殊性、复杂性以及影响因素的不确定性,提出了一种基于贝叶斯网络（BN）的航班保障服务时间估计模型。该模型把航空领域的专家知识与历史数据的机器学习相结合,使用贝叶斯网络的增量学习特性动态地调整BN模型,使其适应新的变化,进而不断更新航班保障服务时间的估计值。使用国内某大型枢纽机场信息系统内提取的数据,通过期望最大化（EM）方法对模型进行训练,得到了测试结果。实验结果分析与模型评价表明,所提方法能有效估计航班保障服务时间且具有较高的准确度。敏感性分析表明,航班到达时段的航班密度对航班保障服务时间影响最强。