基于耦合自适应距离的高维异常检测算法

距离聚类方法是航天器等复杂系统实现遥测参数异常检测的常用方法之一,但在面对高维遥测数据进行异常检测任务时,往往会暴露出效率低下、精度劣化等严重问题。针对基于高维遥测数据的航天器异常检测难题,提出了一种基于耦合自适应的改进距离定义,并针对归纳监视系统(IMS)算法这一经典距离聚类算法进行了改进。该方法利用历史数据的分布特征,在进行聚类的同时,对于参数耦合性进行动态挖掘,并将挖掘到的知识高效地投入到异常检测任务。最后,采用运载火箭电源系统的真实高维遥测数据对所提方法进行了应用验证。在与多种传统基于IMS的异常检测方法的对比实验中,该改进算法检测效率与准确率较另两类IMS算法中的最优方法分别提升了41.83%和69.03%,验证了运用该距离定义的检测方法在效率与精确率上的优越性。     

用于转子故障诊断的改进小波聚类算法

为了快速准确地实现转子故障的模式识别与分类,提出了改进小波聚类方法。首先,从转子振动信号中提取峭度指标、功率谱重心和小波能谱熵三个特征向量;其次,量化特征空间,提取显著网格单元信息;然后,对显著网格单元内数据信息进行小波变换实现去噪处理;最后,应用广度优先搜索方法实现聚类。在改进小波聚类过程中,信息储存表的建立降低了空间复杂度,并使得原始数据与聚类结果建立了映射关系。应用广度优先原则搜索相邻的显著网格单元实现聚类,降低了聚类算法的复杂度。实验验证与比较说明,改进小波聚类算法能够扩展应用到高维数据空间,并且降低了高维数据空间的算法复杂度,提高了转子故障诊断的效率和正确率。     

群体智能点云光顺去噪算法

为避免点云数据处理过程中的过光顺和局部失真现象,利用基于核甬数的蚁群聚类算法对点云数据进行分析,在高维特征空间达到线性可聚的目的.通过核函数将散乱数据点的曲率及法矢映射到高维特征空间,并将它们在特征空间的加权距离作为相似性的度量,来分析可能的噪声点和局部特征.对法矢进行光顺调整时,采用类内方差自适应地确定调整阈值.实验结果表明,该算法比经典算法有明显的改善,并且较好地保留了原始数据的一些特征信息.     

基于监督学习的核拉普拉斯特征映射的FCM算法

监督学习的核拉普拉斯特征映射,通过非线性核映射将样本数据投影到高维核特征空间,将流形结构和样本类别信息进行有效的结合后,提取嵌入在高维数据中的低维流形特征用于模糊C-均值聚类中,这样可以有效解决高维数据集中新样本的泛化性,并且能有效提高聚类的效果。     

基于核函数距离测度的LLE降维及其在离群聚类中的应用

局部线性嵌入算法(locally linear embedding,LLE)是一种流形降维方法,在高维稀疏数据空间中,针对LLE不适合稀疏采样和欧氏距离公式的缺陷,研究该算法的扩展,引入核函数,并将样本映射到高维特征空间,核映射改善了样本的空间分布,改进的LLE方法在适当选取近邻点个数情况下,可得到良好的效果.对从高维采样数据中恢复得到低维数据集,通过本文提出的离群数据假设,并结合本文给出的离群聚类方法埘所得低维数据是否是离群数据进行判别.仿真实验的结果表明了该方法能够有效地发现高维数据集中的离群点,与此同时,该算法具有参数估计简单、参数影响不大等优点,该算法为离群点检测问题的机器学习提供了一条新的途径.     

核函数参数优化的聚类算法

研究了具有参数优化的核函数法及其在聚类问题中的应用.针对聚类问题,在以到各聚类中心欧氏距离为依据的样本聚类过程中,不存在类似于分类问题中最优超平面这一概念.但可以利用核函数法将样本空间映射到高维的特征空间上,使得在特征空间上样本的类内间距缩小和类间间距相对加大.给出了对一类核函数参数可优化的特征空间聚类算法,并分析了算法的复杂度,给出了降低复杂度的处理方法.通过实例说明了核函数参数优化法聚类的有效性.     

核函数参数优化的聚类算法

研究了具有参数优化的核函数法及其在聚类问题中的应用.针对聚类问题,在以到各聚类中心欧氏距离为依据的样本聚类过程中,不存在类似于分类问题中最优超平面这一概念.但可以利用核函数法将样本空间映射到高维的特征空间上,使得在特征空间上样本的类内间距缩小和类间间距相对加大.给出了对一类核函数参数可优化的特征空间聚类算法,并分析了算法的复杂度,给出了降低复杂度的处理方法.通过实例说明了核函数参数优化法聚类的有效性.     

特征保持点云数据精简

由于三维扫描设备采集的点云数据庞大,本文提出了一种特征保持的点云精简方法以在减少冗余数据的同时更好地保持原始曲面的几何特征。首先,利用K均值聚类法在空间域对点云全局聚类,对点云构建K-d树并以K-d树的部分节点作为初始化聚类中心。然后,用主成分分析法估计点云法矢和候选特征点,遍历每个聚类,若类中包含特征点则将该类细分为多个子类,细分时将聚类映射到高斯球。最后,基于自适应均值漂移法对高斯球上的数据进行分类,高斯球上的聚类结果对应为空间聚类细分结果,各聚类中心的集合为精简结果。以多个实物模型为例验证了算法的有效性。结果表明,本文方法精简的点云在平坦区域保留少数点,在高曲率区域保留更多的点。相比于非均匀网格、层次聚类、K均值点云精简法,该方法对包含尖锐特征的曲面精简误差最小,更好地保留了原始曲面的几何特征。     

抽样改进加权核大数据谱聚类算法

经典谱聚类算法将数据聚类转为图划分问题,在分析其Normalized Cut函数与传统加权核k-means等价基础上,设计了一种基于抽样改进加权核k-means算法的大规模数据集谱聚类算法,算法通过加权核k-means迭代优化避免Laplacian矩阵特征分解的大量资源占用,通过随机映射得到近似奇异值分解,并由近似奇异向量确定各点数据权重及抽样概率,以此得到快速合理抽样,通过数据抽样并将聚类中心约束到抽样点生成的子空间中,避免全部核矩阵的使用,从而降低经典算法的时间空间复杂度。实验结果表明,改进算法在保持与经典算法相近精度基础上,大幅提高了聚类效率,实验验证了改进算法的有效性。     

变工况滚动轴承异常状态局部切空间分类检测

变工况滚动轴承异常状态数据在特征空间上呈现高维模糊分类特征,异常状态数据的子特征分区极为困难,增加了轴承异常检测的难度。为此,提出变工况滚动轴承异常状态局部切空间分类检测方法。采用局部切空间排列法,降维处理变工况滚动轴承数据,使其在局部切空间满足分类空间映射条件,再利用深度置信网络,通过异常数据训练提取数据的异常特征。将提取的特征输入到SVM分类器中,利用非线性映射函数将二维特征矩阵映射到三维分类空间中再将超平面结构加入其中。在多项式核函数的引导下,找到对应的子特征分类区域,根据分类结果检测变工况滚动轴承的异常状态。实验结果表明：在调整轴承承载负荷前后,该方法针对异常状态的检测率较高,早期异常点检出所花时间较少。     

基于大数据分析的变频器异常检测方法

变频器设备机理复杂、设备监测数据异常样本少,导致在实际应用中基于经验和基于模型的异常检测方法操作性难、常规的数据驱动方法可行性差。针对上述问题,结合密度峰值聚类与时序运行数据的转移特点,提出一种基于大数据分析的变频器异常检测方法。该方法首先通过密度峰值聚类将运行数据聚类,然后将时序过程数据在不同类簇间的动态变化规律用概率表示,并基于聚类结果和转移概率提出异常检测体系框架,最后通过异常案例验证该方法的有效性,表明该方法能够正确识别变频器异常行为。     

基于卷积变分自编码器的异常事件检测方法

针对传统的异常事件检测方法中手工提取的浅层特征无法统一表达不同场景的表观和运动信息问题,提出了一种基于卷积变分自编码器(Con VAE)的异常事件检测方法。首先构建了一个卷积变分自编码器网络,以视频帧序列作为网络输入,提取场景的深度特征;接着采用多变量高斯模型对在所有帧序列的深度特征图中位于同一位置的特征向量进行拟合,获得对应于原始输入中不同感受野的多变量高斯模型;对于测试样本的深度特征在其对应的高斯模型中的拟合程度,作为异常检测的判断标准。使用UCSD异常事件检测数据集对本文提出的方法进行实验验证,在帧级别与像素级别两种级别的度量标准中,本文算法分别取得了95.7%和69.9%的受试者工作特征曲线下面积值。     

数据仓库系统中高维联机分析处理聚集数据存储技术研究

为解决高维聚集海量数据的存储与查询问题,通过分段共享数据立方体技术,将高维数据立方体划分成若干个低维数据立方体,并利用并行处理技术来创建这些分割的分段共享数据立方体及其聚集数据立方体,以实现高维数据立方体的并行创建和增量更新维护。理论分析与实验结果都表明,相对于以往的完全数据立方体创建和部分数据立方体创建等方法,基于分段共享数据立方体方法的性能有显著的提高。     

一种基于核的聚类色彩量化算法

针对K-均值聚类在色彩量化中的应用,提出了一种基于核的聚类色彩量化算法.将原空间中待聚类的样本通过非线性映射,映射到一个高维的核空间中,从而将非线性问题变为线性问题,并通过Delphi编程加以实现.实验结果证明,该算法计算简单,鲁棒性强,具有一定的实用价值.     

BGA焊球视觉检测算法及系统设计

为了实现对BGA焊球的自动检测,建立了自动视觉检测系统。对系统所采用的焊球特征进行提取及缺陷识别,基于高斯混合模型的分类器对检测算法进行研究。根据焊球的形状和尺寸特征设计了焊球缺陷识别和分类算法,并以锡多、锡少和毛刺缺陷为例,分析典型缺陷的识别算法。以焊球形状的圆度和特征区域的面积等特征参数为评价标准,构建二维特征空间。在二维特征空间线性组合的基础上,构建基于高斯混合模型的分类器。构建了训练样本集,并对该分类器进行训练,根据训练结果并结合应用实际修正了模型,并采用测试集对该分类器进行测试验证。实验结果表明,焊球缺陷检测算法的准确度为97.06%,漏判率为0%,检测可靠度为100%。该视觉检测系统满足了工程运用中对识别准确度、稳定性、可靠性等方面的要求。     

基于过采样投影近似基追踪的无人机异常检测

针对无人机飞行模式切换导致飞行数据在线异常检测准确率低的问题,提出基于过采样投影近似基追踪(OSPABP)的在线异常检测框架。首先利用滑窗和Z-score变换消除飞行数据流量纲,并抽取相关的飞行数据子集;然后过采样当前时刻子集的输入数据,放大异常数据对数据子空间的影响,并通过在线估计和追踪匹配过采样后数据子空间的投影近似基方向变化,从而判断子集实时输入数据的异常程度。同时该方法还可抑制飞行模式切换对异常检测效果的影响。采用Flight Gear模拟飞行数据和明尼苏达大学真实无人机飞行数据的实验结果表明,所提出方法对飞行模式切换敏感度低,可明显降低异常检测的误检率,并有效提高检测准确率。此外,算法的计算和存储复杂度均可满足机载处理要求。     

基于运行规律和TICC算法的风电SCADA高维时序数据聚类方法

针对大型风力发电机组高维SCADA时序数据的工况识别问题,结合风电机组运行规律和TICC算法,提出一种自动分割聚类方法。从高维的SCADA数据中选取风速、转速和桨距角等少量特定参数作为初始分割聚类对象,分析特定参数的运行规律,确定风电机组理论的运行工况。选取一段特定参数的历史数据,利用TICC算法进行离线聚类分割,获得聚类的最优特征参数。将最优特征参数作为TICC算法的输入,对新的特定参数时间序列数据进行分类。最后根据特定参数时间序列的聚类结果,对未进行分割的SCADA时序数据进行聚类处理。选取某2.5 MW双馈风电机组的SCADA时间序列数据对方法进行验证,同时将所提出的方法与FCM算法、GMM算法、K-Means算法进行对比研究。实例验证和对比研究表明,所提的聚类方法充分融合理论知识和TICC算法的优点,可高效处理高维SCADA聚类分割问题,同时保证聚类结果与理论分析结果一致性。     

基于背景判别与邻域补偿的高光谱异常检测

为克服高光谱局部异常检测算子背景虚警严重,探测效果不佳等问题,提出了基于核光谱角背景判别与邻域补偿的异常检测算法。算法从背景像元的筛选和探测结果的补偿两个角度提高像元探测精度,在背景像元的处理方面,提出了一种基于核光谱角距离相似度的背景像元筛选算法,将光谱分辨性能更强的核光谱角引入背景差异性判别过程,准确可靠地实现局部背景像元的筛选和优化;同时,针对异常检测算子探测精度不高等问题,引入邻域加权的空谱联合补偿机制,并提出基于核光谱角距离相似度的动态模板卷积补偿算法,显著增强了背景与目标的可分性。在与RX、LRX、KRX和CRD等异常检测算法的对比中发现,该算法表现出较强的探测性能,在抑制虚警和提高探测精度等方面达到了不错的效果。