基于非线性数据变换的离群点检测算法

为了提高高维数据集合离群数据挖掘效率,在分析了传统的离群数据挖掘算法优点和缺点的基础上,提出了一种离群点检测算法,首先将非线性问题转化为高维特征空间中的线性问题,然后利用非线性数据变换进行维数约减,对所得数据对象每个投影分量逐个判断数据点是否是离群点,通过实验证明该算法不仅可用于线性可分数据集的离群点检测,而且可用于线性不可分数据集的离群点检测,表明了算法的优越性。     

基于流形学习的离群点检测方法

为了提高高维数据集合离群数据挖掘效率,提出了一种基于流形学习的离群点检测算法.局部线性嵌入(locally linear embedding,LEE)算法是流形学习中有效的非线性降维方法,它的优势在于只定义唯一的参数,即邻域数.根据LLE算法的思想寻找样本数据的内在嵌入分布,并通过邻域数选取和降维后数据点之间的距离调整,提高了数据集中离群点发现效率,同时利用离群点权值判别式进行权值数据判定,根据权值的大小标识出数据集中的离群点,仿真实验的结果表明了该方法能够有效地发现高维数据集中的离群点.与此同时,该算法具有参数估计简单、参数影响不大等优点,该算法为离群点检测问题的机器学习提供了一条新的途径.     

基于特征选择和子空间搜索的离群点检测算法

为解决高维空间下基于密度的离群点检测的低精度和高计算量的问题,提出基于特征选择和子空间搜索的离群点检测算法。该算法先通过特征选择选择数据的主要属性,然后对这些属性进行子空间搜索,从而有效的降低维数和避免全局搜索。最后通过一个数据集的实验来说明该算法的有效性。     

基于离群分析的水位异常识别研究

面对海量的地震前兆监测数据流,传统的方式难以实现合理的分析和利用。引入时序数据挖掘的技术对地震前兆数据中的一个重要参数-地下水位进行时序分析和识别水位变化异常。从水位数据的自身特点出发,依据突变系数检测离群点,根据离群点分段,再结合基于距离的离群算法找出水位变化异常模式。实验结果表明,该方法可以比较简单直观地发现水位的异常变化。     

基于离群点的前沿趋势探测方法研究

针对科学前沿探测中的低频现特征,选取Web of Science 2006 -2010年的国际空间站(ISS)数据集,以高频聚类词簇外的低频现离群点为研究对象,分别构造数据集的包容指数、临近指数和等价指数矩阵,通过基于聚类的优选离群点算法,在ISS人体研究、微重力生物学、空间站技术、微重力物理学、对地观测、空间天文学等...     

基于双半径密度差异的孤立点检测算法

针对现有基于密度的孤立点检测算法的不足,给出了一种新的基于密度的孤立点定义,并提出了相应的基于双半径（DR）密度差异的孤立点检测（OD）算法——DROD。该算法通过考察数据空间内任一点的双邻域半径与邻域半径内的数据密度的差异,有效地识别孤立点。DROD算法摒弃了传统孤立点检测方法中的k-近邻查询,大大节省了时间开销。在人工数据集和真实数据集上的实验表明,与现有孤立点检测算法相比,DROD算法在时间复杂度和孤立点的寻找能力方面均有较优表现。     

基于相对密度的DNS请求数据流源IP异常检测算法

研究了域名系统(DNS)的异常检测.通过对基于相对密度的离群点检测算法的研究,提出了一种基于相对密度的DNS请求数据流源IP异常检测算法.该算法计算每个源IP的相对密度,并将该密度的倒数作为其异常值评分;在计算相对密度时,从查询次数、源端口熵值、所请求非法域名占比等9个维度来表示一个源IP.试验结果表明,这种基于相对密度的源IP异常检测方法,能正确地根据各个源IP不同的异常程度,给出其相应的异常值评分.     

基于毫米波雷达的运动目标点云聚类和扩展算法

用毫米波雷达对运动目标进行姿态识别时,雷达点云数据具有噪点多、分布离散的特征,传统基于密度空间的聚类算法对点云聚类成像的过程中,会出现邻近目标之间的点云分类错误及同一目标点簇聚类为多个点簇等问题。针对上述情况,提出一种运动多目标邻近点云优化聚类算法,利用自适应距离加权的模糊c均值算法对聚类结果进行修正,提高近邻目标点云聚类准确度。同时提出一种目标点簇扩展聚合算法,利用卡尔曼滤波对运动目标位置预测,将多帧迭代三维点云尺寸作为波门对目标点云进行点簇扩展,提高目标点云完整性。试验结果表明,所提方法能有效提高聚类准确度。     

基于相对密度核估计的实时剩余寿命预测EI北大核心CSCD

为更加准确评估系统运行过程中的实时剩余寿命,提出一种基于自适应相对密度核估计的实时剩余寿命预测建模方法。首先,建立非参数核密度估计剩余寿命预测模型,引入样本点k近邻思想计算样本点的相对密度自适应选择窗宽来提高在稀疏和密集区域选择窗宽的准确性和合理性;其次,在剩余寿命预测模型的建立上利用空间映射的方法建立相对密度核微分同胚变换方法来解决核估计在预测中的边界偏移问题,从而提高预测准确度。随着监测数据的实时变化,利用已知样本的核密度估计来递推更新得到新增样本的核密度估计。最后,通过算例分析来验证该方法的有效性和准确性。     

流形核与LPP相结合的毛杆折痕识别方法

针对毛杆折痕难以检测问题,将非线性流形的思想引入到折痕识别领域。提出运用流形核函数与局部保持投影相结合的方法进行毛杆特征提取。首先基于区域图像构造协方差矩阵作为图像特征,利用仿射不变度量作为样本点的距离测度。然后通过定义的黎曼核函数选择流形上的近邻点,使得近邻点的选择符合数据呈非线性流形的假设,并结合数据类别信息构造相应的核矩阵。最后利用局部保持投影算法对毛杆图像进行降维。实验结果表明,本文算法能够有效克服光照不均和残余绒毛等外部因素影响,具有较好的稳健性和较高的识别率。     

考虑随机效应的两阶段退化系统剩余寿命预测方法

针对退化过程呈现两阶段特征的随机退化系统剩余寿命预测问题,建立两阶段维纳过程退化模型,并引入随机效应描述样本间差异性。基于时间-空间变化方法以及变点处退化值的随机特性,给出首达时间意义下系统寿命分布解析表达形式。提出一种基于期望最大化(expectation maximization, EM)算法和贝叶斯理论的模型参数离线辨识和在线更新算法。最后,结合液力耦合器(liquid coupling device, LCD)的实际退化数据,验证所提方法的可行性与有效性,并说明其工程应用价值。     

一种改进的邻域保持嵌入高光谱影像分类方法

为进一步提高邻域保持嵌入算法(NPE)在高光谱影像分类中的识别性能,提出一种改进的半监督邻域保持嵌入(SSNPE)算法。首先,该算法在NPE算法的基础上同时利用同类标记样本和邻域未标记样本获得数据的邻域嵌入结构。然后,通过增加近邻标记样本的权重加大降维数据的鉴别性。最后,通过利用k近邻分类器(KNN)对样本进行分类得到该算法在数据集上的分类性能。在Urban、Indian高光谱影像数据集上的实验结果表明,改进的算法的分类精度相比其他算法提高了约8.3%、6.2%以上,分类性能上有了较为明显的提高。     

基于局部质心均值最小距离鉴别投影的旋转机械故障数据降维分析研究

针对旋转机械故障特征集非线性强、维数过高导致分类困难的问题,提出一种基于局部质心均值最小距离鉴别投影（Local Centroid Mean Minimum?distance Discriminant Projection,LCMMDP）的故障数据集降维算法。该算法在考虑样本的内聚性和分离性的同时,能够保持样本局部几何结构信息,反映样本与局部质心均值之间的近邻关系。从多个角度提取机械振动信号的混合特征,构建原始高维特征集,通过 LCMMDP 提取出低维敏感特征子集,利用改进的基于局部均值与类均值的 k?近质心近邻分类算法（k?nearest Centroid Neighbor Classification Based on Local Mean and Class Mean,KNCNCM）进行故障模式识别。所提方法集成了 LCMMDP 在维数约简和 KNCNCM在模式识别的优势,可得到较高的故障识别准确率。分别使用一个双转子系统数据集和仿真数据集验证了该方法的有效性。     

过程控制异常值的在线检测方法研究

提出了一种改进输入形式的径向基网络RBFN与自回归隐马尔可夫模型ARHMM相结合的异常数据检测方法,并通过引入核空间概念,用以解决过程工业中大量过程数据要求在线异常检测问题。该方法利用改进的RBF网络在核空间内预测待检测数据值,并根据核空间内的预测值与实际值偏差的大小,利用核ARHMM检测数据异常情况。改进的RBF网络能够方便地引入遗忘因子以及惩罚因子,从而增加算法的鲁棒性,提高检测的准确性。采用核ARHMM检测算法可以直接对数据异常情况作出准确判断,从而避免事先确定检测阈值的问题。通过实验与应用证明了该算法的实用性,与AR模型检测方法比较,该方法更适合于过程数据的异常检测问题。     

基于BDPCA聚类算法的航空发动机故障数据标记

航空发动机作为飞行器的动力核心对飞行器的安全飞行有着举足轻重的作用,保证航空发动机的平稳运行对飞行安全有着重大意义。在基于有监督学习的航空发动机故障诊断技术不断取得进展的同时,如何将平时获取的大量未标记数据转换为能够用来训练故障诊断模型的带标记数据,成为了制约行业发展的一大瓶颈。针对这一问题引入了基于无监督学习的DPCA算法,用以实现对未标记数据集的准确分类与标记,并针对DPCA算法在局部密度计算与簇类别数选择方面的缺陷进行了优化:针对原始DPCA算法应用标准高斯核计算局部密度易造成误识别的状况,引入共享邻域算法对局部密度的计算方法进行优化;针对原始DPCA算法需要人工研判确定簇类别数易造成的误识别状况,引入BIC选择准则对簇类别数的选择方法进行优化;提出了原始DPCA算法与共享邻域算法以及BIC选择准则相结合的BDPCA算法。最后应用航空发动机转子故障数据对BDPCA算法进行了性能验证并取得了良好的结果,证实了BDPCA算法在航空发动机气路故障诊断领域有较高的实用价值。     

近邻概率距离在旋转机械故障集分类中的应用方法

针对多种故障类型的特征属性相互交叉导致故障难以辨识的问题,提出一种考虑相邻点之间成为近邻点概率的新度量函数。将新提出的近邻概率距离(Nearby Probability Distance,NPD)应用于局部保持投影算法(Locality Preserving Projection,LPP)与K-近邻(K-Nearest Neighbor,KNN)分类器中,提出基于近邻概率距离的局部保持投影算法(Nearby Probability Distance Locality Preserving Projection,NPDLPP)与基于近邻概率距离的K-近邻(Nearby Probability Distance K-Nearest Neighbor,NPDKNN)分类器;首先通过时域、频域特征提取方法,将振动信号转化为高维特征数据集,然后通过NPDLPP将高维数据集降维到低维空间,最后将降维得到的低维敏感特征集输入到NPDKNN中进行模式识别;用一个双跨度转子系统的振动信号集合进行验证,证明了所提出的降维算法效果明显,它能够达到各个故障类型更好分离。研究表明,新提出的近邻概率距离较传统的欧式距离测度更能最小化类内散度,最大化类间分离度。     

基于混合滤波和DBSCAN的点云去噪算法

为了避免点云在人工去噪时的复杂工作流程,进一步提高点云去噪效率,在相关研究基础上,设计了一种基于混合滤波和空间密度聚类的点云去噪算法。首先,通过直通滤波去除点云的无效点;其次,采用统计滤波删除点云的大尺度噪声点;再次,利用空间密度聚类算法移除点云的小尺度噪声点。最后,通过相关点云测量数据对设计的算法进行仿真实验验证,并与传统点云去噪算法的计算结果进行对比分析。结果表明,所设计的算法去噪效果优于传统点云去噪算法。     

基于局部联合稀疏边缘嵌入的滚动轴承故障诊断EI北大核心CSCD

滚动轴承是机械设备的重要零部件之一,对其进行及时有效地监测和诊断对机械设备的安全运行有着重大意义。针对多源信息融合导致的高维性、信息冗余等问题,提出了一种基于局部联合稀疏边缘嵌入(locally joint sparse marginal embedding,LJSME)的轴承故障诊断方法。LJSME利用L 2,1范数来重构类间矩阵和类内矩阵并引入局部图保留高维特征间的邻域关系,且将L 2,1范数作为目标函数的正则项以保证特征提取的联合稀疏性,从而提高特征的敏感性和鲁棒性。首先从轴承振动信号中提取由时域和频域信息组成的高维特征数据集;随后利用LJSME提取高维特征空间数据集中的敏感低维特征;最后利用K-近邻分类器实现滚动轴承的故障模式识别。通过两组滚动轴承故障数据集对所提出的方法进行验证,与其他三种降维算法相比,所提算法能够有效地提取滚动轴承振动信号的敏感性特征。     

基于最近邻搜索耦合近邻损耗聚类的图像伪造检测算法

目的为了解决当前图像伪造检测算法在对图像进行伪造检测时,主要依靠全局搜索的方式来完成特征点匹配,导致其检测效率较低,且在对复杂伪造图像进行检测时,易出现检测精度不高和检测错误的不足。方法提出基于最近邻搜索耦合近邻损耗聚类的图像伪造检测算法。首先引入积分图像的方法,对图像进行预处理,借助Hessian矩阵行列式来提取特征点。利用特征点构建圆形区域,通过求取圆形区域内Haar小波响应获取特征点的特征描述符。然后通过特征描述符建立KD树索引,利用最近邻搜索方法代替SURF中全局搜索的方法,对SURF进行改进,完成特征点的匹配。最后,利用特征点间的近邻关系求取近邻函数值,通过近邻函数值对特征点进行聚类,完成图像的伪造检测。结果实验结果显示,与当前图像伪造检测算法相比,所提算法具有更高的检测效率以及更高的检测正确度。结论所提算法具备较高的检测精度,在印刷防伪与信息安全等领域具有较好的应用价值。     

S-DBSCAN: an algorithm for finding high density clusters based on DBSCAN

针对基于密度的带有噪声的空间聚类(DBSCAN)算法用于交互式数据挖掘时用户经常调整算法参数以发现感兴趣的知识以及数据集相对稳定的特点,提出了一种基于DBSCAN发现高密度簇的算法——S-DBSCAN算法,确定了需调整的算法参数——对象的邻域范围ε(Eps)和满足核心对象条件的ε邻域内最小对象个数MinPts,阐述了参数ε与MinPts的3种适合S-DBSCAN算法的变化情况,并给出了相应的证明,同时分析了算法的时间复杂度.在对真实和合成数据集的测试中,S-DBSCAN算法相比DBSCAN算法具有较好的效率.