基于大数据的高光谱图像分类算法

为解决图像分类精准度较低问题,提出基于卷积神经网络的高光谱图像分类算法。利用虚拟化样本降低分类难度,通过标准化均值差法加强凸显每个像素间曲线波动特征。构建光谱特征提取模型,通过卷积神经网络建立分类处理模型并确定整体分类流程,实现光谱图像的分类。实验结果表明,在同种数据集下,所提算法的分类精准度较为理想。且在训练样本较少的情况下,其应用效果也较好,能够为高光谱图像深入处理提供可靠的理论基础。     

基于背景残差数据的高光谱图像异常检测算法

针对高光谱图像微小目标检测中存在的严重背景干扰问题,提出了一种基于背景残差数据的非线性异常检测算法.首先利用提取的背景光谱端元对图像各像元进行光谱解混,实现了目标信息和复杂背景信息的分离;接着将含有丰富目标信息的解混残差数据非线性映射到高维特征空间,可以充分挖掘高光谱图像波段间隐含的非线性信息,并在特征空间利用RX算子完成目标的检测,从而在抑制大概率背景信息的基础上有效地利用了高光谱图像波段间的非线性统计特性.为了验证算法的有效性,利用真实的AVIRIS数据进行了实验研究,并与经典RX算法、未抑制背景的特征空间核RX算法的检测结果相比较,结果表明基于背景残差数据的检测算法具有良好的检测性能和较低的虚警,且运算复杂度较低.     

采用多分辨率分解的高光谱图像异常检测

针对异常检测中背景杂波的干扰问题,提出了一种基于多分辨率分解的异常检测方法.首先对高光谱图像进行分解,将其划分为不同频率的子块;其次,构造核函数来抑制背景杂波;最后将检测算子应用于处理后的子块,重构图像,检测出异常目标.由于图像被分解到不同频带,子块中包含的背景信息大大减少,此时对子块进行检测,很好地削弱了背景杂波对搜...     

基于改进快速密度峰值聚类算法的电力大数据异常值检测分析

针对传统聚类算法对于大数据背景下大量电力大数据异常监测过程中存在的问题,提出在电力大数据异常值检测中的快速密度峰值聚类算法的改进.对传统基于密度峰值空间聚类方法进行分析,得到传统算法在使用过程中的问题.提出了快速密度峰值聚类算法的改进,对自适应参数与聚类中心自动的选择,通过标准化局部密度与距离对大数据异常值进行评测,能...     

基于大数据驱动的光纤通信网络异常入侵检测研究

当前网络异常入侵检测主要依托于信息熵法,在检测过程中并未对入侵提取结果进行分类,导致最终检测结果误报率较高。为降低检测结果误报率,因此,研究了一种基于大数据驱动的光纤通信网络异常入侵检测方法。首先小波阈值对光纤通信信号进行去噪处理,通过信息增益算法、前向选择和后向去除相结合的方法完成通信数据特征降维,然后应用粗糙集理论和决策树算法构建入侵信号提取检测模型,最后通过聚类算法整理所有异常信号,再根据信号相位差值得到异常入侵定位检测结果。实验结果表明：面对两个不同的测试数据集,所提方法得到的异常入侵检测结果误报率最大值分别为2.75%、2.02%,能够满足入侵检测要求。     

基于离群点检测算法的电力大数据异常值检测

目前提出的电力大数据异常值检测方法由于检测过程中无法提取异常特征,因此检测到的异常电流和异常电压所在时间不同,为此提出基于离群点检测算法的电力大数据异常值检测方法。利用高斯混合模型中提取电力大数据异常值的特征,通过离群点检测出符合距离要求的异常值,初步检测易于识别的异常数据。分析离群点与异常值分布密度之间的关联性,确定更深层次的异常值,使用离群点进入数据簇中和聚类中心中寻找缺少异常特征的异常值。实验结果表明,基于离群点检测算法的电力大数据异常值检测方法检测到的异常数据离散情况和振幅波动响应状态具有一致性,异常电流和异常电压所在时间都为0.3～0.4 s,证明了方法的可行性。     

基于Fukunaga-Koontz变换的高光谱图像异常检测

高光谱图像异常检测算法通常是基于数据变换,在新的特征空间中进行的.针对WDEST算法没有使得异常目标和背景在新的特征空间中有较好的分离,提出了一种基于Fukunaga-Koontz(FKT)变换的高光谱图像异常检测算法.该算法利用FKT对高光谱图像局部窗口中数据进行变换,使得在新的特征空间中异常目标和背景有相同的特征向量和互补的特征值,较之WDEST算法得到了更好的分离,在有效提高检测概率的同时降低了虚警概率;经与RX算法比较表明,该算法对于较大异常有更好的适应性,并用真实数据进行实验证明了算法的有效性.     

利用NSCT分解的高光谱异常检测

针对因背景复杂而导致高光谱异常检测效果降低的问题,提出了一种基于背景抑制的异常检测方法.首先对高光谱图像进行NSCT分解,得到各个波段的低频图像,然后对图像的低频信息做差,得到背景残差图像,对背景残差图像在做突出目标信息处理,最后使用KRX算法对处理后图像异常检测,并与其他方法进行比较,证明本文方法的有效性.     

利用背景残差数据检测高光谱图像异常

针对高光谱图像微小目标检测中存在的严重背景干扰问题,提出了一种基于背景残差数据的非线性异常检测算法.首先利用提取的背景光谱端元对图像各像元进行光谱解混,实现了目标信息和复杂背景信息的分离;接着将含有丰富目标信息的解混残差数据非线性映射到高维特征空间,可以充分挖掘高光谱图像波段间隐含的非线性信息,并在特征空间利用RX算子完成目标的检测,从而在抑制大概率背景信息的基础上有效地利用了高光谱图像波段间的非线性统计特性.为了验证算法的有效性,利用真实的AVIRIS数据进行了实验研究,并与经典RX算法、未抑制背景的特征空间核RX算法的检测结果相比较,结果表明基于背景残差数据的检测算法具有良好的检测性能和较低的虚警,且运算复杂度较低.     

基于光谱角背景纯化的高光谱异常检测算法

为了解决利用高光谱图像进行异常检测时结果不准确、虚警率较高的问题,提出了一种基于光谱角背景纯化的异常检测算法。该算法以局部RX算法为基础,根据光谱角距离分离出内外窗口间背景像元中的异常成分,得到纯化后的背景像元,然后进行异常检测。为验证算法的有效性,选取了两组机载可见光/红外光成像光谱仪真实高光谱数据进行仿真实验,并与经典的全局RX、局部RX算法进行对比。结果表明,与局部RX算法相比,该算法在两组数据下的曲线下面积分别提高了0.0317和0.0053。这些结果为下一步的研究方向提供了参考。     

基于三维纹理分割的高光谱图像异常检测

一幅复杂背景的高光谱图像可以看成是由不同纹理组合而成,纹理的统计特性可以近似用高斯分布来描述。采用纹理分割实现复杂背景的分解,从而突破异常大小和形状的限制。采用三维高斯马尔科夫场来描述高光谱图像背景的分布特性,利用最大似然估计得出模型参数,以此参数为特征进行纹理分割,在各纹理上计算像素的统计特性,进行异常检测。     

基于云计算的电力异常大数据检测系统设计

为了解决传统电力异常大数据检测系统存在检测精准度低的问题,提出基于云计算的电力异常大数据检测系统.根据系统总体结构设计系统硬件,使用Android和IOS原生开发框架作为移动端底层框架,利用H5技术实现Web端代码共用.使用两个二进制数码"0"和"1"展示数据,使用RabbitMQ技术作为消息队列存储大数据,依据数据缓...     

基于大数据技术的网络异常检测方法

在当今的经济和科技环境下,网络运用已经成为人们生活的一部分。随着网络技术的逐渐升级,人们的生活与网络之间的联系也越来越紧密,但是随之而来的还有一系列网络故障问题,而这也是网络公司必须面对的问题。众所周知,网络故障会给人们的工作和生活带来一定的影响,而为了给网络用户带来更好的使用体验,就要及时处理网络异常并采取有效的行动,以减少网络故障的发生。大数据分析技术是解决网络故障的有效工具之一,其能够很好地帮助相关人员进行故障诊断,因而本文对大数据背景之下网络异常的检测方法进行了探索,希望能够更好地促进网络技术的长远发展。     

高光谱图像异常检测算法研究进展

异常检测算法不需要利用光谱的先验知识,而能直接检测出与周围景物光谱存在明显差异的光谱信号所在位置,是高光谱遥感应用领域一个重要研究方向,在民用和军事上都有重要的理论价值和应用前景。深入分析了目前主要的异常检测算法,并对各算法的优、缺点分别进行了评述。最后,指出了此领域今后的研究方向。     

基于小波神经网络的光纤网络大数据异常负载检测方法

光纤网络中断现象时有发生,不仅影响了信息传递的完整性,也影响了信息传递的效率。造成这一问题的主要原因在于光纤网络存在异常负载情况。针对上述问题,为了能够实时掌握光纤网络运行状态,研究一种基于小波神经网络的光纤网络大数据异常负载检测方法。该研究利用NetFlow技术设计一个采集器,采集光纤网络流量数据;利用EMD算法分解网络流量数据,得到若干个IFM分量;计算光纤网络流量特征集合中每一个特征的重要性系数,选出排名靠前的K个特征作为输入,利用小波神经网络实现异常负载检测,结果表明：利用所研究方法进行光纤网络大数据异常负载检测,S_ROC数值均保持在0.8～1.0之间,说明所研究方法性能在很准确和非常准确之间,表现较好。     

基于协峭度张量的高光谱图像异常检测

高光谱图像中的异常像元往往具有在图像中出现的概率低和游离于背景数据云团之外的特点,如何“自动”确定这些异常像元是高光谱遥感图像处理中的一个重要研究方向。经典的高光谱异常检测方法一般从图像的统计特性入手,广泛应用的RXD异常检测算法通过计算图像的2阶统计特征,可以直接给出异常点的分布情况,算法复杂度低,但缺点是没有考虑到图像的高阶统计信息。基于独立成分分析的异常检测算法虽然考虑了高阶统计量对异常点的敏感性,但需要反复迭代提取异常成分后,再对提取后的成分进行异常检测。该文提出一种基于协峭度张量的异常检测算法,该算法不需要事先提取异常成分,可以直接对观测像元进行逐一检测,从而给出异常点的分布情况。基于模拟数据和真实数据的实验结果表明,该方法能够在检测出异常像元的同时更好地压制背景信息、减小虚警率,从而提高异常检测精度。

     

一种新型高光谱实时异常检测算法

异常检测是高光谱遥感技术应用的一个重要方向.然而随着高光谱数据量的增大,实时处理成为高光谱异常检测方法所面临的主要问题.基于此,文中提出了一种新型的高光谱图像实时异常检测方法.随着数据的实时下行传输,该异常算子仅仅利用了待检测像元之前已获取的所有像元信息,而并没有用到尚未获取的像元信息,使得数据边传输边处理成为可能;同时,利用卡尔曼滤波器的递归思想,用Woodbury引理从上一时刻的状态更新目前信息,避免了重新计算历史信息及存储所有像元,在大大缩短算法运行时间的同时,大大降低了所需的存储空间.接收机特性曲线显示,与传统异常检测算法相比,这种新型实时算法可获得几乎相同的检测精度.在不影响检测效果的前提下,时间复杂度曲线和算子运行时间可显示提出算法的时效性.与此同时,提出的的状态更新公式不需要重新计算已有像元信息,因此只需两个存储单元存储前一时刻的状态(协方差矩阵或相关矩阵)以及当前的新像元信息,从而大大降低了算法所需的存储空间.     

一种新型高光谱实时异常检测算法

异常检测是高光谱遥感技术应用的一个重要方向。然而随着高光谱数据量的增大,数据传输及实时处理成为高光谱异常检测方法所面临的主要问题。基于此,文中提出了一种新型的高光谱图像实时异常检测方法。 该方法异常检测算子仅仅利用了待检测象元之前的所有象元信息,而并没有用到以后象元的信息;同时,利用卡尔曼滤波器的递归思想,用Woodbury引理从上一时刻的状态更新目前信息,避免了重复记录及计算历史信息。实验结果显示,与传统异常检测算法相比,这种新型方法在不影响检测效果的前提下,能够实现实时异常检测。     

基于联合核协同的高光谱图像异常目标检测

在目前的高光谱图像异常目标检测算法中,通常 只考虑高光谱图像的光谱特性而忽 略其空间 特性,针对这一问题,提出了基于联合核协同的稀疏差异指数的检测算法。本文算法将核协 同与稀疏差异指数表示方法相结合,分别提出了光谱核协同和空间核协同的 稀疏差异 指数表示模型,进而提出了一种联合核协同的稀疏差异指数表示模型。在模拟的 高光谱图 像数据中,讨论了双窗口设计对所提出算法的检测结果的影响;在真实的AVIRIS高光谱图像 仿真实 验中,分析了不同波段选择及主成分分析对检测结果的影响。结果表 明,所提出的算法检测精度高,虚警概 率低。