3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

基于双空间共轭自编码器的多时相高光谱异常变化检测

高光谱异常变化检测能够从多时相高光谱遥感图像中寻找到数量稀少、与整体背景变化趋势不同、难以发现且令人感兴趣的异常变化。数据集规模较小、存在噪声干扰以及线性预测模型存在局限性等问题，极大地降低了传统高光谱异常变化检测方法的检测性能。目前，自编码器已被成功地应用于高光谱异常变化检测。然而，单个自编码器在处理多时相高光谱图像时，仅关注图像的重构质量，在获取瓶颈特征时往往忽略了图像中复杂的光谱变化信息。为了解决该问题，提出了一种基于双空间共轭自编码器的多时相高光谱异常变化检测(Multi-temporal Hyperspectral Anomaly Change Detection Based on Dual Space Conjugate Autoencoder, DSCAE)方法。所提方法包含两个共轭的自编码器，即它们从不同方向构造各自的潜在特征。在该方法的训练过程中，首先，两幅不同时刻的高光谱图像经过各自的编码器分别获得相应的潜在空间特征表示，再分别经过各自的解码器获得另一时刻的预测图像；其次，在样本空间和潜在空间中施加不同的约束条件，并在两个空间中最小化相应的损失函数；最后，两幅输入图...     

隐空间转换的混合样本图像去雾

深度学习从数据集中学习样本的内在规律,数据集的质量一定程度上决定了模型的表现。在去雾任务的公开数据集中,由于缺少成对真实数据,合成的成对数据难以模拟真实环境等问题,可能导致训练出的模型在实际环境中表现不佳。为此,提出混合样本学习问题,利用合成的成对数据和真实数据（混合样本）同时训练模型,通过隐空间的转换实现混合样本间的转换。算法利用变分自编码器和生成对抗网络（VAE-GAN）将混合样本分别编码到隐空间,利用对抗损失将真实数据的隐空间向合成雾图的隐空间对齐,利用含特征自适应融合（MFF）模块的映射网络学习成对数据隐空间之间的转换,从而建立起从真实雾图域到清晰图像域之间的去雾数据通路。实验结果表明,该算法相比其他去雾算法在真实雾图上的去雾结果更加清晰,对于较厚的雾图也有突出的效果,且该算法的峰值信噪比高于对比算法。     

卷积稀疏自编码神经网络

卷积神经网络是图像识别领域研究的热点。本文改进现有卷积自编码器,提出卷积稀疏自编码神经网络（Convolutional Sparse Autoencoder Neural Network,CSAENN）。首先替换解码器的反卷积方式,在输入特征图周围补充零值将图扩大,简化了实现方式,降低了反卷积操作复杂度,同时不影响卷积自编码器对样本特征的提取与重构。其次迭代训练时,采用权值转置技术,实现一组权值可以同时提取样本特征与重构样本信息。最后在编码器中使用种群稀疏、存在稀疏以及高分散性稀疏化技术,有效地稀疏化网络权值和输出,提升网络性能。在公共数据集MNIST及CIFAR10上,多组对比实验结果验证了CSAENN有较好的性能。      

基于变分自编码器的不平衡样本异常流量检测

随着机器学习技术的快速发展,越来越多的机器学习算法被用于攻击流量的检测与分析,然而攻击流量往往只占网络流量中极小的一部分,在训练机器学习模型时存在训练集正负样本不平衡的问题,从而影响模型训练效果。针对不平衡样本问题,文中提出了一种基于变分自编码器的不平衡样本生成方法,其核心思想是在对少数样本进行扩充时,不是对全部进行扩充,而是分析这些少数样本,对其中最容易对机器学习产生混淆效果的少数边界样本进行扩充。首先,利用KNN算法筛选出少数类样本中与多数类样本最近的样本;其次,使用DBSCAN算法对KNN算法筛选出的部分样本进行聚类处理,生成一个或多个子簇;然后,设计变分自编码网络模型,对DBSCAN算法区分出的一个或多个子簇中的少数类样本进行学习扩充,并将扩充后的样本加入原有样本中用于构建新的训练集;最后,利用新构建的训练集来训练决策树分类器,从而实现异常流量的检测。选择召回率和F1分数作为评价指标,分别以原始样本、SMOTE生成样本、SMOTE改进方法生成样本和文中所提方法生成样本为训练集进行对比实验。实验结果表明,在4种异常类型中,采用所提算法构造训练集训练的决策树分类器在召回率和F1分数...     

基于稀疏自编码特征聚类算法的图像窜改检测

同图复制窜改是图像窜改较为常见的一类,基于块匹配检测方法往往存在准确率低、时间复杂度高等问题,为提高准确率并大幅度降低时间复杂度,应用深度学习特征和聚类算法进行检测。首先用稀疏自编码器训练大量样本集找出同图复制图像的内部规律并得到降维的隐藏层权值矩阵,通过权值矩阵获得检测图像的隐藏层特征,即定义的稀疏自编码特征;用K-means算法一次聚类自编码特征去除图像平滑区域,二次聚类纹理特征获得检测结果,若检测结果中含有少量异常块,通过欧氏距离判断和RANSAC（random sample consensus）算法将异常块去除,从而实现窜改区域的检测。实验结果表明,该算法与其他算法比较综合准确率提升14.3%,时间效率提升72%。将深度学习特征与聚类算法结合使用,使得同图复制窜改在时间效率和准确率上皆有所提升。     

基于深度自编码器的单样本人脸识别*

由于每个目标仅有一幅已知样本,无法描述目标的类内变化,诸多人脸识别算法在解决单样本人脸识别问题时识别性能较低.因此文中提出基于深度自编码器的单样本人脸识别算法.算法首先采用所有已知样本训练深度自编码器,得到广义深度自编码器,然后使用每个单样本目标的单个样本微调广义深度自编码器,得到特定类别的深度自编码器.识别时,将识别图像输入每个特定类别的深度自编码器,得到包含与测试图像相同类内变化的该类别的重构图像,使用重构图像训练Softmax回归模型,分类测试图像.在公共测试库上进行测试,并与其它算法在相同环境下进行对比,结果表明文中算法在获得更优识别率的同时,识别一幅图像所需平均时间更少.     

基于图自编码器的无监督多变量时间序列异常检测

针对多变量时间序列复杂的时间相关性和高维度使得异常检测性能较差的问题,以对抗训练框架为基础提出基于图自编码的无监督多变量时间序列异常检测模型.首先,将特征转换为嵌入向量来表示;其次,将划分好的时间序列结合嵌入向量转换为图结构数据;然后,用两个图自编码器模拟对抗训练重构数据样本;最后,根据测试数据在模型训练下的重构误差进行异常判定.将提出的方法与5种基线异常检测方法进行比较.实验结果表明,提出的模型在测试数据集获得了最高的F1分数,总体性能分F1分数比最新的异常检测模型USAD提高了28.4%.可见提出的模型有效提高异常检测性能.     

自适应的SVM增量算法

支持向量机(support vector machine,SVM)算法因其在小样本训练集上的优势和较好的鲁棒性,被广泛应用于处理分类问题。但是对于增量数据和大规模数据,传统的SVM分类算法不能满足需求,增量学习是解决这些问题的有效方法之一。基于数据分布的结构化描述,提出了一种自适应SVM增量学习算法。该算法根据原样本和新增样本与当前分类超平面之间的几何距离,建立了自适应的增量样本选择模型,该模型能够有效地筛选出参与增量训练的边界样本。为了平衡增量学习的速度和性能,模型分别为新增样本和原模型样本设置了基于空间分布相似性的调整系数。实验结果表明,该算法在加快分类速度的同时提高了模型性能。     

结合侧抑制机制的自动编码器训练新算法

深度学习是目前最热门的机器学习方法之一。针对深度学习中的自动编码器在训练时容易产生网络模型复杂度过高、输出矩阵不够稀疏、小样本训练过拟合等问题,提出一种结合侧抑制机制的自动编码器训练新算法。算法构建了用于隐藏层的侧抑制神经元筛选模型。首先设定抑制限寻找符合抑制条件的神经元,然后通过侧抑制函数对符合条件的神经元进行快速输出抑制,运用反向传播算法对模型进行优化,最终输出权重特征。实验结果表明,算法能够使隐藏层输出近似满足稀疏条件并学习得到更加鲁棒的特征,提高分类正确率的同时还能一定程度上抑制过拟合现象。     

粗定位和协同表示的高光谱图像异常检测

目的 由于在军事和民用应用中的重要作用,高光谱遥感影像异常检测在过去的20~30年里一直都是备受关注的研究热点。然而,考虑到异常点往往藏匿于大量的背景像元之中,且只占据很少的数量,给精确检测带来了不小的挑战。针对此问题,基于异常点往往表现在高频的细节区域这一前提,本文提出了一种基于异常点粗定位和协同表示的高光谱遥感影像异常检测算法。方法 对输入的原始高光谱遥感影像进行空间维的降质操作;通过衡量降质后影像与原始影像在空间维的差异,粗略定位可能的异常点位置;将粗定位的异常点位置用于指导像元间的协同表示以重构像元;通过衡量重构像元与原始像元的差异,从而进一步优化异常检测结果。结果 在4个数据集上与6种方法进行了实验对比。对于San Diego数据集,次优算法和本文算法分别取得的AUC （area under curve）值为0.978 6和0.994 0;对于HYDICE （hyperspectral digital image collection equipment）数据集,次优算法和本文算法的AUC值为0.993 6和0.998 5;对于Honghu数据集,次优算法和本文方法的AUC值分别为0.999 2和0.999 3;对Grand Isle数据集而言,尽管本文方法以0.001的差距略低于性能第1的算法,但从目视结果图中可见,本文方法所产生的虚警目标远少于性能第1的算法。结论 本文所提出的粗定位和协同表示的高光谱异常检测算法,综合考虑了高光谱遥感影像的谱间特性,同时还利用了其空间特性以及空间信息的先验分布,从而获得异常检测结果的提升。     

Comparison of spectral and spatial windows for local anomaly detection in hyperspectral imagery

A new way of implementing two local anomaly detectors in a hyperspectral image is presented in this study. Generally, most local anomaly detector implementations are carried out on the spatial windows of images, because the local area of the image scene is more suitable for a single statistical model than for global data. These detectors are applied by using linear projections. However, these detectors are quite improper if the hyperspectral dataset is adopted as the nonlinear manifolds in spectral space. As multivariate data, the hyperspectral image datasets can be considered to be low-dimensional manifolds embedded in the high-dimensional spectral space. In real environments, the nonlinear spectral mixture occurs more frequently, and these manifolds could be nonlinear. In this case, traditional local anomaly detectors are based on linear projections and cannot distinguish weak anomalies from background data. In this article, local linear manifold learning concepts have been adopted, and anomaly detection algorithms have used spectral space windows with respect to the linear projection. Output performance is determined by comparison between the proposed detectors and the classic spatial local detectors accompanied by the hyperspectral remote-sensing images. The result demonstrates that the effectiveness of the proposed algorithms is promising to improve detection of weak anomalies and to decrease false alarms.     

结合孪生网络和像素配对的高光谱图像异常检测

目的 高光谱遥感中,通常利用像素的光谱特征来区分背景地物和异常目标,即通过二者之间的光谱差异来寻找图像中的异常像元。但传统的异常检测算法并未有效挖掘光谱的深层特征,高光谱图像中丰富的光谱信息没有被充分利用。针对这一问题,本文提出结合孪生神经网络和像素配对策略的高光谱图像异常检测方法,利用深度学习技术提取高光谱图像的深层非线性特征,提高异常检测精度。方法 采用像素配对的思想构建训练样本,与原始数据集相比,配对得到的新数据集数量呈指数增长,从而满足深度网络对数据集数量的需求。搭建含有特征提取模块和特征处理模块的孪生网络模型,其中,特征处理模块中的卷积层可以专注于提取像素对之间的差异特征,随后利用新的训练像素对数据集进行训练,并将训练好的分类模型固定参数,迁移至检测过程。用滑动双窗口策略对测试集进行配对处理,将测试像素对数据集送入网络模型,得到每个像素相较于周围背景像素的差异性分数,从而识别测试场景中的异常地物。结果 在异常检测的实验结果中,本文提出的孪生网络模型在San Diego数据集的两幅场景和ABU-Airport数据集的一幅场景上,得到的AUC （area under the curve）值分别为0.993 51、0.981 21和0.984 38,在3个测试集上的表现较传统方法和基于卷积神经网络的异常检测算法具有明显优势。结论 本文方法可以提取输入像素对的深层光谱特征,并根据其特征的差异性,让网络学习到二者的区分度,从而更好地赋予待测像素相对于周围背景的异常分数。本文方法相对于卷积神经网络的异常检测方法可以有效地降低虚警,与传统方法相比能够更加明显地突出异常目标,提高了检测率,同时也具有较强的鲁棒性。     

Maximized subspace model for hyperspectral anomaly detection

An important application in remote sensing using hyperspectral imaging system is the detection of anomalies in a large background in real-time. A basic anomaly detector for hyperspectral imagery that performs reasonaly well is the RX detector. In practice, the subspace RX (SSRX) detector which deletes the clutter subspace has been known to perform better than the RX detector. In this paper an anomaly detector that can do better than the SSRX detector without having to delete the clutter subspace is developed. The anomaly detector partials out the effect of the clutter subspace by predicting the background using a linear combination of the clutter subspace. The Mahalanobis distance of the resulting residual is defined as the anomaly detector. The coefficients of the linear combination are chosen to maximize a criterion based on squared correlation. The experimental results are obtained by implementing the anomaly detector as a global anomaly detector in unsupervised mode with background statistics computed from hyperspectral data cubes with wavelengths in the visible and near-infrared range. The results show that the anomaly detector has a better performance than the SSRX detector. In conclusion, the anomaly detector that is based on partialling out can achieve better performance than the conventional anomaly detectors.     

Random selection-based adaptive saliency-weighted RXD anomaly detection for hyperspectral imagery

With recent advances in hyperspectral imaging sensors, subtle and concealed targets that cannot be detected by multispectral imagery can be identified. The most widely used anomaly detection method is based on the Reed–Xiaoli (RX) algorithm. This unsupervised technique is preferable to supervised methods because it requires no a priori information for target detection. However, two major problems limit the performance of the RX detector (RXD). First, the background covariance matrix cannot be properly modelled because the complex background contains anomalous pixels and the images contain noise. Second, most RX-like methods use spectral information provided by data samples but ignore the spatial information of local pixels. Based on this observation, this article extends the concept of the weighted RX to develop a new approach called an adaptive saliency-weighted RXD (ASW-RXD) approach that integrates spectral and spatial image information into an RXD to improve anomaly detection performance at the pixel level. We recast the background covariance matrix and the mean vector of the RX function by multiplying them by a joint weight that in fuses spectral and local spatial information into each pixel. To better estimate the purity of the background, pixels are randomly selected from the image to represent background statistics. Experiments on two hyperspectral images showed that the proposed random selection-based ASW RXD (RSASW-RXD) approach can detect anomalies of various sizes, ranging from a few pixels to the sub-pixel level. It also yielded good performance compared with other benchmark methods.     

迭代分析相对密度的高光谱异常检测

目的 针对复杂高光谱数据在不同地物规模和光谱特征上的差异,致使背景特征难以准确描述,导致异常检测算法检测效果不理想的问题,提出一种基于相对密度分析建立背景模型的高光谱遥感异常检测算法。方法 该算法借助最大相对密度分析的思想,通过统计与待测像元相似像元的数目作为其相对相似性分布密度,在像元光谱特征相似性分布密度的驱动下,自动搜索聚类中心并实现自适应聚类。为了避免不同背景地物受类别规模差异的影响,设计迭代筛选方法不断提取具有相对最大分布密度的类作为背景地物类别。当迭代终止时即可获得关于背景地物的统计模型,最后采用经典的马氏距离实现异常检测。结果 仿真实验采用两组常用的数据HyMap和HYDICE,与经典算法如基于聚类分析的异常检测算法（CBAD）、局部RX算法（LRX）和基于空间边缘特征变化的异常检测算法（2DCAD）等进行比较,并采用受试者工作特性曲线（ROC）和ROC曲线下面积（AUC）作为评价标准对实验结果进行分析。从实验数据中可以看到,本文算法在ROC曲线整体上表现优于其他算法,在HyMap下AUC值比同类算法至少高出5.6%,HYDICE下AUC值比同类算法至少高出13.6%。另外,对于不同数据,本文算法最终表现较为稳定,鲁棒性较好。结论 实验结果表明该算法无需构建分类面以及设定类别数目,在每次迭代中根据数据本身特征自适应地获取当前规模下背景显著性强的像元。另外,本文建立背景模型的方法适用于不同复杂场景下的高光谱数据,可以获得对背景的准确描述,有助于改善高光谱数据异常检测中对异常目标显著性衡量的准确性。     

Geostatistical and local cluster analysis of high resolution hyperspectral imagery for detection of anomalies

This paper describes a new methodology to detect small anomalies in high resolution hyperspectral imagery, which involves successively: (1) a multivariate statistical analysis (principal component analysis, PCA) of all spectral bands; (2) a geostatistical filtering of noise and regional background in the first principal components using factorial kriging; and finally (3) the computation of a local indicator of spatial autocorrelation to detect local clusters of high or low reflectance values and anomalies. The approach is illustrated using 1 m resolution data collected in and near northeastern Yellowstone National Park. Ground validation data for tarps and for disturbed soils on mine tailings demonstrate the ability of the filtering procedure to reduce the proportion of false alarms (i.e., pixels wrongly classified as target), and its robustness under low signal to noise ratios. In almost all scenarios, the proposed approach outperforms traditional anomaly detectors (i.e., RX detector which computes the Mahalanobis distance between the vector of spectral values and the vector of global means), and fewer false alarms are obtained when using a novel statistic S₂ (average absolute deviation of p-values from 0.5 through all spectral bands) to summarize information across bands. Image degradation through addition of noise or reduction of spectral resolution tends to blur the detection of anomalies, increasing false alarms, in particular for the identification of the least pure pixels. Results from a mine tailings site demonstrate the approach performs reasonably well for highly complex landscape with multiple targets of various sizes and shapes. By leveraging both spectral and spatial information, the technique requires little or no input from the user, and hence can be readily automated.     

局部梯度轮廓变换的高光谱异常检测

目的 高光谱异常检测由于其重要的应用价值,引起了研究人员的广泛关注,但大部分的检测算法,往往直接利用输入的高光谱遥感影像所携带的光谱信息或者空谱信息进行检测。考虑到由于成像过程的限制,如成像条件的复杂性以及光谱通道众多导致的每个通道光子数量有限等问题,所获取的高光谱遥感影像往往在一定程度上偏离真实场景,而这也制约了异常检测的精度。针对此问题,本文提出了一种局部梯度轮廓变换的高光谱遥感影像异常检测算法。方法 为了在不影响算法性能的基础上减少计算复杂度,首先选取部分可能的异常像元,只对这些局部的异常像元可能位置进行梯度轮廓变换。其次,将变换后的梯度轮廓用于指导原始高光谱遥感影像的空域增强。最后,对增强后的高光谱遥感影像进行检测。通过将局部梯度轮廓用于影像的增强,避免了成像过程中由于细节损失而造成检测精度受限的情况。结果 实验在来自4个数据集的6幅高光谱遥感影像上进行了性能验证。首先利用经典的Global-RX （Reed Xiaoli）检测算法同时检测本文算法增强后的影像和原始影像,分别取得的平均AUC （area under curve）值为0.987 1和0.933 6,本文算法带来了0.053 5的精度提升;同时,通过与其他3种预处理方法进行比较,证明了本文局部梯度轮廓变换方法的有效性;更进一步,利用基于协同表示CRD （collaborative representation-based detector）的检测器对增强后的影像和原始影像分别进行检测,分别取得的平均AUC值为0.990 7和0.977 5,检测结果再次验证了本文算法能够有效提升影像的检测精度;通过对比,实验数据表明本文所采用的局部梯度轮廓变换可减少约37.82%的时间复杂度。结论 本文算法通过将局部的梯度轮廓进行变换并用于指导原始影像的增强过程,使得影像的空间轮廓信息更为锐利,更为接近真实场景,从而获得异常检测结果的提升。     

Variable factorization model based on numerical optimization for hyperspectral anomaly detection

The objective of this article is to develop an anomaly detector as an analytical expression for detecting anomalous objects in remote sensing using hyperspectral imaging. Conventional anomaly detectors based on the subspace model have a parameter which is the dimension of the clutter subspace. The range of possible values for this parameter is typically large, resulting in a large number of images of detector output to be analyzed. An anomaly detector with a different parameter is proposed. The pixel of known random variables from a data cube is modeled as a linear transformation of a set of unknown random variables from the clutter subspace plus an error of unknown random variables in which the transformation matrix of constants is also unknown. The dimension of the clutter subspace for each spectral component of the pixel can vary, hence some elements in the transformation matrix are constrained to be zeros. The anomaly detector is the Mahalanobis distance of the resulting residual. The experimental results which are obtained by implementing the anomaly detector as a global anomaly detector in unsupervised mode with background statistics computed from hyperspectral data cubes with wavelengths in the visible and near-infrared range show that the parameter in the anomaly detector has a significantly reduced number of possible values in comparison with conventional anomaly detectors.     

A spectral-spatial method based on low-rank and sparse matrix decomposition for hyperspectral anomaly detection

Recently, some methods based on low-rank and sparse matrix decomposition (LRASMD) have been developed to improve the performance of hyperspectral anomaly detection (AD). However, these methods mainly take advantage of the spectral information in hyperspectral imagery (HSI), and ignore the spatial information. This article proposes an LRASMD-based spectral-spatial (LS-SS) method for hyperspectral AD. First, the Go Decomposition (GoDec) algorithm is employed to solve the low-rank background component and the sparse anomaly component. Next, the sparse component is explored to calculate the spectral sparsity divergence index (SDI). Based on spectral SDI, the detection result in the spectral domain and the reliable background points, which are employed as training data to construct the background manifold by linear local tangent space alignment (LLTSA), can also be obtained. Then, based on the background manifold and the transformation matrix, the low-dimensional manifold of the whole data is computed by linear mapping. After that, the kernel collaborative representation detector (KCRD) is used in the low-dimensional manifold of the whole data for the spatial SDI. Finally, SS SDI is computed for the final detection result. The theoretical analysis and experimental results demonstrate that the proposed LS-SS can achieve better performance when compared with the comparison algorithms.