Feature fusion via dual-resolution compressive measurement matrix analysis for spectral image classification

In the compressive spectral imaging (CSI) framework, different architectures have been proposed to recover high-resolution spectral images from compressive measurements. Since CSI architectures compactly capture the relevant information of the spectral image, various methods that extract classification features from compressive samples have been recently proposed. However, these techniques require a feature extraction procedure that reorders measurements using the information embedded in the coded aperture patterns. In this paper, a method that fuses features directly from dual-resolution compressive measurements is proposed for spectral image classification. More precisely, the fusion method is formulated as an inverse problem that estimates high-spatial-resolution and low-dimensional feature bands from compressive measurements. To this end, the decimation matrices that describe the compressive measurements as degraded versions of the fused features are mathematically modeled using the information embedded in the coded aperture patterns. Furthermore, we include both a sparsity-promoting and a total-variation (TV) regularization terms to the fusion problem in order to consider the correlations between neighbor pixels, and therefore, improve the accuracy of pixel-based classifiers. To solve the fusion problem, we describe an algorithm based on the accelerated variant of the alternating direction method of multipliers (accelerated-ADMM). Additionally, a classification approach that includes the developed fusion method and a multilayer neural network is introduced. Finally, the proposed approach is evaluated on three remote sensing spectral images and a set of compressive measurements captured in the laboratory. Extensive simulations show that the proposed classification approach outperforms other approaches under various performance metrics.     

Interactive image segmentation based on samples reconstruction and FLDA

Existing interactive image segmentation methods heavily rely on manual input, i.e. a sufficient quantity and correct locations of labels. In this paper, we propose a new interactive segmentation algorithm which aims to reduce human intervention and to generate high-quality segmentation results. In contrast to most energy minimizing based segmentation methods, the segmentation is cast as multi-classification in our proposed method. First, the input image is segmented into superpixels by using different methods. Then we build a dictionary consisting of all obtained superpixels and reconstruct samples represented by certain labeled superpixels. Finally, we learn a discriminative projection matrix through Fishers linear discriminant analysis (FLDA) algorithm, which learns a discriminative subspace for classification. The unlabeled superpixels are grouped into foreground or background, via calculating their minimal norm. Our method can capture long range grouping cues and reduce the sensitivity with respect to input label quantity and location of labels, by the combination of superpixels and discriminative dictionary. Extensive experiments are conducted both on MSRC and another challenging database in order to demonstrate the effectiveness of the proposed method. Quantitative and qualitative results show that our method is competitive to the state-of-the-art performance.     

采用流形近邻传播聚类的极化SAR图像分类

针对传统近邻传播（Affinity Propagation, AP）聚类算法使用欧式距离构建相似度矩阵,不能有效描述极化SAR数据复杂分布的问题,本文提出一种新的基于联合流形距离的AP聚类算法(CMD-AP) 用于极化SAR图像分类。首先将待分类极化SAR图像分割成若干超像素,在相应的极化特征基础上加入图像纹理特征,利用拉普拉斯特征映射算法对特征降维;然后结合相干矩阵Wishart流形和特征矢量欧式流形作为流形距离测度,构造相似性矩阵;最后利用上述相似性矩阵,采用AP聚类算法,对极化SAR图像进行分类。该算法充分考虑了极化SAR数据集潜在的流形结构,将联合的流形距离测度引入AP算法中。实验表明,本文算法提高了极化SAR图像的分类精度,具有更优的区域一致性和边缘保持效果。      

The image segmentation based on optimized spatial feature of superpixel

This paper proposes a method of image segmentation based on superpixels. The method is applied to achieve the segmentation of synthetic aperture radar (SAR) image. Firstly, the superpixels are extracted based on multi-scale features. Then, the fuzzy c-means (FCM) clustering based on superpixels is implemented, in which the influence of neighboring and similar superpixels is incorporated into FCM and the influential degree is optimized to improve segmentation performance. Experimental results show that the proposed method can achieve an impressive accuracy of SAR segmentation. For application extension, when we extract corresponding feature from several types of specific images, the proposed method is able to achieve better segmentation performance.     

基于多融合多尺度特征的高光谱图像分类研究

针对高光谱图像(HSI)波段之间的冗余性给高光谱图像分类结果产生的不利影响,研究基于多融合多尺度特征的高光谱图像分类方法。将采用于主成分分析降维处理的HSI数据作为多尺度特征多融合残差网络输入,利用多尺度特征多融合残差块提取HSI中的光谱特征和空间特征,并组成若干组光谱-空间特征;采用支持向量机展开分类处理,获取各光谱-空间特征的概率输出结果和权重,建立多特征加权概率融合模型,利用最大后验概率获取高光谱图像分类结果。实验结果表明:光谱-空间多尺度特征融合残差块数量为2+2模式、空间输入尺寸大小为9×9,可获取最佳多尺度特征融合残差网络;所提方法抗噪能力较好,可较好体现地物细节信息;且具备较高的高光谱图像分类精度。     

词汇树融合SIFT的热成像和视觉图像人脸识别

针对热成像和视觉图像人脸识别问题,提出了一种基于词汇树融合尺度不变特征变换方法。首先,对视觉和热成像图像分别单独进行提取,利用Viola-Jones层叠检测器从自然图像中检测出人脸;然后,利用SIFT描述符从尺度空间提取稳定特征;最后,使用词汇树进行分类,利用评分融合和决策融合算法提高系统的精确性和安全性。在拍摄的41个人的脸部图像上的实验表明了该方法的有效性,识别率可接近100%,相比其他几种较为新颖的人脸识别方法,该方法取得了更高的识别精度,并且在一定程度上降低了计算耗时。     

基于样本选择的RGBD图像协同显著目标检测

协同显著目标检测的目的是在包含两张及以上相关图像的图像组中检测共同显著的物体。该文提出一种利用机器学习的方法对协同显著目标进行检测。首先,基于4个评分指标从图像组中选择部分显著目标易于检测的简单图像,构成简单图像集;接着,基于协同一致性的原则,从简单图像集中提取正负样本,并用深度学习模型提取的高维语义特征表示正负样本;再者,利用正负样本训练的协同显著分类器对图像中的超像素进行分类,得到协同显著目标区域;最后,经过一个平滑融合的操作,得到最终的协同显著图。在公开数据集上的测试结果表明,所提算法在检测精度和检测效率上优于目前的主流算法,并具有较强的鲁棒性。     

多尺度多特征融合的高分辨率遥感影像分类

针对高分辨率遥感影像多尺度、空间分布复杂以及特征繁多的特点,从遥感影像特征提取的尺度效应以及各类地物显著性特征各异入手,提出了基于多尺度多特征融合的高分辨率遥感影像分类的方法。该方法构建最优尺度分割函数模型,寻找出各地物的最优尺度,分别提取影像的纹理、颜色和形状特征。在此基础上,利用各地物特征的显著性差异实现多尺度下多特征的加权融合。该加权融合方法突破了常规的最优尺度分割算法未能充分考虑各类地物特征差异性的局限性,通过分析各类地物的显著性,建立了各个特征在分类中所占权重的模型。实验结果表明：相对传统无监督分类算法,该方法准确率提高约7%,且运行效率高。     

基于深度特征提取和图神经网络匹配的图像复制粘贴篡改检测

针对图像中特征提取不均匀、单尺度超像素划分对伪造定位结果影响较大的问题,提出一种基于深度特征提取和图神经网络(graph neural network,GNN) 匹配的图像复制粘贴篡改检测(cope-move forgery detection,CMFD) 算法。首先将图像进行多尺度超像素分割并提取深度特征,为保证特征点数目充足,以超像素为单位计算特征点分布的均匀度,自适应降低特征提取阈值;随后引入新的基于注意力机制的GNN特征匹配器,进行超像素间的迭代匹配,且用随机采样一致性(random sample consensus,RANSAC) 算法消除误匹配;最后将多尺度匹配结果进行融合,精确定位篡改区域。实验表明,所提算法具有良好的性能,也证明了GNN在图像篡改检测领域的可用性。     

基于多特征融合技术的商品图像分类

针对网上商品图像的特点,提出了一种多特征融合的分类方法。本文针对颜色和商品图案风格两方面对图像进行分类。首先对商品图像进行分割,再提取特征,颜色特征选择提取颜色直方图特征和颜色矩特征;提取PHOG和SIFT特征来描述图案风格。然后采用基于决策的加权融合方法将两种特征结合起来进行分类,最后在数据集上进行实验,与仅用单一特征分类和使用普通多特征拼接方法作比较,使用本文融合特征的方法进行分类准确率较高,并且其准确率有8%~10%的提升。实验结果表明本文提出的方法是一种有效的商品图像分类方法。     

A New Learning Algorithm for the Fusion of Adaptive Audio–Visual Features for the Retrieval and Classification of Movie Clips

This paper presents a new learning algorithm for audiovisual fusion and demonstrates its application to video classification for film database. The proposed system utilized perceptual features for content characterization of movie clips. These features are extracted from different modalities and fused through a machine learning process. More specifically, in order to capture the spatio-temporal information, an adaptive video indexing is adopted to extract visual feature, and the statistical model based on Laplacian mixture are utilized to extract audio feature. These features are fused at the late fusion stage and input to a support vector machine (SVM) to learn semantic concepts from a given video database. Based on our experimental results, the proposed system implementing the SVM-based fusion technique achieves high classification accuracy when applied to a large volume database containing Hollywood movies.     

基于双流特征融合的FMCW雷达人体连续动作识别

本文提出了一种基于双流特征融合的FMCW雷达人体连续动作识别方法。首先对人体动作雷达回波信号进行预处理得到距离时间域图与微多普勒时频谱图,之后分别对两个不同维度的图像进行主成分分析提取对应特征并选取相同时间段的主成分分析结果进行融合得到双流融合特征,最后将双流融合特征输入到Bi-LSTM网络中训练与测试,网络对每个时间段的输入特征产生与之对应的动作类别输出从而实现连续人体动作识别。实验结果表明,当采用双流融合特征作为Bi-LSTM网络的输入时平均识别准确率要高于只采用距离时间特征或微多普勒特征作为网络输入时的平均识别准确率。     

一种基于张量积扩散的非监督极化SAR图像地物分类方法

针对相似度表达的困难性以及极化SAR图像中固有的相干斑噪声问题,该文提出了一种基于张量积(TPG)扩散的非监督极化SAR图像地物分类算法。张量积扩散一般用于光学图像的分割或检索,目前研究表明,其已可用于极化SAR(PolSAR)图像地物分类。基于张量积扩散可以稳健地度量数据点之间的测地线距离,因此能够更好地挖掘数据点之间内在的相似度信息。首先,将极化SAR图像进行分割,生成许多超像素;其次,基于超像素提取7种特征并生成一个特征向量,进而利用高斯核构建相似度矩阵;再次,基于已构建的相似度矩阵,利用张量积扩散沿着数据点的内在流形结构进行相似度的传播,实现全局的相似性度量,从而获得一个具有更强判别能力的相似度矩阵;最后,基于此相似度矩阵进行谱聚类以得到地物分类结果。该文在仿真和实测极化SAR图像上均进行了大量实验,并与4种经典算法进行对比,结果表明该方法可以有效地结合空间邻域相似度信息并取得更高的分类精度。      

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network, CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种 基于残差网络的多层特征匹配生成对抗网络模型。提出的模型引入残差网络以挖掘高光谱图 像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分 利用网络的各层特征。提出的算法在Indian Pines、Pavia University和Salinas数据集 上的分类精度分别达到了97.6%,99.3%,99.1%,与径向基函数支持向量机(radial basis function-support vector machine, RBF-SVM)、堆叠自动编码器(stacked autoencoder, SAE)、深度置信网络(deep belief network, DBN)、PPF-CNN (CNN based on pixel-pair feature)、CNN和三维卷积网络 (three-dimensional convolutional neural network, 3D-CNN)方法相比较,其分类精度具有明显的提高。实验结果表明,提出的方法是一种有效 的高光谱图像分类方法。     

基于多特征融合的红外图像分类研究

针对传统红外图像目标分类方法准确率低的问题,提出了一种用结合多特征融合的粒子群优化(Particle Swarm Optimization, PSO)算法来优化支持向量机(Support Vector Machine, SVM)的方法。该方法采用方向梯度直方图(Histogram of Oriented Gradient, HOG)和局部二值模式(Local Binary Pattern, LBP)两类特征描述红外图像中目标的轮廓特征和局部纹理,从不同的方面展现红外图像的特点,在图像的特征表达上具有一定的互补性。在特征提取后对样本数据进行凸包算法计算,得到一些具有代表性的样本数据,从而提高分类计算效率;在分类模型训练时,采用PSO算法优化SVM,寻找SVM的最优惩罚因子和核参数,从而提高分类模型的准确率。实验结果表明,多特征融合的分类模型的准确率比单一特征的分类模型提高近10%,且经PSO优化的SVM最终模型的分类准确率高达99%。     

基于ResNet的红外与低照度可见光图像融合方法

针对传统红外与低照度可见光图像融合后,容易造成目标模糊不清、细节信息缺失等问题,本文提出一种低照度可见光图像预增强与残差网络(Residual Network, ResNet)相结合的图像融合方法。该方法首先利用单尺度Retinex(Single Scale Retinex, SSR)算法对低照度可见光图像进行增强预处理,得到增强的可见光图像。其次,利用ResNet-50分别从增强后的可见光图像和红外图像中提取深度特征。然后,采用L1范数对生成的深度特征进行正则化处理,并通过上采样操作将其分辨率恢复至输入图像大小,得到权重图。最后,使用加权平均策略获取融合图像。实验结果表明,本文算法能更好地保留输入图像的纹理细节和结构信息;使用TNO数据集与现有的三种典型算法对比,该算法融合结果的离散余弦特征互信息(FMI_dct)、小波特征互信息(FMI_w)、基于噪声评估的融合性能(Nabf)、结构相似度测量(SSIM)四种客观指标总体优于对比算法。     

光照不变量特征提取新方法及其在目标识别中的应用

针对LNSCT光照不变量提取方法因舍弃低频分量而丢失目标轮廓信息的问题,本文提出了一种新的光照不变量提取方法MLNCST.新方法首先用NSCT将对数域的输入图像进行第一重多尺度分解,实现低频分量和高频分量的分离;其次对高频子带系数进行BayesShrink阈值滤波,低频分量做逆NSCT得到其特征图像;然后对特征图像进行第二重NSCT分解,并对分解后的高频子带阈值滤波以及低频分量逆NSCT;经多重NSCT分解,最后由多次分解后的高频子带系数集提取光照不变量特征.经进一步研究光照不变量特征与原始图像之间的关系,设计了并行同步卷积神经网络-Dual Lenet,通过融合两者的高层特征来提高地面目标识别的准确率.实验结果显示,在Lenet模型下,MLNSCT比LNSCT具有更高的分类准确率,并且随着分解重数的增加分类准确率更高;同时融合了光照不变量特征的Dual lenet能进一步提高地面目标识别准确率.     

特征选择与深度学习相结合的极化SAR图像分类

给出了一种特征选择与深度学习相结合的极化合成孔径雷达(polarimetric synthetic aperture radar, PolSAR)图像有监督分类算法。该算法首先根据极化SAR图像数据以及目标分解获取原始特征参数集,然后利用随机森林(Random Forest, RF)方法对特征参数集进行重要性评估,并根据特征重要性排名选择最优极化特征。以最优极,化特征为输入,通过卷积神经网络(convolutional neural network, CNN)学习多层特征信息,再利用训练好的网络模型对极化SAR图像进行分类。利用美国AIRSAR机载系统采集的实测数据进行实验,并同已有经典有监督分类算法进行比较,结果表明本文算法能够选取有效的极化特征,最终得到较为准确的分类效果。      

颜色特征和超像素特征融合的人体目标再识别

在非重叠视域的多摄像机监控系统中,人体目标再识别有着重要的应用。针对再识别过程中面临的光照变化、视角变化、姿态变化、遮挡等问题,提出了融合全局颜色特征和超像素特征的方法,对颜色特征和超像素特征分配不同的权重,进行人体目标间的相似性度量。超像素特征是将前景图像分割成多个超像素,采用密集采样SIFT特征结合单词包(Bag-of-Words)框架对每个超像素进行描述。将得到的超像素特征和全局颜色特征结合建立人体目标模型,分别使用EMD(Earth Mover’s Distance)距离和巴氏距离度量目标间的相似性。对多个数据库进行实验,结果证明,该算法具有较高的识别率。      

基于区域非均匀空间采样特征的图像分类方法

大量实验证明抽取图像中稠密局部特征能够大大提高图像分类性能,目前的常用策略是基于空间均匀密集采样来实现稠密局部特征的抽取。该文提出一种新的基于区域非均匀空间采样的局部特征抽取方法。首先,用过分割技术对原始图像进行分割,从而得到图像的分割区域,并采用显著性检测技术估计每个过分割区域的重要性。然后,在保证不增加采样数的情况下,对重要的显著性区域的边界实行密集均匀采样,对区域内部根据区域大小和重要性实行随机采样。最后,采用词袋表示模型来实现图像分类。在两个广泛应用的数据库,8类体育运动(UIUC Sports)和256类自然图像(Caltech-256)数据库进行实验。实验结果证明,该文提出的采样策略进一步提高了基于稠密局部特征的图像分类性能。