联合空间信息的改进低秩稀疏矩阵分解的高光谱异常目标检测

针对低秩稀疏矩阵分解的高光谱异常目标检测算法忽略了图像的空间信息,导致检测精度低的问题,提出了一种联合空间信息的改进低秩稀疏矩阵分解的高光谱异常目标检测算法。算法综合利用了高光谱图像的光谱信号与空间信号,并与图像自身的稀疏性相结合,对经典的基于低秩稀疏矩阵分解的目标检测算法进行改进,该算法以待测像元为中心构建一定大小的空间窗,计算中心像元与邻域内其他像元的空间相似度权值和光谱相似度权值,通过计算邻域内其他像元对中心像元的比例权值得到了中心像元的重构光谱值并作差得到两者的残差矩阵;最后基于低秩稀疏矩阵分解的高光谱异常目标检测算法得到图像的稀疏矩阵,将代表异常目标信息的稀疏矩阵和残差矩阵相加并求解矩阵行向量之间的欧式距离得到像元的异常度,设置阈值,得到检测结果。为验证所提算法的检测性能,采用了真实的高光谱数据进行仿真实验,并与现有算法进行对比,结果表明该算法能够得到更高的检测精度。     

Multiscale spatial temporal attention graph convolution network for skeleton-based anomaly behavior detection

Anomaly behavior detection plays a significant role in emergencies such as robbery. Although a lot of works have been proposed to deal with this problem, the performance in real applications is still relatively low. Here, to detect abnormal human behavior in videos, we propose a multiscale spatial temporal attention graph convolution network (MSTA-GCN) to capture and cluster the features of the human skeleton. First, based on the human skeleton graph, a multiscale spatial temporal attention graph convolution block (MSTA-GCB) is built which contains multiscale graphs in temporal and spatial dimensions. MSTA-GCB can simulate the motion relations of human body components at different scales where each scale corresponds to different granularity of annotation levels on the human skeleton. Then, static, globally-learned and attention-based adjacency matrices in the graph convolution module are proposed to capture hierarchical representation. Finally, extensive experiments are carried out on the ShanghaiTech Campus and CUHK Avenue datasets, the final results of the frame-level AUC/EER are 0.759/0.311 and 0.876/0.192, respectively. Moreover, the frame-level AUC is 0.768 for the human-related ShanghaiTech subset. These results show that our MSTA-GCN outperforms most of methods in video anomaly detection and we have obtained a new state-of-the-art performance in skeleton-based anomaly behavior detection.     

热红外高光谱成像仪光谱匹配盲元检测算法

受红外焦平面阵列生产工艺及材料本身特性影响,红外焦平面阵列不可避免地存在盲元,严重困扰红外数据的处理与应用。光栅分光推扫式热红外高光谱成像仪一般以红外焦平面阵列的其中的一维作为光谱维进行推扫式成像,空间维只剩一维,与一般的热像仪具有二维空间维的成像机制有很大区别。常规的实验室定标法和开窗处理的场景检测方法不能满足该成像方式的盲元检测需求。以热红外高光谱成像仪中的盲元检测为目标,有针对性地提出了基于光谱匹配的盲元检测算法。该方法从光谱维角度出发,以不同温度实验室黑体定标数据生成温升光谱数据,在数据规则化处理的基础上,自动提取有效像元目标的伪光谱曲线,采用光谱角匹配的方式实现盲元的自动检测。以典型的热红外高光谱成像仪获取数据并开展盲元检测实验,结果表明该方法充分利用了热红外高光谱成像仪的光谱维信息,检测精度较高,盲元补偿后的数据可满足热红外高光谱数据的行业应用。     

Hyperspectral image super-resolution combining with deep learning and spectral unmixing

In recent years, hyperspectral image super-resolution has attracted the attention of many researchers and has become a hot topic in the field of computer vision. However, it is difficult to obtain high-resolution images due to imaging hardware devices. At present, many existing hyperspectral image super-resolution methods have not achieved good results. In this paper, we propose a hyperspectral image super-resolution method combining with deep residual convolutional neural network (DRCNN) and spectral unmixing. Firstly, the spatial resolution of the image is enhanced by learning a priori knowledge of natural images. The DRCNN reconstructs high spatial resolution hyperspectral images by concatenating multiple residual blocks, each containing two convolutional layers. Secondly, the spectral features of low-resolution and high-resolution hyperspectral images are linked by spectral unmixing. This approach aims to obtain the endmember matrix and the abundance matrix. The final reconstruction result is obtained by multiplying the endmember matrix and the abundance matrix. In addition, in order to improve the visual effect of the reconstructed image, the total variation regularity is used to impose constraints on the abundance matrix to enhance the relationship between the pixels. The experimental results of remote sensing data based on ground facts show that the proposed method has good performance and preserves spatial information and spectral information without the need for auxiliary images.     

Uncertainty-guided joint attention and contextual relation network for person re-identification

Due to the influence of factors such as camera angle and pose changes, some salient local features are often suppressed in person re-identification tasks. Moreover, many existing person re-identification methods do not consider the relation between features. To address these issues, this paper proposes two novel approaches: (1) To solve the problem of being confused and misidentified when local features of different individuals have similar attributes, we design a contextual relation network that focuses on establishing the relationship between local features and contextual features, so that all local features of the same person both contain contextual information. (2) To fully and correctly express key local features, we propose an uncertainty-guided joint attention module. The module focuses on the joint representation of individual pixels and local spatial features to enhance the credibility of local features. Finally, our method achieves competitive performance on four widely recognized datasets compared with state-of-the-art methods.     

基于Word Embedding的遥感影像检测分割

遥感影像检测分割技术通常需提取影像特征并通过深度学习算法挖掘影像的深层特征来实现.然而传统特征（如颜色特征、纹理特征、空间关系特征等）不能充分描述影像语义信息,而单一结构或串联算法无法充分挖掘影像的深层特征和上下文语义信息.针对上述问题,本文通过词嵌入将空间关系特征映射成实数密集向量,与颜色、纹理特征的结合.其次,本文构建基于注意力机制下图卷积网络和独立循环神经网络的遥感影像检测分割并联算法（Attention Graph Convolution Networks and Independently Recurrent Neural Network,ATGIR）.该算法首先通过注意力机制对结合后的特征进行概率权重分配;然后利用图卷积网络（GCNs）算法对高权重的特征进一步挖掘并生成方向标签,同时使用独立循环神经网络（IndRNN）算法挖掘影像特征中的上下文信息,最后用Sigmoid分类器完成影像检测分割任务.以胡杨林遥感影像检测分割任务为例,我们验证了提出的特征提取方法和ATGIR算法能有效提升胡杨林检测分割任务的性能.     

基于协峭度张量的高光谱图像异常检测

高光谱图像中的异常像元往往具有在图像中出现的概率低和游离于背景数据云团之外的特点,如何“自动”确定这些异常像元是高光谱遥感图像处理中的一个重要研究方向。经典的高光谱异常检测方法一般从图像的统计特性入手,广泛应用的RXD异常检测算法通过计算图像的2阶统计特征,可以直接给出异常点的分布情况,算法复杂度低,但缺点是没有考虑到图像的高阶统计信息。基于独立成分分析的异常检测算法虽然考虑了高阶统计量对异常点的敏感性,但需要反复迭代提取异常成分后,再对提取后的成分进行异常检测。该文提出一种基于协峭度张量的异常检测算法,该算法不需要事先提取异常成分,可以直接对观测像元进行逐一检测,从而给出异常点的分布情况。基于模拟数据和真实数据的实验结果表明,该方法能够在检测出异常像元的同时更好地压制背景信息、减小虚警率,从而提高异常检测精度。     

基于背景残差数据的高光谱图像异常检测算法

针对高光谱图像微小目标检测中存在的严重背景干扰问题,提出了一种基于背景残差数据的非线性异常检测算法.首先利用提取的背景光谱端元对图像各像元进行光谱解混,实现了目标信息和复杂背景信息的分离;接着将含有丰富目标信息的解混残差数据非线性映射到高维特征空间,可以充分挖掘高光谱图像波段间隐含的非线性信息,并在特征空间利用RX算子完成目标的检测,从而在抑制大概率背景信息的基础上有效地利用了高光谱图像波段间的非线性统计特性.为了验证算法的有效性,利用真实的AVIRIS数据进行了实验研究,并与经典RX算法、未抑制背景的特征空间核RX算法的检测结果相比较,结果表明基于背景残差数据的检测算法具有良好的检测性能和较低的虚警,且运算复杂度较低.     

基于3D卷积联合注意力机制的高光谱图像分类

由于高光谱图像存在较高的数据维数,会给分类过程带来一些困难。为了提高分类的准确率,提出了一种使用3D卷积联合注意力机制的高光谱图像分类方法。首先,将中心像素与周围相邻的其它像素进行配对,可以通过配对构成多组新的像素对,充分利用了像素之间的邻域相关性。接着,将像素对放入3D卷积联合注意力机制网络框架中进行分类,它能够对高光谱图像中的特征进行选择性的学习。最后,通过投票策略获得像素标签。实验是在两个真实的高光谱图像数据集上进行。结果表明,所提出的方法充分挖掘了高光谱图像的光谱空间特征,能有效地提高分类精度。     

基于循环区域关注和视频帧关注的视频行为识别网络设计

视频帧中复杂的环境背景、照明条件等与行为无关的视觉信息给行为空间特征带来了大量的冗余和噪声,一定程度上影响了行为识别的准确性.针对这一点,本文提出了一种循环区域关注单元以捕捉空间特征中与行为相关的区域视觉信息,并根据视频的时序特性又提出了循环区域关注模型.其次,本文又提出了一种能够突显整段行为视频序列中较为重要帧的视频帧关注模型,以减少异类行为视频序列间相似的前后关联给识别带来的干扰.最后,提出了一个能够端到端训练的网络模型：基于循环区域关注和视频帧关注的视频行为识别网络（Recurrent Region Attention and Video Frame Attention based video action recognition Network,RFANet）.在两个视频行为识别基准UCF101数据集和HMDB51数据集上的实验表明,本文提出的端到端网络RFANet能够可靠地识别出视频中行为的所属类别.受双流结构启发,本文构建了双模态RFANet网络.在相同的训练环境下,双模态RFANet网络在两个数据集上达到了最优的性能.     

基于光谱角背景纯化的高光谱异常检测算法

为了解决利用高光谱图像进行异常检测时结果不准确、虚警率较高的问题,提出了一种基于光谱角背景纯化的异常检测算法。该算法以局部RX算法为基础,根据光谱角距离分离出内外窗口间背景像元中的异常成分,得到纯化后的背景像元,然后进行异常检测。为验证算法的有效性,选取了两组机载可见光/红外光成像光谱仪真实高光谱数据进行仿真实验,并与经典的全局RX、局部RX算法进行对比。结果表明,与局部RX算法相比,该算法在两组数据下的曲线下面积分别提高了0.0317和0.0053。这些结果为下一步的研究方向提供了参考。     

基于多尺度池化和范数注意力机制的遥感图像检索

遥感图像内容丰富,一般的深度模型提取遥感图像特征时容易受复杂背景干扰,对关键特征的提取效果不佳,并且难以表达图像的空间信息,该文提出一种基于多尺度池化和范数注意力机制的深度卷积神经网络,在通道层面与空间层面自适应地给显著特征加权.首先,在多尺度池化通道注意力模块中,结合空间金字塔池化的思想,对每个通道上的特征图进行不同...     

基于深度学习的低照度图像增强方法

在低照度环境下采集的图像往往亮度不足,导致在后续视觉任务中难以有效利用。针对这一问题,过去的低照度图像增强方法大多在极度低光场景中表现失败,甚至放大了图像中的底层噪声。为了解决这一难题,本文提出了一种新的基于深度学习的端到端神经网络,该网络主要通过空间和通道双重注意力机制来抑制色差和噪声,其中空间注意力模块利用图像的非局部相关性进行去噪,通道注意力模块用来引导网络细化冗余的色彩特征。实验结果表明,与其他主流算法相比,本文方法在主观视觉和客观评价指标上均得到了进一步提高。     

高分辨率遥感影像感兴趣区域快速检测

传统高分辨率遥感影像感兴趣区域的检测方法通常要利用先验知识库对整幅影像进行全局分析与搜索,具有很高计算复杂度。从人眼视觉特性出发,提出一种新的高分辨率遥感影像感兴趣区域快速检测算法。基于视觉关注模型对高分辨率遥感影像进行空间降维,确定视觉关注焦点;根据关注焦点位置在原始遥感影像中描述出相应的感兴趣区域。实验结果表明,新方法不仅具有较低计算复杂度,而且有效避免了影像分割、特征检测等计算复杂度较高的全图搜索方法,提高了高分辨率遥感影像感兴趣区域的检测效率。     

一种基于视觉注意模型的可移动目标检测方法

提出了一种基于视觉显著性的目标检测算法,用于对位于地面上的车辆、飞 机等地面可移动目标进行检测和定位。针对地面可移动目标在场景中较小的特点,设计了一种用于对 目标检测进行引导的基于视觉注意机制的目标显著模型。首先,提取图像目标的颜色特征、强 度特征和方向Gabor特征,并将其结合起来用于计算显著图。然后以超像素为单位对 显著值进行计算,并结合人眼视觉敏感度对不同距离的超像素之间的差异进行加权处理。实 验结果表明,本文算法可以有效地检测并定位出复杂背景中的地面可移动目标。     

基于一种视觉注意力机制的图像描述方法

为了提高由图像生成文字描述的准确率,文中提出了一种基于传统的编码解码框架,分别在编码端和解码端融入视觉注意力机制的方法,即在编码端加入空间注意力机制和图像通道级注意力机制相结合的方法。在解码端运用自适应视觉注意力机制的方法,即在传统的解码端上加入一个额外的“视觉哨兵”模块。文中提出的方法在生成文字描述的过程中自动决定是依赖图像特征还是依赖语义特征,并传递给相应的注意力机制。实验证明,相比较单一的视觉注意力机制,文中方法取得了较高的图像描述语句的正确率,具有更好的图像描述性能。     

Detection of visual attention regions in images using robust subspace analysis

In this paper, we describe a new framework to extract visual attention regions in images using robust subspace estimation and analysis techniques. We use simple features like hue and intensity endowed with scale adaptivity in order to represent smooth and textured areas in an image. A polar transformation maps homogeneity in the features into a linear subspace that also encodes spatial information of a region. A new subspace estimation algorithm based on the Generalized Principal Component Analysis (GPCA) is proposed to estimate multiple linear subspaces. Sensitivity to outliers is achieved by weighted least squares estimate of the subspaces in which weights calculated from the distribution of K nearest neighbors are assigned to data points. Iterative refinement of the weights is proposed to handle the issue of estimation bias when the number of data points in each subspace is very different. A new region attention measure is defined to calculate the visual attention of each region by considering both feature contrast and spatial geometric properties of the regions. Compared with existing visual attention detection methods, the proposed method directly measures global visual attention at the region level as opposed to pixel level.