Boosting image object retrieval and indexing by automatically discovered pseudo-objects

State-of-the-art object retrieval systems are mostly based on the bag-of-visual-words representation which encodes local appearance information of an image in a feature vector. An image object search is performed by comparing query object’s feature vector with those for database images. However, a database image vector generally carries mixed information of the entire image which may contain multiple objects and background. Search quality is degraded by such noisy (or diluted) feature vectors. To tackle this problem, we propose a novel representation, pseudo-objects – a subset of proximate feature points with its own feature vector to represent a local area, to approximate candidate objects in database images. In this paper, we investigate effective methods (e.g., grid, G-means, and GMM–BIC) to estimate pseudo-objects. Additionally, we also confirm that the pseudo-objects can significantly benefit inverted-file indexing both in accuracy and efficiency. Experimenting over two consumer photo benchmarks, we demonstrate that the proposed method significantly outperforms other state-of-the-art object retrieval and indexing algorithms.     

基于双模态特征增强的目标检测算法研究与应用北大核心CSCD

为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果;特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重;同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性;最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。     

融入残差注意力机制的DeepLabV3+图像拼接篡改取证网络

针对现有图像拼接检测网络模型存在边缘信息关注度不够、像素级精准定位效果不够好等问题,提出一种融入残差注意力机制的DeepLabV3+图像拼接篡改取证方法,该方法利用编-解码结构实现像素级图像的拼接篡改定位。在编码阶段,将高效注意力模块融入ResNet101的残差模块中,通过残差模块的堆叠以减小不重要的特征比重,凸显拼接篡改痕迹;其次,利用带有空洞卷积的空间金字塔池化模块进行多尺度特征提取,将得到的特征图进行拼接后通过空间和通道注意力机制进行语义信息建模。在解码阶段,通过融合多尺度的浅层和深层图像特征提升图像的拼接伪造区域的定位精度。实验结果表明,在CASIA 1.0、COLUMBIA和CARVALHO数据集上的拼接篡改定位精度分别达到了0.761、0.742和0.745,所提方法的图像拼接伪造区域定位性能优于一些现有的方法,同时该方法对JPEG压缩也具有更好的鲁棒性。     

Image-based coin recognition using rotation-invariant region binary patterns based on gradient magnitudes

Most features of image-based coin recognition have been based on histogram information to achieve rotation-invariant property. However, discrimination of the features based on histogram information can be reduced by ignoring local spatial structure. In this paper, we propose a novel feature of image-based coin recognition that exploits a spatial structure. In order to consider the structure of a coin, rotation-and-flipping-robust region binary patterns (RFR) is adopted. The proposed method computes gradient magnitudes in a coin image, and extracts RFR using local difference magnitude transform to increase the accuracy of coin recognition. Comparative experiments with a number of state-of-the-art methods have been performed on the MUSCLE CIS-Benchmark Preview data set. The experimental results showed that the proposed method outperformed the state of the art methods in terms of recognition accuracy, smaller feature dimension, and shorter feature extraction time.     

面向目标再辨识的空间和通道双重显著性挖掘算法

现有的目标再辨识方法常用全局特征池化层来聚合深度骨干网络所提取的特征映射以得到最终的图像特征。但是,全局特征池化层忽视了特征映射在空间和通道上的显著性,会限制所得图像特征的鉴别能力。为此,本文设计一个新颖的空间和通道双重显著性挖掘（Spatial Channel Dual Significance Mining, SC-DSM）模块,用于同时从空间和通道两个维度上充分挖掘特征映射的显著性,从而改善所得图像特征的鉴别能力,以提升目标再辨识的准确性。SC-DSM模块包含空间显著性挖掘子模块和通道显著性挖掘子模块。其中,空间显著性挖掘子模块在特征映射上构建空间图,聚合空间维度上的邻居节点特征并学习权重,实现空间显著性挖掘;通道显著性挖掘子模块在特征映射建立通道图聚合通道维度上的邻居节点并学习权重,实现通道显著性挖掘。实验结果表明,在目前最流行的车辆再辨识数据库VeRi776和行人再辨识数据库Market-1501上,所提出的方法能够优于现有的目标再辨识方法。      

一种高分辨率遥感影像分类的特征指数

随着影像分辨率的提高,传统的光谱特征不能有效地描述复杂的高分辨率影像信息,从而影响高分辨率遥感影像的分类。为了弥补传统光谱方法的不足,提出了一种加权对象相关指数(WOCI),并将其应用到基于支持向量机(SVM)的影像分类中。该指数是通过考虑具有相似性光谱的对象来构建的,可全面地描述影像的上下文结构。结果表明与仅考虑光谱特征和像素空间特征进行分类的方法相比,基于WOCI特征的分类结果有更高的精确性,且分类精度提高了7.16%。     

A DCT-Based Local Dominant Feature Extraction Algorithm for Palm-Print Recognition

In this paper, a frequency domain feature extraction algorithm for palm-print recognition is proposed, which efficiently exploits the local spatial variations in a palm-print image. The entire image is segmented into several small spatial modules and the effect of modularization in terms of the entropy content of the palm-print images has been investigated. A palm-print recognition scheme is developed based on extracting dominant spectral features from each of these local modules using a two-dimensional discrete cosine transform (2D-DCT). The proposed dominant spectral feature selection algorithm offers the advantage of having very low feature dimension, and it is capable of capturing precisely the variations in detail within the palm-print image. It is shown that because of modularization of the palm-print image, the discriminating capabilities of the proposed features are enhanced, which results in a very high within-class compactness and between-class separability of the extracted features. A principal component analysis is performed to further reduce the feature dimension. From our extensive experimentations on different palm-print databases, it is found that the performance of the proposed method in terms of recognition accuracy and computational complexity is superior to that of some of the recent methods.     

局部位置特征与全局轮廓特征相结合的图像分类方法

在空间金字塔词袋模型的基础上,针对其空间信息利用不足的问题,本文先计算图像中每一个字典向量的相对位置分布来提取出局部位置特征.然后,用非下采样轮廓波变换和线性判别分析来生成图像的全局轮廓特征.最后,通过局部位置特征与全局轮廓特征相结合的方式提高空间信息利用率,从而提高场景和物体图像分类正确率.为了检验方法的可行性,本文分别在数据库Caltech 101、MSRC和15 Scene上进行实验.实验结果证明,本文提出的方法进一步利用了空间信息,从而提高了分类正确率.     

3维卷积递归神经网络的高光谱图像分类方法

为了针对高光谱图像中空间信息与光谱信息的不同特性进行特征提取，提出一种3维卷积递归神经网络(3-D-CRNN)的高光谱图像分类方法。首先采用3维卷积神经网络提取目标像元的局部空间特征信息，然后利用双向循环神经网络对融合了局部空间信息的光谱数据进行训练，提取空谱联合特征，最后使用Softmax损失函数训练分类器实现分类。3-D-CRNN模型无需对高光谱图像进行复杂的预处理和后处理，可以实现端到端的训练，并且能够充分提取空间与光谱数据中的语义信息。结果表明，与其它基于深度学习的分类方法相比，本文中的方法在Pavia University与Indian Pines数据集上分别取得了99.94%和98.81%的总体分类精度，有效地提高了高光谱图像的分类精度与分类效果。该方法对高光谱图像的特征提取具有一定的启发意义。     

空谱结构保持的高光谱图像分类

高光谱遥感图像具有特征（波段）数多、冗余度高等特点,因此特征选择成为高光谱分类的研究热点。针对此问题,提出了空间结构与光谱结构同时保持的高光谱数据分类算法。考虑高光谱图像的物理特性,首先对图像进行加权空谱重构,使图像的空间结构信息自动融入光谱特征,形成空谱特征集;对利用最小二乘回归模型保存数据集的全局相似性结构的基础上,加入局部流形结构正则项,使挑选的特征子集更好地保存数据集的内在本质结构;讨论了窗口大小和正则参数对分类精度的影响。对Indian Pines、PaviaU和Salinas数据集的实验表明,该算法得到的特征子集的总体分类精度达到93.22%、96.01%和95.90%。该算法不仅充分利用了高光谱图像的空间结构信息,而且深入挖掘了数据集的内在本质结构,从而得到更有鉴别性的特征子集,相比传统方法明显提高了分类精度。     

基于图像内容的主动网格节点提取方法

基于内容的图像分割和建立运动目标模型都需要选择图像的特征点,均匀采样会丢失过多的细节特征。图像受噪声和光照的影响,通常特征点不是很稳健,普通的边界检测算子和角点检测算子对噪声敏感,提出采用2DGabor小波变换计算目标的局部特征能量,利用能量系数进行特征点检测,能很好克服噪声的影响;然后采用基于能量系数加权的动态聚类,提取局部特征点,避免了聚类中心偏离实际特征部位。通过特征点提取,建立一种基于图像特征的主动网格。     

三维特征点距离特征集合求交匹配算法

对于使用锥束CT分区成像的物体,要得到其完整的三维图像,需要对各分区重建图像进行三维拼接。作为基于特征的三维拼接算法中重要的步骤之一,特征点匹配是要对图像重叠区域中检测到的特征点建立对应关系。针对目前三维SIFT特征匹配算法对于相似特征误匹配率较高的问题,提出基于三维特征点空间关系的三维特征点匹配算法:距离特征集合求交法。该算法使用求取简便的特征点三维距离特征作为特征描述符,避免了扩大特征信息统计范围时巨大的计算消耗问题,然后在匹配过程中设计了距离特征集合求交的相似性度量方法,解决了以往基于空间关系方法中特征矢量各项元素不对应的问题。实验证明:该算法在图像存在大量相似特征的前提下,能够有效提高三维特征点匹配的匹配正确率。     

Human action recognition based on convolutional neural network and spatial pyramid representation

Detecting and recognizing human action in natural scenarios, such as indoor and outdoor, is a significant technique in computer vision and intelligent systems, which is widely applied in video surveillance, pedestrian tracking and human-computer interaction. Conventional approaches have been proposed based on various features and achieved impressive performance. However, these methods failed to cope with partial occlusion and changes of posture. In order to address these limitations, we propose a novel human action recognition method. More specifically, in order to capture image spatial composition, we leverage a three-level spatial pyramid feature extraction scheme, where each pyramid is encoded by local features. Thereafter, regions generated by a proposal algorithm are fed into a dual-aggregation net for deep representation extraction. Afterwards, both local features and deep features are fused to describe each image. To describe human action category, we design a metric CXQDA based on Cosine measure and Cross-view Quadratic Discriminant Analysis (XQDA) to calculate the similarity among different action categories. Experimental results demonstrate that our proposed method can effectively cope with object scale variations, partial occlusion and achieve competitive performance.     

基于空间一致性的复杂场景钢坯端面字符定位

复杂场景中的字符目标定位是进行字符目标提取与识别的关键步骤,字符目标定位的准确程度决定着后续字符识别的正确与否。本文提出了一种基于空间一致性特征的复杂场景钢坯字符目标定位新方法。先对复杂场景钢坯图像进行分割,跟踪并标记分割图中每一个连通区域,然后根据钢坯端面字符在空间位置上排列的一致性,提取连通区域目标的质心点特征,并寻找排列成一条线的质心点,同时比较它们之间的区域面积及相互距离等特征,快速定位目标字符。对多幅实际复杂场景钢坯端面字符图像进行处理,结果表明我们提出的方法具有可行性和实用性。     

Hot spot detection based on feature space representation of visual search

This paper presents a new framework for capturing intrinsic visual search behavior of different observers in image understanding by analysing saccadic eye movements in feature space. The method is based on the information theory for identifying salient image features based on which visual search is performed. We demonstrate how to obtain feature space fixation density functions that are normalized to the image content along the scan paths. This allows a reliable identification of salient image features that can be mapped back to spatial space for highlighting regions of interest and attention selection. A two-color conjunction search experiment has been implemented to illustrate the theoretical framework of the proposed method including feature selection, hot spot detection, and back-projection. The practical value of the method is demonstrated with computed tomography image of centrilobular emphysema, and we discuss how the proposed framework can be used as a basis for decision support in medical image understanding.     

基于角度分类的快速图像检索系统

基于内容的图像检索是近年来计算机视觉领域的重要方向之一,如何快速准确地匹配视觉信息内容是图像检索最关键的部分。目前大多数检索方法采用BOF(bag of features)算法,该算法的检索精度较低,且运行速度较慢。提出了一种新的匹配方法,提高检索精度的同时有效减少了检索时间。本算法利用特征点的四个相对独立的角度对其进行分类,可大幅减少需要比较的特征算子的数量,并对每一分类中的特征点使用k-means算法聚类,得到若干个聚类中心。本方法对每一聚类的特征点进行汉明编码,并采用倒排表的方式进行信息存储。实验对象使用Holiday图像库,结果显示,检索精度和检索速度较原先算法得到了较大程度的改善,检索精度最高可提高55.9%,至0.8557,检索时间最多可降低49.3%,至0.35s。     

基于改进蜂群优化的图像分割算法

针对图像分割算法各个性能不均衡的问题,提出一种基于蜂群优化与多颜色空间特征提取的图像分割算法.首先,对CIE颜色空间的L分量使用Gabor滤波器提取图像的纹理特征,并且在图像的HSV颜色空间计算图像的局部一致性,共提取图像的7个特征,组成特征向量;然后,本文对蜂群搜索算法进行优化,设计了一个有效的局部搜索算法,使得蜂群可高效地收敛至较优的帕累托最优解;最终,使用改进的蜂群算法对种子区域生长法进行改进与优化,指定种子的最优位置,决定每个种子点一致性准则的最优阈值,并将多准则作为多目标优化的问题,使用蜂群优化搜索帕累托最优解,最终获得分割结果.对比实验结果表明,该分割算法的时间效率、一致性误差以及类内散布度等性能较为均衡,具有较好的实用价值.     

部分遮挡目标的稳健局部特征点提取方法

部分遮挡目标的特征提取是目标检测中的难点问题。针对这一问题,提出一种基于稳健性度量统计分析的部分遮挡目标稳健局部特征点提取方法,该方法建立在目标图像训练集的局部特征点逐步提纯基础上。它首先对目标在不同条件下获取的图像集分别应用SIFT提取相应局部特征点;然后基于统计分析对局部特征点进行粗提取,再通过计算置信度进一步筛选出较稳健的局部特征点;最后分析局部特征点的空间分布等因素提取出最稳健的局部特征点集。实验结果表明,该方法耗时仅为SIFT检测算法的30%,并且保证了检测精度。     

基于Gabor小波与HOG特征的目标检测方法

针对传统的HOG目标识别方法,提出一种通过Gabor滤波融合后的进行HOG特征提取的目标检测方法。为了提高HOG特征提取信息的有效性,首先用Gabor对目标图像做了预处理,其预处理过程是针对图像Gabor特征的在尺度和方向上进行融合,形成一幅Gabor图像。为了有效提取全局的Gabor图像纹理、轮廓信息,将该图像分为大小相同且重叠的块,分别对每个块进行统计,最后用RealAdaboost级联方法对目标和非目标样本进行学习,并对测试序列进行分类。结果表明,基于梯度的Gabor预处理技术能提高目标特征提取性能。与传统的HOG目标识别的方法比较,该方法在目标图像受到干扰的情况(遮挡、重叠等)下,监测效果明显优越。