融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

融合多特征与先验信息的显著性目标检测

目的 图像的显著性目标检测是计算机视觉领域的重要研究课题。针对现有显著性目标检测结果存在的纹理细节刻画不明显和边缘轮廓显示不完整的问题,提出一种融合多特征与先验信息的显著性目标检测方法,该方法能够高效而全面地获取图像中的显著性区域。方法 首先,提取图像感兴趣的点集,计算全局对比度图,利用贝叶斯方法融合凸包和全局对比度图获得对比度特征图。通过多尺度下的颜色直方图得到颜色空间图,根据信息熵定理计算最小信息熵,并将该尺度下的颜色空间图作为颜色特征图。通过反锐化掩模方法提高图像清晰度,利用局部二值算子（LBP）获得纹理特征图。然后,通过图形正则化（GR）和流行排序（MR）算法得到中心先验图和边缘先验图。最后,利用元胞自动机融合对比度特征图、颜色特征图、纹理特征图、中心先验图和边缘先验图获得初级显著图,再通过快速引导滤波器优化处理得到最终显著图。结果 在2个公开的数据集MSRA10K和ECSSD上验证本文算法并与12种具有开源代码的流行算法进行比较,实验结果表明,本文算法在准确率-召回率（PR）曲线、受试者工作特征（ROC）曲线、综合评价指标（F-measure）、平均绝对误差（MAE）和结构化度量指标（S-measure）等方面有显著提升,整体性能优于对比算法。结论 本文算法充分利用了图像的对比度特征、颜色特征、纹理特征,采用中心先验和边缘先验算法,在全面提取显著性区域的同时,能够较好地保留图像的纹理信息和细节信息,使得边缘轮廓更加完整,满足人眼的层次要求和细节要求,并具有一定的适用性。     

基于局部显著边缘特征的快速图像配准算法

针对尺度不变的特征变换(SIFT)算法提取的特征点数目多、匹配耗时长、匹配精度不高等问题,提出了一种基于局部显著边缘特征的快速图像配准算法。该算法利用SIFT算法提取待选特征点,同时用小波边缘检测提取图像边缘,建立特征点周围邻域的边缘特征,筛选出具有显著边缘特征的特征点,结合Shape-context算子和边缘特征形成特征描述向量,采用欧氏距离作为匹配度量函数对筛选出的特征点进行初步匹配,然后用随机一致性检验(RANSAC)算法消除误匹配点对。实验结果表明,该算法有效控制了特征点的数量,提高了特征点的质量,缩小了特征搜索空间,提高了特征匹配的效率。     

基于视觉显著性的区域立体匹配算法

针对区域立体匹配算法对光照变化敏感,视差图存在目标和弱纹理区域的错配、边界不平滑等问题,提出一种利用视觉显著性特征改进的快速区域立体匹配算法。该算法先利用显著性检测定位图像主要目标区域;再结合索贝尔(Sobel)边缘特征和相角特征完成特征匹配、得到粗视差图;最后通过检测粗视差图中的视觉显著性,消除图像弱纹理区域的突兀噪声。相比绝对误差累计(SAD)、平方误差累计(SSD)和归一化灰度互相关(NCC)算法,所提算法对光照变化不敏感,得到的视差图完整,匹配率高,有利于实时系统应用。     

基于主成分分析方向深度梯度直方图的立体视觉深度图特征提取

针对立体视觉深度图特征提取精确度低、复杂度高的问题,提出了一种基于主成分分析方向深度梯度直方图(PCA-HODG)的特征提取算法。首先,对双目立体视觉图像进行视差计算和深度图提取,获取高质量深度图;然后,基于预设大小窗口对所获取的深度图进行边缘检测和梯度计算,获得区域形状直方图特征并量化;同时运用主成分分析(PCA)进行降维;最后,为实现特征获取的精确性和完整性,采用滑动窗口检测方法实现整幅深度图的特征提取,并再次降维。在特征匹配分类实验中,对于Street测试序列帧,该算法比距离样本深度特征(RSDF)算法平均分类准确率提高了1.15%,而对于Tanks、Tunnel、Temple测试序列帧,该算法比测度不变特征(GIF)算法平均分类准确率分别提高了0.69%、1.95%、0.49%;同时与方向深度直方图(HOD)、RSDF、GIF算法相比,平均运行时间分别降低了71.65%、78.05%、80.06%。实验结果表明,该算法不仅能够更精确地检测和提取深度图特征,而且通过降低维数复杂度大大减少了运行时间;同时算法具有较好的鲁棒性。     

Salient object detection based on regions

Salient object detection aims to automatically localize the attractive objects with respect to surrounding background in an image. It can be applied to image browsing, image cropping, image compression, content-based image retrieval, and etc. In the literature, the low-level (pixel-based) features (e.g., color and gradient) were usually adopted for modeling and computing visual attention; these methods are straightforward and efficient but limited by performance, due to losing global organization and inference. Some recent works attempt to use the region-based features but often lead to incomplete object detection. In this paper, we propose an efficient approach of salient object detection using region-based representation, in which two novel region-based features are extracted for proposing salient map and the salient object are localized with a region growing algorithm. Its brief procedure includes: 1) image segmentation to get disjoint regions with characteristic consistency; 2) region clustering; 3) computation of the region-based center-surround feature and color-distribution feature; 4) combination of the two features to propose the saliency map; 5) region growing for detecting salient object. In the experiments, we evaluate our method with the public dataset provided by Microsoft Research Asia. The experimental results show that the new approach outperforms other four state-of-the-arts methods with regard to precision, recall and F-measure.     

Automatic gender recognition based on pixel-pattern-based texture feature

A pixel-pattern-based texture feature (PPBTF) is proposed for real-time gender recognition. A gray-scale image is transformed into a pattern map where edges and lines are to be used for characterizing the texture information. On the basis of the pattern map, a feature vector is comprised the numbers of the pixels belonging to each pattern. We use the image basis functions obtained by principal component analysis (PCA) as the templates for pattern matching. The characteristics of the feature are comprehensively analyzed through an application to gender recognition. Adaboost is used to select the most discriminative feature subset, and support vector machine (SVMs) is adopted for classification. Performed on frontal images from FERET database, the comparisons with Gabor show that PPBTF is a significant facial representation, quite effective and speedier in computation.     

多先验特征与综合对比度的图像显著性检测

目的 图像的显著性检测在计算机视觉中应用非常广泛,现有的方法通常在复杂背景区域下表现不佳,由于显著性检测的低层特征并不可靠,同时单一的特征也很难得到高质量的显著图。提出了一种通过增加特征的多样性来实现显著性检测的方法。方法 在高层先验知识的基础上,对背景先验特征和中心先验特征重新进行了定义,并考虑人眼视觉一般会对暖色调更为关注,从而加入颜色先验。另外在图像低层特征上使用目前较为流行的全局对比度和局部对比度特征,在特征融合时针对不同情况分别采取线性和非线性的一种新的融合策略,得到高质量的显著图。结果 在MSRA-1000和DUT-OMRON两个公开数据库进行对比验证,实验结果表明,基于多先验特征与综合对比度的图像显著性检测算法具有较高的查准率、召回率和F-measure值,相较于RBD算法均提高了1.5%以上,综合性能均优于目前的10种主流算法。结论 相较于基于低层特征和单一先验特征的算法,本文算法充分利用了图像信息,能在突出全局对比度的同时也保留较多的局部信息,达到均匀突出显著性区域的效果,有效地抑制复杂的背景区域,得到更加符合视觉感知的显著图。     

多尺度特征融合的图嵌入方法

针对结构模式识别领域中通用图嵌入方法缺乏且计算复杂度较高的问题,基于空间句法理论提出一种融合多尺度特征的图嵌入方法。通过提取图的节点数、边数和智能度等全局特征、节点拓扑特征、边领域特征差异度和边拓扑特征差异度等局部特征和节点与边上的数值属性和符号属性等细节特征,利用多尺度直方图统计的方法构造描述图特征的特征向量,以此将桥梁将结构模式识别问题转化为统计模式识别问题,进而借助支持向量机(SVM)实现图的分类识别。实验结果表明,所提出的图嵌入方法在不同的图数据集上均具有较高的分类识别率。与其他图嵌入方法相比,该方法对图的拓扑表达能力强,并且可融合图的领域方面的非拓扑特征,通用性较好,计算复杂度较低。     

结合语义辅助和边缘特征的显著对象检测

目的 现有的显著对象检测模型能够很好地定位显著对象,但是在获得完整均匀的对象和保留清晰边缘的任务上存在不足。为了得到整体均匀和边缘清晰的显著对象,本文提出了结合语义辅助和边缘特征的显著对象检测模型。方法 模型利用设计的语义辅助特征融合模块优化骨干网的侧向输出特征,每层特征通过语义辅助选择性融合相邻的低层特征,获得足够的结构信息并增强显著区域的特征强度,进而检测出整体均匀的显著对象。通过设计的边缘分支网络以及显著对象特征得到精确的边缘特征,将边缘特征融合到显著对象特征中,加强特征中显著对象边缘区域的可区分性,以便检测出清晰的边缘。同时,本文设计了一个双向多尺度模块来提取网络中的多尺度信息。结果 在4种常用的数据集ECSSD （extended complex scene saliency dataset）、DUT-O （Dalian University of Technology and OMRON Corporation）、HKU-IS和DUTS上与12种较流行的显著模型进行比较,本文模型的最大F值度量（max F-measure,MaxF）和平均绝对误差（mean absolution error,MAE）分别是0.940、0.795、0.929、0.870和0.041、0.057、0.034、0.043。从实验结果看,本文方法得到的显著图更接近真值图,在MaxF和MAE上取得最佳性能的次数多于其他12种方法。结论 本文提出的结合语义辅助和边缘特征的显著对象检测模型十分有效。语义辅助特征融合和边缘特征的引入使检测出的显著对象更为完整均匀,对象的边缘区分性也更强,多尺度特征提取进一步改善了显著对象的检测效果。     

基于多尺度特征映射匹配的图像表示方法

在卷积神经网络模型中,空间金字塔池化方法将空间信息融入到深度特征的生成过程中,最终生成的图像表示可以有效地用于提高图像检索性能,但是此方法会导致生成的图像表示中不同维度之间描述的信息存在重复且相同维度描述的图像内容不匹配。为此提出了一种基于多尺度特征映射匹配（multi-scale feature map matching,MFMM）的图像表示方法,此方法首先利用深度特征的方差与协方差矩阵提出了一种特征映射选择算法,用于增强图像表示中不同维度特征的独立性。其次,依据相同通道特征映射中高响应值位置有较高匹配性的特点,结合激活映射中最大响应位置的深度特征提出了一种优化的特征映射中心点选择方法。最后,按照不同的中心点通过多尺度窗口采样的方式,从特征映射中提取出带有空间信息的深度特征用于表示图像内容。实验结果表明,提出的方法在图像检索任务中能够取得良好的效果。     

Combining spatial and colour information for content based image retrieval

Colour is one of the most important features in content based image retrieval. However, colour is rarely used as a feature that codes local spatial information, except for colour texture. This paper presents an approach to represent spatial colour distributions using local principal component analysis (PCA). The representation is based on image windows which are selected by two complementary data driven attentive mechanisms: a symmetry based saliency map and an edge and corner detector. The eigenvectors obtained from local PCA of the selected windows form colour patterns that capture both low and high spatial frequencies, so they are well suited for shape as well as texture representation. Projections of the windows selected from the image database to the local PCs serve as a compact representation for the search database. Queries are formulated by specifying windows within query images. System feedback makes both the search process and the results comprehensible for the user.     

基于Canny边缘SURF特征的红外与可见光图像配准算法

利用多源传感器之间获取信息的互补性,克服单传感器的缺陷,从而提高系统整体性能指标的思想已经在军事、医疗、卫星等领域获得了广泛的应用。可见光和红外图像相融合也能提高视觉应用场景中对目标的探测能力,降低目标警报的虚警率和漏警率,提升准确率和工作效益。对于红外与可见光图像配准过程中受不同传感器图像成像原理不同,成像结果图像灰度差异大、特征难以匹配的问题,可以利用红外和可见光图像的共有特征即边缘轮廓特征,采用Canny边缘提取算法提取出图像最基本、稳定的特征,然后在边缘图中使用SURF特征检测算法进行特征点提取与匹配,最后采用RANSAC进行精准匹配。由于边缘在红外和可见光图像中都是比较稳定的特征,而且在边缘轮廓图中进行特征提取将极大减少计算量和提高匹配率,因而最终能够获得较为准确的红外、可见光图像的变换关系。     

基于图像分割的立体匹配算法

针对在立体匹配中弱纹理及纯色区域匹配不准确和图像分割算法耗时较多的问题,提出一种融合图像分割的立体匹配算法。首先,将初始图像进行高斯滤波和Sobel平滑的处理,获取图像的边缘特征图;然后,将原图的红、绿、蓝三个通道值采用最大类间方差法进行二分类,再融合得到分割模板图;最后,将所得到的灰度图、边缘特征图和分割模板图用于视差计算和视差优化的过程,计算得到视差图。相比绝对差值和(SAD)算法,所提算法在精度上平均提升了14.23个百分点,时间开销上平均每万个像素点只多消耗了7.16 ms。实验结果表明,该算法在纯色及弱纹理区域和视差不连续区域取得了更加平滑的匹配结果,在图像分割上能够自动计算阈值且能够较快地对图像进行分割。     

LBP特征分类的极化SAR图像机场跑道检测

目的 在极化合成孔径雷达（synthetic aperture radar，SAR）图像中常用直线检测进行机场跑道的识别，但是河流、道路等与机场跑道具有相似直线的地物容易对检测结果造成干扰，出现检测目标难定位、目标模糊、多虚警等问题。为此，本文设计了一种利用目标散射特性结合局部二值模式（local binary patterns，LBP）特征分类的极化SAR图像机场跑道区域检测方法，采用LBP特征对极化SAR图像进行有监督的分类来提取真实的机场区域。方法 首先利用异化散射功率对极化SAR图像进行阈值分割，然后通过形态学处理得到疑似机场跑道区域，同时构建机场跑道和非机场跑道两类训练样本，并提取、统计样本的LBP特征，形成直方图，得到特征向量训练支持向量机（support vector machine，SVM）二分类器，其中SVM二分类器采用了径向基函数（radial basis function，RBF）核函数；接着对疑似机场跑道区域构建LBP特征，送入SVM二分类器中分类，对机场跑道进行检测识别，最终得到真实的机场跑道区域。结果 利用UAVSAR（uninhabited aerial vehicle synthetic aperture radar）系统采集的7幅极化SAR图像数据进行实验检测，并选取基于几何特征辨识跑道的两种算法进行对比，3种方法均有效检测出了7幅场景中的真实跑道，但是本文方法在7幅数据中总的虚警和漏警个数均为1，而两种对比算法中的虚警个数分别为2和11、漏警个数分别为8和1。结论 本文方法不仅能有效检测出机场跑道区域，且检测效果更好，计算量较小，虚警和漏警率低，效率更高。     

动态生成掩膜弱监督语义分割

目的 传统图像语义分割需要的像素级标注数据难以大量获取,图像语义分割的弱监督学习是当前的重要研究方向。弱监督学习是指使用弱标注样本完成监督学习,弱标注比像素级标注的标注速度快、标注方式简单,包括散点、边界框、涂鸦等标注方式。方法 针对现有方法对多层特征利用不充分的问题,提出了一种基于动态掩膜生成的弱监督语义分割方法。该方法以边界框作为初始前景分割轮廓,使用迭代方式通过卷积神经网络（convolutional neural network,CNN） 多层特征获取前景目标的边缘信息,根据边缘信息生成掩膜。迭代的过程中首先使用高层特征对前景目标的大体形状和位置做出估计,得到粗略的物体分割掩膜。然后根据已获得的粗略掩膜,逐层使用CNN 特征对掩膜进行更新。结果 在Pascal VOC（visual object classes） 2012 数据集上取得了78.06% 的分割精度,相比于边界框监督、弱—半监督、掩膜排序和实例剪切方法,分别提高了14.71%、4.04%、3.10% 和0.92%。结论 该方法能够利用高层语义特征,减少分割掩膜中语义级别的错误,同时使用底层特征对掩膜进行更新,可以提高分割边缘的准确性。     

基于全卷积神经网络的单幅隧道图像裂纹提取算法

提出一种基于全卷积神经网络的单幅隧道图像裂纹提取算法,能够有效避免复杂背景下的伪裂纹噪声点干扰,实现对隧道裂纹的精确分割。首先,构建深度残差网络模型提取裂纹特征;其次,使用改进的全卷积神经网络中的反卷积操作恢复裂纹特征图的尺寸和裂纹细节;为了提升裂缝提取的精细程度,提出一个细节修复模块来保持裂缝的完整性与边缘细节;最后,公开一个裂纹数据集NUAACrack-2000,包含2 000幅隧道裂纹图像与精准标注标签。实验表明,提出的算法在避免噪声点干扰方面优于传统图像分割算法;在保留提取裂纹的整体性以及边缘细节处理方面优于基于机器学习的主流裂纹提取算法。     

A new matching strategy for content based image retrieval system

Adopting effective model to access the desired images is essential nowadays with the presence of a huge amount of digital images. The present paper introduces an accurate and rapid model for content based image retrieval process depending on a new matching strategy. The proposed model is composed of four major phases namely: features extraction, dimensionality reduction, ANN classifier and matching strategy. As for the feature extraction phase, it extracts a color and texture features, respectively, called color co-occurrence matrix (CCM) and difference between pixels of scan pattern (DBPSP). However, integrating multiple features can overcome the problems of single feature, but the system works slowly mainly because of the high dimensionality of the feature space. Therefore, the dimensionality reduction technique selects the effective features that jointly have the largest dependency on the target class and minimal redundancy among themselves. Consequently, these features reduce the calculation work and the computation time in the retrieval process. The artificial neural network (ANN) in our proposed model serves as a classifier so that the selected features of query image are the input and its output is one of the multi classes that have the largest similarity to the query image. In addition, the proposed model presents an effective feature matching strategy that depends on the idea of the minimum area between two vectors to compute the similarity value between a query image and the images in the determined class. Finally, the results presented in this paper demonstrate that the proposed model provides accurate retrieval results and achieve improvement in performance with significantly less computation time compared with other models.