Edge-preserving guided filtering based cost aggregation for stereo matching

Stereo matching has been widely used in various computer applications and it is still a challenging problem. In stereo matching, the filter-based stereo matching methods have achieved outstanding performance. A local stereo matching method based on adaptive edge-preserving guided filter is presented in this paper, which can achieve proper cost-volume filtering and keep edges well. We introduce a gradient vector of the enhanced image generated by the proposed filter into the cost computation and the Census transform is adopted in the cost measurement. This cost computation method is robust against radiometric variations and textureless areas. The edge-preserving guided filter approach is proposed to aggregate the cost volume, which further proves the effectiveness of edge-preserving filter for stereo matching. The experiments conducted on Middlebury benchmark and KITTI benchmark demonstrate that the proposed algorithm produces better results compared with other edge-aware filter-based methods.     

基于NSCT的SMP立体匹配算法研究

针对区域立体匹配算法中匹配窗口自适应选择的难点,提出一种基于多尺度分析Nonsubsampled Contourlet变换(NSCT)的快速区域立体匹配新算法.首先介绍NSCT并对其时移不变性进行讨论.采用由粗到精的匹配策略和快速的SMP匹配代价函数降低运算量.实验结果表明,该算法具有很高准确率.     

基于引导滤波及视差图融合的立体匹配

立体匹配是双目视觉领域的重要研究方向.为在保证图片纹理区域匹配精度的同时降低弱纹理区域的误匹配率,提出一种基于引导滤波及视差图融合的立体匹配方法.首先,根据图像颜色相似性将图片划分为纹理较丰富区域和弱纹理区域.接着,分别采用不同参数的引导滤波进行代价聚合及视差计算,得到两张视差图.然后依据纹理区域划分的结果对获得的两张视差图进行融合.最后,通过左右一致性检测、加权中值滤波等视差优化步骤得到最终视差图.对Middlebury测试平台上标准图像对的实验结果表明,该方法在6组弱纹理图像上的平均误匹配率为9.67％,较传统引导滤波立体匹配算法具有更高的匹配精度.     

一种快速区域立体匹配算法设计及实现

为了精确建立两幅图像像素间的对应关系,克服区域立体匹配算法计算量大的缺点,提出了一种改进的区域立体匹配算法。改进的区域匹配算法运用双向立体匹配策略来提高两幅图像像素间的匹配精度,并结合mean-shift图像分割技术,在同一区域具有相同视差的假设前提下获得图像的稠密视差;为了克服区域立体匹配计算量大的缺点,该算法引入伪极线约束将真正匹配点的位置限定在一个非常小的范围内,从而大大减少了匹配点的搜索范围,有效地降低了匹配算法的计算量。实验结果表明,改进的双向匹配算法可以有效地缩小匹配搜索范围,并实现图像间的精确稠密匹配。     

High‐Quality Stereo Depth Map Generation Using Infrared Pattern Projection

In this paper, we present a method for obtaining a highquality 3D depth. The advantages of active pattern projection and passive stereo matching are combined and a system is established. A diffractive optical element (DOE) is developed to project the active pattern. Cross guidance (CG) and auto guidance (AG) are proposed to perform the passive stereo matching in a stereo image in which a DOE pattern is projected. When obtaining the image, the CG emits a DOE pattern periodically and consecutively receives the original and pattern images. In addition, stereo matching is performed using these images. The AG projects the DOE pattern continuously. It conducts cost aggregation, and the image is restored through the process of removing the pattern from the pattern image. The ground truth is generated to estimate the optimal parameter among various stereo matching algorithms. Using the ground truth, the optimal parameter is estimated and the cost computation and aggregation algorithm are selected. The depth is calculated and bad‐pixel errors make up 4.45% of the non‐occlusion area.     

Efficient local stereo matching algorithm based on fast gradient domain guided image filtering

Guided image filtering (GIF) based cost aggregation or disparity refinement stereo matching algorithms are studied extensively owing to the edge-aware preserved smoothing property. However, GIF suffers from halo artifacts in sharp edges and shows high computational costs on high-resolution images. The performance of GIF in stereo matching would be limited by the above two defects. To solve these problems, a novel fast gradient domain guided image filtering (F-GDGIF) is proposed. To be specific, halo artifacts are effectively alleviated by incorporating an efficient multi-scale edge-aware weighting into GIF. With this multi-scale weighting, edges can be preserved much better. In addition, high computational costs are cut down by sub-sampling strategy, which decreases the computational complexity from O(N) to O(N/s²) (s: sub-sampling ratio) To verify the effectiveness of the algorithm, F-GDGIF is applied to cost aggregation and disparity refinement in stereo matching algorithms respectively. Experiments on the Middlebury evaluation benchmark demonstrate that F-GDGIF based stereo matching method can generate more accuracy disparity maps with low computational cost compared to other GIF based methods.     

基于扩展相位相关的小基高比立体匹配方法

为获得高精度亚像素级视差以满足小基高比摄影测量需求,提出一种基于扩展相位相关的小基高比立体匹配方法.该方法采用分步式策略,首先利用自适应窗口匹配法计算整像素级视差,然后在整像素级视差的指导下建立同名像点之间的对应关系,再分别以左右同名像点为中心截取子图像,最后利用扩展相位相关匹配法对子图像进行亚像素级匹配,获得亚像素级视差.采用小基高比立体像对和带有亚像素级视差的模拟立体像对进行实验,结果表明基于扩展相位相关的小基高比立体匹配方法在精度和效率方面具有优越性能.     

Dense-CNN: Dense convolutional neural network for stereo matching using multiscale feature connection

In spite of the fact that convolutional neural network-based stereo matching models have shown good performance in both accuracy and robustness, the issue of image feature loss in regions of texture-less, complex scenes and occlusions remains. In this paper, we present a dense convolutional neural network-based stereo matching method with multiscale feature connection, named Dense-CNN. First, we construct a novel densely connected network with multiscale convolutional layers to extract rich image features, in which the merged multiscale features with context information are utilized to estimate the cost volume for stereo matching. Second, we plan a novel loss-function strategy to learn the network parameters more reasonably, which can develop the performance of the proposed Dense-CNN model on disparity computation. Finally, we run our Dense-CNN model on the Middlebury and KITTI databases to conduct a comprehensive comparison with several state-of-the-art approaches. The experimental results demonstrate that the proposed method achieved superior performance on computational accuracy and robustness of disparity estimation, especially achieving the significant benefit of feature preservation in ill-posed regions.     

一种基于非采样Contourlet变换红外图像与可见光图像融合算法

针对同一场景红外图像与可见光图像的融合问题,提出了一种基于非采样Contourlet变换(Nonsubsampled Contourlet Transform,NSCT)图像融合算法.算法首先采用NSCT对源图像进行多尺度、多方向分解,得到低频子带系数和各带通方向子带系数.然后,针对低频子带系数的选择,提出了一种基于红外图像与可见光图像物理特征的"加权平均"系数选择方案;针对各带通方向子带系数的选择,结合人眼视觉特性,提出了一种基于区域能量匹配的系数选择方案,得到融合图像的NSCT系数.最后经过NSCT逆变换得到融合图像.实验结果表明该算法可获得较理想的融合图像,其融合效果优于传统的基于离散小波变换以及离散小波框架变换的图像融合算法.     

基于NSCT域的动态WNMF图像融合算法的研究

在红外线与可见光图像的融合过程中，经常会出现融合图像细节方面缺失的情况。为了解决这一问题，采用了改进的非下采样轮廓波变换（NSCT）图像融合算法，融入动态的加权非负矩阵分解规则（WNMF），对图像进行融合处理。结果表明，利用非下采样轮廓波变换算法对两幅源图像进行多尺度多方向的分解，可得到低频与高频部分；动态的WNMF融合规则作为低频部分的融合规则；高频部分中最高层的分解尺度采用绝对值取大的方法；高频部分其它各层则设定匹配度阈值；低于阈值时，使用基于区域能量匹配度的区域方差选大的方法；如果高于阈值时，采用加权平均的方法进行；通过对低频部分与高频部分的处理，用NSCT逆变换方式获得了融合图像。该方法有效提高了融合图像清晰度，凸显了其细节信息，缩短了所需的计算时间。     

二次加权引导滤波融合双色彩空间模型的立体匹配

立体匹配一直以来都是双目视觉领域中研究的重点 和难点。针对现有立体匹配算法边 缘保持性差、匹配精度低等问题,提出了一种二次加权引导滤波融合双色彩空间模型的立体 匹配算法(Secondary Weighted Guided Filtering fusion double color model,SWGF)。首 先在代价计算阶段提出了一种双色彩空间模型,从两个颜色空间进行像素颜色匹配代价计算 ,增强像素在低纹理区域的特征;然后在代价聚合阶段基于HSV颜色空间利用不同窗口中像 素纹理不同加入一个边缘保持项,从而使正则化参数进行自适应调整。在一次引导滤波之后 ,我们使用Census变换得到的汉明距离和初始视差完成一次代价更新,再次对其进行代价聚 合,随后计算视差并对视差进行左右一致性检测、空洞填充和加权中值滤波等优化,最后获 得视差图。本文算法在Middlebury测试平台上测试结果表明SWGF算法误匹配率仅为 4.61%,可以大幅提升立体匹配的精度,同时增强其边缘保持性。     

基于NSST的红外与可见光图像融合算法

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换（NSST）的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法.     

基于Harris-SIFT算法的双目立体视觉定位

针对基于尺度空间对图象保持不变性的SIFT算法在双目立体视觉应用时实时性差、误匹配等问题,提出一种运用Harris-SIFT算法进行双目立体视觉定位方法.通过介绍双目立体视觉的模型原理,利用Harris-SIFT算法从左右摄像机分别获取的图像中检测目标,并获取匹配目标的特征点,对两幅图像中目标物体的坐标标定,通过计算可得到目标物体的深度距离,还原其三维信息.实验证明,运用Harris-SIFT算法使该系统的实时性能和距离精度得到提高.     

基于NSCT及熵的旋转不变彩色图像检索算法

为了解决图像在转载过程中所产生的旋转变化和尺 度变化对检索的影响,根据熵的对称性,提出了基于NSCT及熵的旋转不变图像检索算法。首 先,利用非下采样轮廓波变换(NSCT)对图像进行多尺度、多方向分解,对不同尺度、同方 向的高频方向子带求多尺度积,以减小尺度变 化和噪声对检索效率的影响;然后,考虑到图像旋转后各方向子带在整幅图像中的能量比例 不会发生变化, 将各方向子带的能量比例作为概率矢量,各方向子带的粗糙度作为权值求取图像的加权信息 熵,作为具 有旋转不变性的图像纹理特征,利用矩提取图像的颜色和形状特征;最后,归一化3种特征 来比较两幅图 像的相似性。性能测试表明,本文所提出的方法对旋转变换鲁棒性强,且具有很高的查准率 和查全率。     

基于改进代价计算和视差候选策略的立体匹配

立体匹配算法在图像弱纹理区和重复纹理区存在匹配困难、误差大的问题,为此提出一种基于改进代价计算和视差候选策略的立体匹配算法。首先结合改进的Census变换和自适应加权融合的双向梯度信息来计算初始匹配代价,提高代价计算的可靠性。其中:为传统Census变换增加内圈编码,提高邻域信息利用率,同时降低噪声的影响;利用自适应权重函数融合横向和纵向梯度代价,降低物体边缘区域的误匹配率。其次,采用自适应十字交叉窗口进行代价聚合,并通过建立候选视差集和引入邻域视差信息的方法来获取初始视差。最后通过两轮插值策略优化视差。实验结果表明,所提算法能够提高弱纹理区和重复纹理区的匹配效果,在Middlebury中4幅标准立体图像对的平均误匹配率为5.33%。     

基于多分辨率变换和压缩感知的肺癌PET/CT图像融合方法

针对移动医疗背景下医学图像融合信息交互的局限性问题,提出一种基于多分辨率变换NSCT和压缩感知理论的肺癌PET/CT图像融合算法.第一步,对源图像进行单层NSCT分解;第二步,通过分析PET和CT不同的成像机制和显像信息,对分解后具有较差稀疏性且主要集中源图像大部分能量的低频子带,采取高斯隶属度函数加权的融合规则,对主要呈现源图像细节信息的高频子带使用高斯随机矩阵进行压缩测量,选择基于平均梯度和区域能量的方法法对高频测量值进行融合;第三步,采取正交匹配追踪算法重构融合后的高频测量值;第四步,对低频融合图像和重构后的高频融合图像进行NSCT逆变换得到最终的融合图像;最后,对该算法进行了两方面的仿真实验:与其他压缩感知图像融合方法的比较以及与其他多分辨率图像融合方法的比较,实验结果表明,该算法是有效可行的.     

融合梯度特性与置信度的立体匹配算法

针对现有局部立体匹配算法在计算匹配代价时, 不能很好区分强弱纹理区域,及在视差计算过程 中,不能很好的解决视差歧义问题,提出一种融合梯度特性与置信度的立体匹配算法。首先 计算梯度特 征,并根据梯度特征信息选择匹配代价计算的匹配窗口,针对强弱不同纹理区域选择不同尺 寸的匹配窗 口,有效的提高了立体匹配精度,降低了误匹配率;然后在视差计算中引入置信度约束条件 ,解决了视差 计算中视差歧义的问题,提高了立体匹配算法的稳定性与精度;最后使用水平与垂直方向交 叉区域检测进 行奇异值的修正。实验结果表明,该算法在Middlebury数据集中31对 立体图像对的平均误匹配率为7.96%,有效的提高了立体匹配精度。     

一种新的NSCT图像融合算法研究

针对传统NSCT图像融合算法考虑方向的信息完成的缺点,文章提出了新的NSCT 图像融合算法。该算法是基于方向区域的,通过对源图像的分解可以得到各个方向的高低频子带,根据不同分解层的方向的特性对高低频系数按方向区域能量融合,再经过反变换得到最终的融合图像。此算法在体现出各源图像细节特征的同时还很好的保留了边缘等很多有用的信息。测试结果表明,此算法和传统的NSCT图像融合算法相比,融合效果更好。     

基于人眼视觉特性的遥感图像融合算法

首先提出基于非下采样Contourlet变换(NSCT,Nonsubsampled Contourlet Transform)的人眼视觉相对对比度灵敏度函数(RCSF,relative contrast sensitivity function)和绝对对比度灵敏度函数(ACSF,absolute contrast sensitivity function)。然后提出了基于人眼视觉对比度灵敏度函数(CSF,contrast sensitivityfunction)的遥感图像融合算法(IFA-CSF,image fusion algorithmof human visual contrast sensitivity function)。IFA-CSF采用NSCT作为多尺度变换工具,对单方向高频子带采用ACSF融合,对多方向高频子带采用RCSF融合,并对8方向高频子带采用先方向分组再融合的方法。实验结果表明,IFA-CSF优于基于传统CSF和基于局部能量的图像融合算法。     

一种基于NSCT的区域能量图像融合算法

针对NSCT具有方向性、各向异性和平移不变性的特点,提出了一种新的基于NSCT图像融合算法。该方法同时考虑了窗口区域的匹配度和窗口中心像素的正负号相位信息,将选择和加权平均二种融合规则相结合,取最高层绝对值较大的系数作为融合图像最高层的系数。实验结果表明,文中方法融合效果优于传统小波和轮廓波变换方法。