基于稀疏-密集匹配算法的视差度量

图像匹配是一种约束最优化问题，系统是否收敛于全局最优值一直尚未解决。为得到密集连续的视差图，通常在匹配算法中引入唯一性、连续性、有序性约束。但对于遮挡区域的像素，其对应点并不存在，因此过度平滑的视差结果会导致在遮挡边缘处，灰度变化显著的表面渗透至邻接的灰度变化和缓的表面，出现所谓的表面膨胀缩小现象。当定义图像匹配算法中最优匹配标准时，必须根据图像的内在信息加入其他一些约束条件，保证遮挡存在下匹配结果的全局精确度。提出一种稀疏-密集的匹配算法，利用能量图确定稀疏的视差图，然后运用相位匹配方法对视差图进行内插，并结合最优化理论克服局部最优困扰。实现遮挡检测。立体像对的匹配试验结果表明了该方法的有效性。     

改进自适应加权的局部立体匹配算法

针对Yoon经典自适应加权法在深度不连续处误匹配率较高、边缘细节不突出以及匹配窗口大小凭经验设计不通用等缺陷,提出了一种改进自适应加权的局部立体匹配算法.在经典自适应加权局部立体匹配算法的基础上用高斯分布权值替换了几何空间权值,增加了边缘权值突出深度不连续处的边缘细节,采用赢家通吃原则(Winner Take All,WTA)获取单像素点视差,在目标视图中逐点求取视差,最终获得稠密视差图.实验结果表明,该算法相比于经典自适应加权法,在非遮挡区域错误匹配百分比上下降6％,在深度不连续处的误匹配率降低了5％,边缘细节毛刺明显减少.     

基于3D视频的深度图获取方法的研究与实现

本文采用基于区域的立体匹配方法从立体视频图像对中获取稠密视差图。在区域窗口大小选取上采用K-均值算法,保证每个子窗口位于同一物体内部,窗口内深度信息趋于一致;采用NCR算法运用匹配窗口周围的环境信息,提高窗口选取的智能性和匹配的准确性,改善少纹理区域的匹配效果;采用双向匹配方法有效去除因遮挡等原因产生的误匹配点,提高匹配精度,得到初始视差图;同时研究视差图优化方法,得到高质量稠密视差图,为后期新视图合成等其它应用提供基础。     

基于改进匹配代价和均值分割的最小生成树立体匹配算法

尽管传统的立体匹配模型在精度和鲁棒性方面都表现出了良好的性能，但在弱纹理和深度不连续区域的视差精度问题依然存在。针对上述问题，提出了一种基于改进匹配代价和均值分割的最小生成树立体匹配算法。首先，在匹配代价计算阶段，通过Census变换进行初始匹配代价计算，利用Sobel算子对输入图像进行边缘信息提取，将提取后的图像边缘信息与Census变换后的匹配代价值进行融合，并将其与基于图像亮度信息的代价值进行非线性融合，以提高匹配代价的精度；然后，使用最小生成树代价聚合模型进行聚合操作并利用赢者通吃策略估计图像的初始视差；最后，在视差优化阶段，采用MeanShift算法对图像进行分割，结合图像的轮廓信息对误匹配点进行修正，进一步提高在弱纹理及边缘区域的视差精度。实验结果表明，与一些传统算法相比，所提算法具有更高的视差精度，且视差图的边缘、纹理较其他算法更为平滑，具有更强的鲁棒性。     

基于视差场校正和区域分割的中间视图像生成与内插方法

针对中间视图像生成依赖于精确稠密视差场估计以及遮挡区域检测的问题,提出了利用被编码传输的视差场进行中间视生成与内插算法,避免了复杂的视差场估计。本文算法将区域分割与视差场校正相结合,可对原有的误匹配视差进行校正。在中间视内插中,使用区域分割技术来对具有遮挡和模糊区域的内容进行判断,最后根据视差场的特性进行填充。实验结果表明生成的中间视图像具有良好的视觉效果。     

融合一致性与差异性约束的光场深度估计

光场图像深度估计是光场三维重建、目标检测、跟踪等应用中十分关键的技术.虽然光场图像的重聚焦特性为深度估计提供了非常有用的信息,但是在处理遮挡区域、边缘区域、噪声干扰等情况时,光场图像深度估计仍然存在很大的挑战.因此,提出了一种基于极平面图(Epipolar plane image,EPI)斜线像素一致性和极平面图区域差异性的深度估计算法用于解决遮挡和噪声问题.EPI斜线像素的一致性采用旋转线性算子(Spinning linear operator,SLO)的颜色熵度量,能够提高深度图边缘的准确性以及抗噪能力;EPI区域的差异性采用旋转平行四边形算子(Spinning parallelogram operator,SPO)的卡方x2度量,能够提高深度图深度渐变区域的准确性,并使用置信度加权的方法将两种度量进行融合,可以减少遮挡区域和噪声的干扰.另外,充分利用像素邻域的颜色相似性,使用引导保边滤波器和马尔科夫随机场(Markov random field,MRF)全局优化策略进行后处理,进一步减少深度图的边缘错误,得到遮挡边缘准确的深度图.在HCI光场数据集上进行了实验,并与经典光场深度估计算法进行了对比,结果表明该算法在主观质量和客观指标两方面都有明显提升.     

融合一致性与差异性约束的光场深度估计

光场图像深度估计是光场三维重建、目标检测、跟踪等应用中十分关键的技术.虽然光场图像的重聚焦特性为深度估计提供了非常有用的信息,但是在处理遮挡区域、边缘区域、噪声干扰等情况时,光场图像深度估计仍然存在很大的挑战.因此,提出了一种基于极平面图(Epipolar plane image,EPI)斜线像素一致性和极平面图区域差异性的深度估计算法用于解决遮挡和噪声问题.EPI斜线像素的一致性采用旋转线性算子(Spinning linear operator,SLO)的颜色熵度量,能够提高深度图边缘的准确性以及抗噪能力;EPI区域的差异性采用旋转平行四边形算子(Spinning parallelogram operator,SPO)的卡方x2度量,能够提高深度图深度渐变区域的准确性,并使用置信度加权的方法将两种度量进行融合,可以减少遮挡区域和噪声的干扰.另外,充分利用像素邻域的颜色相似性,使用引导保边滤波器和马尔科夫随机场(Markov random field,MRF)全局优化策略进行后处理,进一步减少深度图的边缘错误,得到遮挡边缘准确的深度图.在HCI光场数据集上进行了实验,并与经典光场深度估计算法进行了对比,结果表明该算法在主观质量和客观指标两方面都有明显提升.     

一种基于多方向约束的立体匹配算法

针对传统DP算法精度不高,出现条纹瑕疵以及边界区域明显误匹配等问题,提出了一种新的立体匹配算法.该算法采用水平、垂直及物体边界多方向约束作为平滑性约束,物体边界方向约束针对物体边界像素点,以前一行边界点的视差信息对当前边界点进行约束,强化物体边界像素点的视差不连续性,提升了边界区域像素点匹配准确率,大大减少了边界误匹配现象.由于物体表面的纹理信息会影响物体边界方向约束的准确性,对物体的边缘提取方法进行了处理,使提取的物体边缘只保留物体边界轮廓信息.最后在三状态DP的状态转换选择上,应用边界轮廓信息及多方向约束,避免了三状态状态转换与实际物理情况不符的局面,提升了匹配精度.实验表明,该方法不仅解决了条纹瑕疵、边界区域误匹配问题,且执行速度快,匹配精度高.     

基于超像素分割的孪生网络双目立体匹配方法研究

图像若存在纹理缺乏、遮挡、边缘深度不连续等情况,其双目匹配精度会降低.针对这一问题,文中将经过均值滤波预处理和SLIC超像素分割形成的超像素区域作为Siamese孪生深度学习网络模型的输入,进行了图像局部信息匹配代价计算.该方法有效提升了视差计算时边缘区域的辨识度,避免了视差图边缘膨胀、模糊、不连续等问题,提高了立体匹...     

基于Tao 立体匹配框架的全局优化算法

传统的基于全局优化的立体匹配算法计算复杂度较高,在遮挡和视差不连续区域具有较差的匹配精度。提出了基于Tao 立体匹配框架的全局优化算法。首先采用高效的局部算法获取初始匹配视差;然后对得到的视差值进行可信度检测,利用可信像素点和视差平面假设使用具有鲁棒性的低复杂度算法修正不可信任像素视差值;最后改进置信度传播算法,使其能够自适应地停止收敛节点的消息传播,并对经修正的初始匹配进行优化,提高弱纹理区域匹配准确度。实验结果表明,文中算法有效地降低整体误匹配率,改善了视差不连续及遮挡区域的匹配精度;同时,降低了算法整体复杂度,兼顾了速度,具有一定的实用性。     

基于颜色变化信息的局部立体匹配算法

本文主要针对传统的局部匹配算法中的遮挡区域和重复区域、不连续区域的精度不高问题,提出了一种基于遮挡信息和颜色变化约束的局部匹配算法。首先,提出一种基于颜色变化约束的区域生长算法来提高权重因子的准确性,有效提高不连续区域、重复区域和低纹理区域的匹配精度;接着针对遮挡区域难匹配问题,提出通过降低遮挡像素点的权重影响来提高支持聚合的思想;最后结合生成的区域和遮挡点对权重因子进行分类,最终生成视差图。实验结果表明,该算法能有效提高重复区域、边缘区域和遮挡区域的匹配精度,与当前主流算法具有可比性。     

基于多任务学习的立体匹配算法

引入辅助任务信息有助于立体匹配模型理解相关知识,但也会增加模型训练的复杂度。为解决模型训练对额外标签数据的依赖问题,提出了一种利用双目图像的自相关性进行多任务学习的立体匹配算法。该算法在多层级渐进细化过程中引入了边缘和特征一致性信息,并采用循环迭代的方式更新视差图。根据双目图像中视差的局部平滑性和左右特征一致性构建了损失函数,在不依赖额外标签数据的情况下就可以引导模型学习边缘和特征一致性信息。提出了一种尺度注意的空间金字塔池化,使模型能够根据局部图像特征来确定不同区域中不同尺度特征的重要性。实验结果表明:辅助任务的引入提高了视差图精度,为视差图的可信区域提供了重要依据,在无监督学习中可用于确定单视角可见区域;在KITTI2015测试集上,所提算法的精度和运行效率均具有一定的竞争力。     

融合梯度特性与置信度的立体匹配算法

针对现有局部立体匹配算法在计算匹配代价时, 不能很好区分强弱纹理区域,及在视差计算过程 中,不能很好的解决视差歧义问题,提出一种融合梯度特性与置信度的立体匹配算法。首先 计算梯度特 征,并根据梯度特征信息选择匹配代价计算的匹配窗口,针对强弱不同纹理区域选择不同尺 寸的匹配窗 口,有效的提高了立体匹配精度,降低了误匹配率;然后在视差计算中引入置信度约束条件 ,解决了视差 计算中视差歧义的问题,提高了立体匹配算法的稳定性与精度;最后使用水平与垂直方向交 叉区域检测进 行奇异值的修正。实验结果表明,该算法在Middlebury数据集中31对 立体图像对的平均误匹配率为7.96%,有效的提高了立体匹配精度。     

基于自适应权重马尔科夫随机场的立体匹配视差优化算法

针对立体匹配中的视差优化问题,提出一种自适应权重MRF的立体匹配视差优化算法。首先使用局部算法生成初始视差图;然后在马尔科夫随机算法框架下,对视差不连续区域和平滑区域自适应调整平滑项权重来实现视差图的优化.本文的关键技术是不同区域平滑项权重的设计,其中不连续区域利用颜色相关系数、视差相关系数以及视差图与同场景彩色图的结构相似性来构建平滑项权重;而平滑区域则直接利用视差信息来构建平滑项权重,同时,根据领域内视差平滑程度自适应调整权重中参数.通过在立体匹配评估平台Middlebury上的测试实验表明,所提算法可获得更优的主观效果和客观指标,优化后的视差图在边缘区域和视差不连续区域能够保持清晰的视差图.     

基于引导滤波及视差图融合的立体匹配

立体匹配是双目视觉领域的重要研究方向.为在保证图片纹理区域匹配精度的同时降低弱纹理区域的误匹配率,提出一种基于引导滤波及视差图融合的立体匹配方法.首先,根据图像颜色相似性将图片划分为纹理较丰富区域和弱纹理区域.接着,分别采用不同参数的引导滤波进行代价聚合及视差计算,得到两张视差图.然后依据纹理区域划分的结果对获得的两张视差图进行融合.最后,通过左右一致性检测、加权中值滤波等视差优化步骤得到最终视差图.对Middlebury测试平台上标准图像对的实验结果表明,该方法在6组弱纹理图像上的平均误匹配率为9.67％,较传统引导滤波立体匹配算法具有更高的匹配精度.     

基于彩色图像分割的置信传播快速立体匹配算法

本文采用了一种基于彩色图像分割和置信传播相结合的快速立体匹配算法。对于已经校准好的两幅图像,首先采用均值漂移算法对彩色图像进行图像分割,然后采用区域匹配算法进行快速初始立体匹配,再采用左右一致性校验法滤除误匹配点,得到初始视差图以及各个区域的视差平面模板。最后采用置信传播算法对获得的视差平面模板进行全局优化,得到各个区域最优视差平面模板,从而得到最终视差图。实验结果表明,采用区域匹配与全局优化算法相结合,不仅提高了立体匹配速度,同时也保证了匹配质量。     

二次加权引导滤波融合双色彩空间模型的立体匹配

立体匹配一直以来都是双目视觉领域中研究的重点 和难点。针对现有立体匹配算法边 缘保持性差、匹配精度低等问题,提出了一种二次加权引导滤波融合双色彩空间模型的立体 匹配算法(Secondary Weighted Guided Filtering fusion double color model,SWGF)。首 先在代价计算阶段提出了一种双色彩空间模型,从两个颜色空间进行像素颜色匹配代价计算 ,增强像素在低纹理区域的特征;然后在代价聚合阶段基于HSV颜色空间利用不同窗口中像 素纹理不同加入一个边缘保持项,从而使正则化参数进行自适应调整。在一次引导滤波之后 ,我们使用Census变换得到的汉明距离和初始视差完成一次代价更新,再次对其进行代价聚 合,随后计算视差并对视差进行左右一致性检测、空洞填充和加权中值滤波等优化,最后获 得视差图。本文算法在Middlebury测试平台上测试结果表明SWGF算法误匹配率仅为 4.61%,可以大幅提升立体匹配的精度,同时增强其边缘保持性。     

多遮挡场景的光场深度优化估计

光场相机可以同时从多个视点记录场景的方向和光强信息,因此,光场图像具有更大的信息量及更强的可塑性。随着光场技术的发展,针对光场图像的深度估计逐渐成为研究热点,但多遮挡是尚未得到解决的技术难点问题。为此,提出了一种多遮挡场景的光场图像深度优化估计方法。该方法使用优化的高低阈值比的Canny边缘检测算法提取遮挡区域的边缘,在传统的AP聚类算法中引入了迭代加权更新的带加速算子,有效地提高了聚类的精度,较好地解决光场深度估计中的多遮挡问题。采用匹配成本估计初始深度,使用马尔科夫随机场对初始深度结果进行优化处理,得到最终的深度估计结果。实验结果表明,与现有的基于光场图像的深度估计方法相比,本方法不仅抗多遮挡效果显著,而且获得了更低的MSE值,得到了更好的深度估计结果。     

一种基于图像分割的立体匹配算法

针对在立体匹配过程中的低纹理和视差不连续的问题,提出了一种基于图像分割的立体匹配算法。首先采用Mean-Shift算法对彩色图像进行图像分割,并认为分割区域块内的像素视差是平滑的,然后采用较大窗口匹配方法,提取左右彩色图像相似像素点作为种子点,根据区域内的平滑约束条件,利用小窗口匹配方法将种子点向周围区域扩散,最终得到稠密视差图。实验结果表明该算法相比传统的自适应匹配算法,视差不连续区域匹配误差降低10%左右。     

基于多级残差融合的复杂纹理光场图像深度估计

光场的深度信息可以通过深度学习的光场深度估计算法计算,在图像视差、光场图像边缘以及光场图像的复杂纹理区域,获取高精度深度值仍然具有一定局限性。本文提出了一种用于光场图像深度估计的多级残差融合网络,通过组合残差模块提取多层次的残差特征,在保持网络深度的同时提升了网络对特征的表征能力。利用多级残差融合模块对多层次的残差特征进行融合,以获得包含浅层纹理信息和深层语义信息的融合特征。利用本文方法对HCI4D光场数据集进行处理,图像深度估计的均方误差指标达到1.471,不良像素率指标达到4.208,该实验结果表明本文方法在处理具有复杂遮挡的光场图像区域方面具有良好的处理效果。