基于稀疏卷积的前景实时双目深度估计算法

为了提高立体匹配算法处理前景视差估计任务的计算效率,针对一般网络采用完全双目图像作为输入,场景内前景空间占比小而导致输入信息冗余度大的缺点,提出了一种基于稀疏卷积的目标实时立体匹配算法。为实现和改善算法对稀疏前景的视差估计,首先利用分割算法同时获得稀疏前景掩膜和场景语义特征;其次通过稀疏卷积提取稀疏前景区域的空间特征后与场景语义特征相融合,并将融合特征输入到解码模块进行视差回归;最后以前景真值图作为损失生成视差图。在ApolloScape数据集上的测试结果表明,所提算法的准确性和实时性均优于先进算法PSMNet和GANet,且算法的单次运行时间低至60.5 ms,对目标遮挡具有一定的鲁棒性,可用于目标实时深度估计。     

基于多尺度和多层级特征融合的立体匹配方法

基于卷积神经网络的立体匹配方法未充分利用图像中各个层级的特征图信息,造成对图像在不适定区域的特征提取能力较差。提出一种融合多尺度与多层级特征的立体匹配方法。通过在双塔结构卷积神经网络模型的前端设计一个池化金字塔层,提取图像的多尺度低层结构特征。在该网络模型的后端融合最后三层网络的高级语义特征来提取图像特征,并对图像特征进行相似性度量后输出视差图。在KITTI 2015数据集上的实验结果表明,与LUO和Anita方法相比,该方法的像素误差精度分别由14.65%、8.30%降至8.02%,且可得到细节信息更好的视差图。     

基于语义一致性的细节保持图像生成方法

生成对抗网络被广泛应用于文本生成图像领域,但在生成过程中容易导致部分图形缺失必要的细节.为了生成包含更多细节特征的细粒度图像,提高文本与图像的语义一致性,提出一种基于语义一致性的细节保持图像生成方法.首先,挖掘文本描述中的潜在语义,引入特征提取模块选择文本中的重要单词和句子,获取单词和句子之间的语义结构信息;其次,构造细节保持模块关联图像与文本信息,结合混合注意力机制,定位特定文本对应的图像区域,将定位区域与文本信息关联,增强和优化生成图像的细节;最后,融合语义损失和感知损失,将句子的图像和单词的子区域映射到共同语义空间.实验结果表明,在CUB数据集上,IS和FID指标分别达到4.77和15.47;在COCO数据集上, IS和FID指标分别达到35.56和27.63.     

多成本融合的立体匹配网络

立体匹配网络中的特征提取是提高双目视觉立体匹配精确度的关键步骤。为充分提取图像特征信息,结合密集空洞卷积、空间金字塔池化和堆叠沙漏的特点,构建一种多成本融合的立体匹配网络DCNet。引入密集空洞卷积和空间金字塔池化方法提取多尺度特征信息,同时使用轻量化注意力模块优化多尺度特征信息,构建多特征融合的匹配代价卷。在此基础上,利用3D卷积神经网络和堆叠沙漏网络聚合匹配代价信息,并通过回归的方式生成视差图。实验结果表明,该网络在KITTI2015数据集上的误匹配率为2.12%,相比PSMNet、DisNetC、PDSNet等网络,在特征提取部分能够获得更丰富的特征信息,且提升特征匹配的效果。     

结合可变形卷积与双边网格的立体匹配网络

双目立体匹配被广泛应用于无人驾驶、机器人导航、增强现实等三维重建领域。在基于深度学习的立体匹配网络中采用多尺度2D卷积进行代价聚合,存在对目标边缘处的视差预测鲁棒性较差以及特征提取性能较低的问题。提出将可变形卷积与双边网格相结合的立体匹配网络。通过改进的特征金字塔网络进行特征提取,并将注意力特征增强、注意力机制、Meta-ACON激活函数引入到改进的特征金字塔网络中,以充分提取图像特征并减少语义信息丢失,从而提升特征提取性能。利用互相关层进行匹配计算,获得多尺度3D代价卷,采用2D可变形卷积代价聚合结构对多尺度3D代价卷进行聚合,以解决边缘膨胀问题,使用双边网格对聚合后的低分辨率代价卷进行上采样,经过视差回归得到视差图。实验结果表明,该网络在Scene Flow数据集中的端点误差为0.75,相比AANet降低13.8%,在KITTI2012数据集中3px的非遮挡区域误差率为1.81%,能准确预测目标边缘及小区域处的视差。     

基于颜色与边缘融合的非局部立体匹配算法

针对基于最小生成树的非局部算法在无纹理以及边缘区域出现误匹配的问题,提出了一种改进代价计算和颜色与边缘融合的非局部立体匹配算法。首先重新构造了基于颜色-梯度的代价计算函数,以提高无纹理区域像素对代价聚合的贡献率;其次利用颜色与边缘信息进行融合来构造自适应边权函数,并利用该权重构建树结构进行代价聚合;最后通过视差计算和非局部视差优化得到最终的视差图。在Middlebury数据集上进行了测试,实验结果表明,提出的算法在无纹理及边缘区域都取得了良好的匹配效果,有效地改善了视差。     

基于图像分割的自适应窗口双目立体匹配算法研究

针对传统双目立体匹配算法采用固定窗口导致弱纹理区域匹配精度较低的问题,提出了一种基于图像分割的自适应窗口立体匹配算法.首先,采用Mean-shift算法对图像进行分割,之后对分割图像进行局部子区灰度标准差统计,在此基础上提出了一种根据纹理丰富程度进行窗口大小自适应设定的算子.基于自适应窗口大小设定,组合使用Census变换和梯度值计算匹配代价,并分别通过自适应权重代价聚合及"胜者为王"策略进行初始视差计算,最后利用左右视差一致性原则和加权中值滤波得到稠密视差图.采用提出的自适应窗口匹配算法与固定窗口匹配算法对Middlebury数据集上的标准图片进行匹配实验,实验结果表明,所提算法的平均匹配错误率为2.04％,相比对比算法,所提方法的匹配错误率分别降低了4.5％和7.9％.     

基于卷积神经网络的高效精准立体匹配算法

针对基于卷积神经网络的立体匹配算法普遍存在参数量巨大、精度不足等问题,提出一种基于卷积神经网络的高效精准立体匹配算法.首先设计了一个融合多尺寸上下文信息的特征提取网络,提高不适定区域(Ill-posed regions)的匹配精度;其次,改进现有的相似度计算步骤,在保证匹配精度的同时,大量减少了网络的参数量;最后,提出一种轻量级的基于注意力机制的视差精修算法,从通道与空间维度上关注并修改初始视差图错误的像素点.与GC-Net在标准数据集Sceneflow上的对比实验表明,该算法在参数量减少14%的同时,匹配精度提高超过了50%.     

多测度融合的树形滤波立体匹配算法

针对立体匹配算法中匹配精度不高的问题,提出一种基于树形滤波的立体匹配算法.利用像素边缘信息自适应改变Census变换窗口,融合颜色、边缘和改进后的Census信息作为匹配代价,对图像进行均值分割,以聚类区域计算树边权重,建立最小生成树,利用树形滤波器进行代价聚合,使用左右一致性检测细化视差,得到精确视差图.实验结果表明,该算法具有更优的匹配精度且生成的视差图具有良好的边缘保持特性,能够较好适应各种复杂场景.     

基于多尺度卷积神经网络的立体匹配算法研究

针对传统障碍物检测中的立体匹配算法存在特征提取不充分，在复杂场景和光照变化明显等区域存在误匹配率较高，算法所获视差图精度较低等问题，提出了一种基于多尺度卷积神经网络的立体匹配方法。首先，在匹配代价计算阶段，建立了一种基于多尺度卷积神经网络模型，采用多尺度卷积神经网络捕获图像的多尺度特征。为增强模型的抗干扰和快速收敛能力，在原有损失函数中提出改进，使新的损失函数在训练时可以由一正一负两个样本同时进行训练，缩短了模型训练时间。其次，在代价聚合阶段，构造一个全局能量函数，将二维图像上的最优问题分解为四个方向上的一维问题，利用动态规划的思想，得到最优视差。最后，通过左右一致性检测对所得视差进行进一步精化，得到最终视差图。在Middlebury数据集提供的标准立体匹配图像测试对上进行了对比实验，经过实验验证算法的平均误匹配率为4.94%，小于对比实验结果，并提高了在光照变化明显以及复杂区域的匹配精度，得到了高精度视差图。