基于语义分割的双目场景流估计

针对现有场景流计算方法在复杂场景、大位移和运动遮挡等情况下易产生运动边缘模糊的问题,提出一种基于语义分割的双目场景流估计方法.首先,根据图像中的语义信息类别,通过深度学习的卷积神经网络模型将图像划分为带有语义标签的区域;针对不同语义类别的图像区域分别进行运动建模,利用语义知识计算光流信息并通过双目立体匹配的半全局匹配方法计算图像视差信息.然后,对输入图像进行超像素分割,通过最小二乘法耦合光流和视差信息,分别求解每个超像素块的运动参数.最后,在优化能量函数中添加语义分割边界的约束信息,通过更新像素到超像素块的映射关系和超像素块到移动平面的映射关系得到最终的场景流估计结果.采用KITTI 2015标准测试图像序列对本文方法和代表性的场景流计算方法进行对比分析.实验结果表明,本文方法具有较高的精度和鲁棒性,尤其对于复杂场景、运动遮挡和运动边缘模糊的图像具有较好的边缘保护作用.     

基于图像局部结构的区域匹配变分光流算法

针对变分光流算法的计算精度与鲁棒性问题,提出一种基于图像局部结构的区域匹配变分光流算法.光流估计能量泛函的数据项采用图像结构守恒与灰度守恒相结合,并引入规则化非平方惩罚函数,保证了光流估计的精度与鲁棒性;平滑项采用随图像局部结构自适应变化的扩散策略结合区域匹配约束函数能够有效地保护运动物体或场景的边缘轮廓信息;在光流计算过程中引入金字塔分层细化策略克服图像序列中大位移运动引起的像素点漂移现象,并采用数学方法证明光流估计模型的鲁棒性和收敛性.多组实验表明,本文方法在图像中存在剧烈光照变化、非刚性物体复杂运动以及多目标大位移运动等情况下具有较高的计算精度、较好的鲁棒性.     

联合遮挡约束与残差补偿的特征金字塔光流计算方法

针对现有深度学习光流计算模型在运动遮挡和大位移等场景下光流计算的准确性与鲁棒性问题，本文提出一种联合遮挡约束与残差补偿的特征金字塔光流计算方法 .首先，构造基于遮挡掩模的光流约束模块，通过预测遮挡掩模特征图抑制变形特征的边缘伪影，克服运动遮挡区域的图像边缘模糊问题.然后，采用特征图变形策略构建基于特征变形的光流残差补偿模块，利用该模块学习到的残差光流细化原始光流场，改善大位移运动区域的光流计算效果.最后，采用特征金字塔框架构建联合遮挡约束与残差补偿的光流计算网络模型，提升大位移和运动遮挡场景下的光流计算精度.分别采用MPI-Sintel (Max-Planck Institute and Sintel)和KITTI (Karlsruhe Institute of Technology and Toyota Technological Institute)数据集对本文方法和代表性传统光流计算方法、深度学习光流计算方法进行综合对比分析，实验结果表明本文方法相对于其他方法能够有效提升大位移和运动遮挡场景下的光流计算精度与鲁棒性.     

非刚性稠密匹配大位移运动光流估计

光流场是目标检测,无人机定位等众多计算机视觉任务的重要基础.本文针对非刚性大位移运动等困难运动类型图像序列光流计算的准确性与鲁棒性问题,提出一种基于非刚性稠密匹配的TV-L1（Total Variational with L1 norm,TV-L1）大位移光流计算方法.首先,使用非刚性稠密块匹配计算图像序列初始最近邻域场,其次根据图像相邻块区域的相似性消除初始最近邻域场中的非一致性区域以得到准确的图像最近邻域场.然后,在图像金字塔分层计算框架下,将图像最近邻域场引入基于非局部约束的TV-L1光流估计模型,通过Quadratic Pseudo-Boolean Optimization（QPBO）融合算法在金字塔分层图像光流计算时对TV-L1模型光流估计进行大位移运动补偿.最后,采用标准测试图像序列对本文方法和当前代表性的变分方法LDOF（Large Displacement Optical Flow,LDOF）、Classic+NL、NNF（Nearest Neighbor Fields,NNF）以及深度学习方法FlowNet2.0进行对比分析.实验结果表明,本文方法能有效提高非刚性运动、大位移运动以及运动遮挡等困难运动类型光流估计的精度与鲁棒性.     

FRFCM聚类与深度优化的RGBD场景流计算

针对现有RGBD场景流计算模型在复杂场景、非刚性运动和运动遮挡等情况下易产生场景过度平滑和运动边缘模糊的问题,提出一种基于FRFCM（Fast and Robust Fuzzy C-Means）聚类与深度优化的RGBD场景流计算方法.首先以图像序列连续帧间光流信息为基准,利用FRFCM聚类算法对输入图像进行初始分割,然后根据深度图像的运动边缘信息优化初始分割结果,提取高置信度的运动分层信息.最后设计基于图像分割的RGBD场景流能量函数,采用金字塔变形策略计算精确的场景流结果.分别采用Middlebury和MPI-Sintel数据库所提供的测试图像集对本文方法和现有的RGBD场景流算法进行综合对比分析,实验结果表明本文方法相对于其他方法具有更好的场景流估计精度和鲁棒性,有效改善了场景过度平滑和运动边缘模糊问题.     

一种适用于遮挡问题的运动补偿帧插值方法

针对二维运动估计中常出现的遮挡问题,提出一种基于网格模型的运动补偿自适应帧插值技术,将图像帧中分为3种不同区域,根据各自的特点分别进行运动估计和运动补偿插值。在准确检测遮挡区域前提下,单独对遮挡区域处理有效地减小了运动估计误差。提出采用特征窗口运动补偿匹配的方法进行网格节点运动矢量估计,消除了传统块匹配方法导致的块效应,得到了亚像素的匹配精度。实验证明,该方法简单易行,有效地解决了遮挡区域的运动估计问题,插值图像具有较好的视觉效果。     

基于光流与Delaunay三角网格的图像序列运动遮挡检测

针对图像序列运动遮挡检测的准确性与鲁棒性问题,提出一种基于光流与Delaunay三角网格的图像序列运动遮挡检测方法.首先构造基于非局部约束的TV-L¹光流估计模型;然后根据图像Delaunay三角网格划分与光流估计结果对图像序列帧间对应像素点和局部三角形进行运动遮挡判断并检测遮挡区域;最后采用MPI Sintel和Middlebury数据库提供的测试图像集对本文方法与SMOD、GOSF等代表性方法进行对比测试.实验结果表明,本文方法相对于SMOD和GOSF方法在十组测试图像集的平均漏检率和误检率分别降低15.21%与30.57%,说明本文方法针对非刚性运动、复杂场景、弱纹理、光照阴影以及大位移等类型图像序列均具有较高的检测精度和较好的鲁棒性.     

应用分层MRF/GRF模型的立体图像视差估计及分割

视差估计与分割是立体图像编码及立体视觉匹配的核心问题,本文提出一种基于分层MRF/GRF模型和交叠块匹配(HMOM)视差估计算法以及结合主动轮廓模型的视差分割提取算法.该混合视差估计方法,可得到光滑准确,且具有清晰边缘的视差场;并便于用主动轮廓模型提取感兴趣对象(OOI)的视差轮廓.与通常的变尺寸块匹配(VSBM)相比,本算法得到的视差补偿图像的峰值信噪比可提高2.5dB左右.本文得到的视差场及对应的轮廓可进一步用于立体图像编码以及视频对象分割.     

基于双目视觉的六旋翼无人机立体匹配算法

针对六旋翼无人机双目视觉成像时,经双目融合后反馈的图像噪点过多,以及图像精度不够理想的问题,提出了一种在匹配过程中融入全局差错能量最小化的区域立体视觉匹配算法。由于视差的求解是立体匹配过程中最重要的环节,因此本文利用最小化差错能量矩阵求解最优视差的原理。通过提高立体视觉的视差精度,从而减少视觉融合过程中因数据问题产生的噪声干扰,最终提高了对场景信息三维重构的准确度。通过分别在室内外的仿真实验与真实环境重构实验,验证了本文提出的基于双目视觉的六旋翼无人机立体匹配算法的有效性与可靠性。     

基于超像素分割的孪生网络双目立体匹配方法研究

图像若存在纹理缺乏、遮挡、边缘深度不连续等情况,其双目匹配精度会降低.针对这一问题,文中将经过均值滤波预处理和SLIC超像素分割形成的超像素区域作为Siamese孪生深度学习网络模型的输入,进行了图像局部信息匹配代价计算.该方法有效提升了视差计算时边缘区域的辨识度,避免了视差图边缘膨胀、模糊、不连续等问题,提高了立体匹...     

基于斜平面平滑优化的半全局立体匹配

基于斜平面平滑的半全局匹配算法虽然能很好地处理深度不连续区域,减少视差断裂现象,具有很好的视差平滑效果.但此方法计算量大,并且若输入的左右图像对不是理想校正的,最终得到的视差图中可能会出现黑色小方块.针对上述问题,本文提出了一种基于斜平面平滑优化的双目立体视觉算法,优化了视差斜平面拟合过程,提高了斜平面平滑的运算速度;另,通过对初始视差图中无效的视差值进行临近插值填充,很好地解决了视差图中的方块现象;同时考虑到同一分割块内的像素梯度值应比较接近,对图像分割时用到的能量函数增加梯度项,使分割区域更加合理.实验结果表明,本文算法能取得更好的视差图,主观效果得到改善,运算速度提高约40%.     

一种利用MAP估计的双目运动体视算法

本文提出一种融合运动和体视信息的运动与结构参数的鲁棒估计算法，算法首先通过计算瞬时ＦＯＥ，实现对每个像素处位移的ＭＡＰ估计，并计算关联的置信度；然后利用位移估计，从两图像序列之一计算相对深度，导出能用于匹配两体视图像序列的视差先验概率分布，使体视对的两帧图像匹配，确定３Ｄ景物深度，算法可方便地估计每个像素处的视差，不需对表面作平滑假设。     

一种基于图像分割的立体匹配算法

针对在立体匹配过程中的低纹理和视差不连续的问题,提出了一种基于图像分割的立体匹配算法。首先采用Mean-Shift算法对彩色图像进行图像分割,并认为分割区域块内的像素视差是平滑的,然后采用较大窗口匹配方法,提取左右彩色图像相似像素点作为种子点,根据区域内的平滑约束条件,利用小窗口匹配方法将种子点向周围区域扩散,最终得到稠密视差图。实验结果表明该算法相比传统的自适应匹配算法,视差不连续区域匹配误差降低10%左右。     

一种基于改进块匹配算法的运动车辆检测

针对传统块匹配算法计算量大、光照变化较敏感和实时性差的缺陷,本文对块匹配算法进行了相关研究,提出了改进算法。首先把两幅彩色图像转化为灰度图像,并通过概率松弛标记算法获得边缘图像,计算相邻两幅图像的差分图像得到运动区域,然后将差分图像与边缘检测图像相与得到运动区域的边缘信息,再进行匹配得到位移矢量场并对其进行矢量中值滤波,最后通过顺序区域增长将运动车辆分割出来。实验结果表明:本文方法相对于传统方法平均检测时间降低约58ms,而平均检测率提高了约6.7%。这种算法鲁棒性强、实时性好。     

一种基于区域搜索的全局运动估计与补偿算法

开展全局运动估计与补偿研究是进行动态目标检测中的基础和前提。在总结现有运动估计与补偿方法的基础上,提出一种基于图像分割区域的运动性和大小的全局运动估计与补偿算法。首先,通过建立区域搜索的全局运动模型,同时进行区域定性分割和区域大小排序;然后,根据误差最小化准则在指定的分割区域中进行线性递归搜索,利用门限准则寻找出最佳的运动估计参数;最后,根据双线性内插法获得运动位移量。实验结果比较可知,所提算法较三步搜索算法(TSS)和全局搜索算法(FSA)等传统算法具有更高的准确性(图像平移帧差)和实时性(算法运行时间),能够很好地实现运动背景的全局校正。     

基于子块运动补偿的运动目标检测

鱼眼相机成像视角大,获得信息丰富,在车载应用中具有广阔应用前景.本文提出了一种适用于移动单目鱼眼相机的运动目标检测方法.首先,提出一种子块运动补偿模型补偿图像背景运动,解决了现有运动补偿模型对强视差背景补偿效果不好的问题.其次,在子块运动补偿模型参数求解时,通过引入自车运动参数简化模型参数个数,并结合直接方法求解,避免了传统基于特征点匹配方法求解参数时易受误匹配特征点影响的问题.然后,针对鱼眼相机的成像形变问题,本文提出了一种三平面校正方法获取鱼眼图像的子块运动补偿图像.最后,利用鱼眼图像的子块运动补偿图像和真实拍摄图像的差异信息实现运动目标检测.多种测试场景下的实验结果表明了本文方法的有效性.     

数字视频处理中的块匹配运动估计技术

阐述了用于运动图像位移估计的块匹配技术,通过计算机模拟对各种算法性能进行了分析比较,提出了块匹配运动跟踪和补偿算法的改进方法.     

基于双目视觉的三维场景图像表面重建算法

在三维场景图像中,像素色度不均匀会影响图像的视觉表现效果,维持像素色度的均匀分布是提升图像视觉表现效果的有效方法。为满足实际应用需求,大幅提升三维场景图像的视觉表现效果,提出一种基于双目视觉的三维场景图像表面重建算法。首先,确定视觉相机的内参、外参标记结果,通过极线校正双目图像的处理方式,完成基于双目视觉的三维场景图像标定;然后,求解像素代价聚合条件,根据像素节点的三维视差推导图像表面的重建表达式,完成基于双目视觉的三维场景图像表面重建算法的设计。实验结果表明,双目视觉技术作用下,三维场景图像的像素色度呈现出较为均匀的分布状态,符合提升图像视觉表现效果的实际应用需求。     

基于改进匹配代价和均值分割的最小生成树立体匹配算法

尽管传统的立体匹配模型在精度和鲁棒性方面都表现出了良好的性能，但在弱纹理和深度不连续区域的视差精度问题依然存在。针对上述问题，提出了一种基于改进匹配代价和均值分割的最小生成树立体匹配算法。首先，在匹配代价计算阶段，通过Census变换进行初始匹配代价计算，利用Sobel算子对输入图像进行边缘信息提取，将提取后的图像边缘信息与Census变换后的匹配代价值进行融合，并将其与基于图像亮度信息的代价值进行非线性融合，以提高匹配代价的精度；然后，使用最小生成树代价聚合模型进行聚合操作并利用赢者通吃策略估计图像的初始视差；最后，在视差优化阶段，采用MeanShift算法对图像进行分割，结合图像的轮廓信息对误匹配点进行修正，进一步提高在弱纹理及边缘区域的视差精度。实验结果表明，与一些传统算法相比，所提算法具有更高的视差精度，且视差图的边缘、纹理较其他算法更为平滑，具有更强的鲁棒性。     

基于最优斜面参数估计的局部立体匹配算法

针对传统局部匹配算法在斜面场景匹配中所表现出的阶梯效应,提出了一种基于最优斜面参数估计的局部立体匹配算法。该算法首先为每一个像素随机地分配一组斜面参数,然后以新的斜面参数所定义的支撑域下当前像素的匹配代价是否减小为准则,迭代地进行斜面参数的邻域传播-单点优化过程,并最终使得计算结果收敛到最优斜面,同时估计得到稠密的亚像素级视差。通过对典型斜面场景图像和Middlebury 标准测试图像对的匹配实验表明,文中算法在将对普通场景的匹配效果保持在当前先进水平的同时,对斜面场景的匹配消除了阶梯效应,且匹配率代表了局部匹配的先进水平。