三维模板跟踪的基准合成数据集构建及算法评估

三维模板跟踪旨在将预先构建的三维CAD模型与输入图像中的相应目标进行精确配准,在增强现实、机器人等领域具有重要的应用,也是计算机视觉领域的关键问题之一.近年来,三维模板跟踪的准确率和稳定性都得到了持续提升,但仅有少量的工作关注三维模板跟踪数据集的构建.随着深度学习的普及,各领域中大规模数据集的构建越来越被重视,为算法的...     

面向增强视频的基于结构和运动恢复的摄像机定标

提出了一种高效鲁棒的长序列摄像机定标算法，能稳定处理焦距未知且变化的视频序列，适用于增强视频的应用．该算法从长视频序列中根据特征匹配点提炼出相互之间具有较长基线的关键帧，以保证求解的稳定性．算法先在关键帧序列上渐进式求解，以准确恢复特征匹配点的互维结构信息；利用精确恢复的三维点，求解整个序列的摄像机运动参数．该算法选择最适合初始化的三帧求解，并将解及时从射影空间转换到欧氏空间．实验结果显示了所恢复的摄像机参数和三维点的高度精确性，证明了该方法稳定高效，能够满足增强视频的高端要求．     

在线视频分割实时后处理

在线视频分割的应用通常都需要对分割结果进行后处理,以消除误分割和边沿闪烁.基于图像抠图的方法太慢,而简单的对(前/背景)边界进行模糊不仅不能消除误分割,而且会导致清晰的边界被过度模糊.为了解决上述问题,文中提出了一种新的后处理方法.对边界附近的每一像素,首先通过一种新的专门用于颜色聚类的快速聚类算法得到该像素周围的局部颜色模型,并用来重新估计像素的alpha值,以消除误分割.为了改善结果的一致性,再采用一种自适应的边界函数作光滑性约束.边界函数可根据像素的局部属性自适应地调整过渡区域的中心和宽度,这样就防止了将清晰的边界过度模糊.文中的算法速度很快,可以很好地满足在线视频分割的要求.     

带约束的摄像机定标方法

由于积累误差和摄像机内部参数的校正误差,基于视觉的摄像机定标结果尽管在图像上的重投影误差很小,但是重建的空间结构往往存在一定程度的扭曲。提出了一种带约束的摄像机定标算法,将场景中存在几何条件（如摄像机路径在一条直线上）作为约束条件,对摄像机定标结果进行再优化,使得重建的空间与真实世界的欧氏空间更为一致。在优化过程中,将欧氏空间与图像空间的两种误差约束在同一范围,自动获取最佳的约束系数。实验结果证明了该算法的有效性。     

基于能量优化的在线室外光照估计算法

为了保证增强现实中的光照一致性,提出一种基于能量优化的室外场景的实时光照估计算法.首先将室外场景图像表示成太阳光基图像和天空光基图像的线性组合;在此基础上,利用太阳光基图像的特点,将太阳光和天空光入射光强的求解归结为一个可实时求解的能量最小化问题.与现有算法相比,文中算法不需要离线学习,因而更适合于增强现实.     

基于WSSD的不规则图像块快速匹配

传统的图像块匹配加速算法都要求待匹配的图像块具有预先定义好的形状。但有时候由于数据损坏、丢失等原因,待匹配块的形状是不规则的（如图像修复）。针对这种情况,提出了一种无损精度的不规则块匹配加速算法,将不规则块匹配扩展为一求最小加权平方差和（WSSD）的问题,块的形状间接地通过每个像素的权重来控制,这使得图像块都能被统一地当成矩形块。为了进行加速,提出了用快速傅里叶变换（FFT）计算WSSD的方法。并利用待匹配块及其权重在傅里叶变换过程中需大面积补零的特殊性改进了FFT算法,在不损失精度的前提下,进一步降低了其复杂度。最后以图像修复为例,说明WSSD是比SSD更一般的图像块相似度,并为各种图像块匹配的应用提供了一种统一的处理框架。     

基于自适应特征融合的无纹理3D目标跟踪

基于轮廓匹配的无纹理3D目标跟踪算法需要根据3D模型和2D投影轮廓的3D—2D匹配点连续估计目标的位置和姿态,但在背景复杂和运动模糊的情况下容易错配导致跟踪失败.针对此问题,提出一种基于自适应特征融合的3D目标跟踪算法.首先在3D模型投影轮廓附近进行轮廓匹配和颜色统计建模,以提取轮廓特征和颜色特征;然后定义基于轮廓特征和颜色特征自适应加权的能量函数,并计算其相对于位置和姿态参数的偏导数;最后通过LM优化算法求解位置和姿态参数的最优值.为处理目标和相机的快速运动,采用由粗到细的策略在多尺度视频帧中迭代跟踪.定性和定量实验结果表明,在复杂背景和运动模糊的情况下,该算法仍能实现快速稳定的跟踪,具有较高的精确性和鲁棒性.     

室外场景光照估计的基图像分解算法

基于室外固定场景的太阳光与天空光基图像分解理论,证明了同一太阳方位在不同天气情况下的3幅图像具有线性相关性,使得基图像方程欠约束,导致基图像无法自动求解.为此提出利用2个太阳方位、2种天气情况下的4幅图像求解基图像的算法,并利用太阳光与天空光基图像在太阳光照区域内点的像素色调一致性,优化基图像及太阳光和天空光光照参数.实验结果表明,该算法自动求解基图像,且根据基图像和光照系数准确重构原图像的均方误差,并将其控制在2像素值以内,从而可用于高品质的增强现实技术.     

基于单目RGB数据的三维模板物体跟踪算法综述

文中介绍了三维物体跟踪技术及其最新研究进展,包括理论基础与评估指标、基于视觉特征的传统位姿求解和基于学习的位姿估计.分析了传统算法中各种特征约束、统计分割模型、能量函数以及加速策略.其中,区域及边缘约束成为跟踪的主流方向,多种特征可以融合产生更强的约束.统计分割模型由全局模型逐步发展为局部模型.非线性最小二乘形式的能量函数易于优化而被广泛采用.预计算、预渲染的加速策略使得跟踪的实时性极大提高.基于学习的算法现阶段在精度和速度上不及传统算法,但展现了更好的特征提取能力和处理更复杂场景的潜力.梳理了多种算法的跟踪精度及取得高精度的原因.总结了三维物体跟踪在复杂情境下跟踪精度下降和失败的问题,及其潜在的解决方案与发展方向.三维物体跟踪正朝向多特征融合、预计算、多任务的方向发展.