基于特征匹配与运动补偿的视频稳像算法

针对在复杂背景下航拍视频的抖动情况,为了实时输出稳定的视频,提出了一种改进的特征匹配算法与全局运动补偿相结合的视频稳像算法。首先,利用尺度不变的SURF算法提取特征点并计算描述符,再结合快速近似最邻近匹配算法得到匹配点对,并通过双向匹配以及K近邻算法筛选优秀匹配点,从而提高匹配正确率;其次,提出了一种局部区域匹配法,提高了算法处理速度,并避免场景内运动目标对稳像效果的影响。通过建立仿射变换模型,求解相邻帧图像的变换参数,进而对图像进行全局运动补偿。结果表明,该算法速度快、匹配精度高,有良好的视频稳像效果。     

仿射不变轮廓匹配的视频拼接研究

为了解决复杂场景变换时视频拼接的精度问题,提出了一种仿射不变轮廓匹配的拼接算法——利用场景中主要区域的轮廓信息对视频图像进行匹配,然后利用匹配点求解运动参数进行拼接。该方法克服了传统拼接算法在复杂的场景变化以及重叠区小的情况下拼接精度低的问题。与基于SIFT的拼接算法对比表明,该算法实现了图像序列的高精度拼接,不仅能适应仿射变换,并且对于重叠区域小,存在运动遮挡的视频具有一定的鲁棒性。     

基于块匹配的鲁棒视频图像镶嵌算法

为了获取宽视野的场景表示,提出了一种基于块匹配的视频图像镶嵌算法,该算法首先采用基于相位相关的块匹配方法估计出视频图像间的运动矢量场,并剔除其中由于图像噪声或运动物体的遮挡而导致外点运动矢量,然后根据图像的运动矢量场确定出图像子块之间的对应点对,进而利用得到的对应点对迭代求解图像间的变换模型参数以实现视频图像的自动镶嵌.针对真实场景的视频图像序列进行实验,获得了较好的镶嵌结果,表明了该算法的有效性.     

基于LM和SVD结合的点云拼接算法研究

点云拼接是场景三维重建过程中的重要环节。针对现有的拼接算法存在耗时长、拼接效果差等问题,通过利用正交映射,获取三维点云与二维图像之间的映射关系,并在二维图像中获取匹配点对。在此基础上,提出了采用LM和SVD结合的方法来变换矩阵。首先根据正交映射,获取三维点云所对应的二维图像;其次利用SURF算法,提取图像的特征点,并通过FLANN算法以及RANSAC算法,提取两幅图像中的特征拼接点对;最后将LM和SVD两种方法相结合,求得变换矩阵。试验结果表明,无论拼接精度,还是运行速度,该算法均较直接利用LM算法或SVD算法有所提高。     

基于超像素联接权模型的视频分割算法

视频图像分割是图像处理领域的一个热门问题。在传统分割算法的基础上,提出了一种新的无监督的视频分割算法。该算法采用超像素对运动前景进行表示,定义联接权概念来描述超像素属于同一物体的可能性,并利用当前帧的静态特征与前后帧的关联特征进行联接权计算。为优化超像素间匹配关系的搜索,算法引入了超像素颜色特征匹配约束与运动关联性匹配约束的机制。分别在简单场景和复杂场景进行了视频分割实验,简单场景下,算法保证了较高的召回率与稳定的准确率;复杂场景下,算法完成了人群中单个人的切分。大量实验结果表明,该算法能够实现视频图像的分割,并且能有效解决过分割问题。     

基于多视角航拍配准的运动小目标检测与跟踪

针对存在3D场景遮挡的航拍视频运动小目标跟踪问题,提出一种基于多视角航拍配准的运动小目标检测和跟踪算法。该算法首先对图像序列间隔采样,利用Harris检测器提取全局特征点,通过Delaunay三角网对待配准图像实现初始匹配,然后利用整合变换模型计算差分图像,并利用累积能量检测出目标,最后通过卡尔曼运动滤波消除运动目标跟踪的抖动。实验结果表明,该算法对城市和郊区场景的航拍视频可以检测出最小30个像素的缓慢运动目标。     

一种基于SURF与地理格网模型的增强现实方法

图像识别与匹配是增强现实领域研究与应用的基础和关键,针对户外场景的广域性和随机性,以及目标纹理结构相似性等问题,提出一种基于SURF与地理格网模型的增强现实方法。该方法根据目标场景与地理位置的相关性,检测图像特征点并生成Location-SURF图像特征描述,基于地理格网模型构建空间四叉树索引,建成静态特征样本库。将视频帧、位置和角度信息生成特征图像,上传至服务端解析运算并与样本库训练匹配。选取宁波环球航运广场约0.376km2的区域,采集270余幅图像数据构建样本库并开展试验,通过现场图像的实时采集和计算,能够实现特征点的在线匹配,在此基础上通过调整点位距离比例的阈值,能够提升匹配的准确程度。基于该算法开发移动增强现实系统,运用四层技术架构实现了终端采集显示和服务端分析计算的并行化,达到真实场景与虚拟信息的融合显示效果。系统应用结果表明：该算法可以解决复杂环境下场景图像识别匹配率不高的问题,可快速地完成特征点的检测和提取,能够有效地进行样本训练和匹配,对户外移动增强现实进行了有益尝试并提供一种有效的途径。     

改进的SIFT邻域投票图像匹配算法

针对传统图像匹配算法在几何差异场景下匹配精度低的问题,提出一种改进SIFT特征描述符和邻域投票相结合的图像匹配算法。使用8个邻域像素的平均值代替原始极值点,通过SIFT提取图像中的特征点,利用Sobel算子计算特征点的梯度幅度和方向,结合8个仿射形式的同心圆邻域生成64维描述符,根据欧氏距离确定初始匹配点,采用邻域投票的方法剔除错误的匹配点,实现图像的精确匹配。实验结果表明,该算法在显著提高匹配精度的同时缩短了匹配时间,对复杂场景的匹配性能明显提升。     

基于序列图像的摄像机自标定方法

提出了一种新的结合摄影测量和计算机视觉相关理论的摄像机自标定方法。首先通过序列图像的匹配点对,利用计算机视觉理论中的8点法求得摄像机基础矩阵F,通过矩阵F利用Kruppa方程求得矩阵C,对矩阵C进行Cholesky分解得到摄像机的内参数矩阵K,然后将求出的内参数作为初始值,利用摄影测量理论进行相对定向和绝对定向,最小二乘前方交会计算得到匹配点对的三维空间坐标,最后由匹配点对的三维空间坐标及其图像坐标,采用三维直接线性变换和光束法平差方法解算出摄像机内、外参数及畸变系数。该方法不依赖于特定的场景几何约束条件,只要序列图像之间有匹配点对,就可以进行自标定工作,具有广泛的适用性。模拟数据和真实图像的实验结果表明：该方法计算过程简单,标定精度高,是一种值得借鉴的摄像机自标定方法。     

基于特征点的图像拼接方法

提出了一种基于特征点匹配的全景图像拼接方法.该方法首先利用sift算法提取各图像中的特征点并利用Harris算法对图像特征点提取进行了优化,然后采用基于K-d树的BBF算法查找和确定初始匹配点对,完成特征点的粗匹配,再根据图像配准结果使用稳健的RANSAC算法对粗匹配的特征点进行筛选,计算出图像间变换矩阵H,最后采用渐入渐出的加权平均的融合算法对两幅图像进行无缝拼接,形成一幅完整的全景画面.实验结果验证了该方法的有效性,拼接效果较好.     

Estimating the Focus of Expansion in Analog VLSI

In the course of designing an integrated system for locating the focus of expansion (FOE) from a sequence of images taken while a camera is translating, a variety of direct motion vision algorithms based on image brightness gradients have been studied (McQuirk, 1991, 1996b). The location of the FOE is the intersection of the translation vector of the camera with the image plane, and hence gives the direction of camera motion. This paper describes two approaches that appeared promising for analog very large scale integrated (VLSI) circuit implementation. In particular, two algorithms based on these approaches are compared with respect to bias, robustness to noise, and suitability for realization in analog VLSI. From these results, one algorithm was chosen for implementation. This paper also briefly discuss the real-time analog CMOS/CCD VLSI architecture realized in the FOE chip.     

Recovery of ego-motion using region alignment

A method for computing the 3D camera motion (the ego-motion) in a static scene is described, where initially a detected 2D motion between two frames is used to align corresponding image regions. We prove that such a 2D registration removes all effects of camera rotation, even for those image regions that remain misaligned. The resulting residual parallax displacement field between the two region-aligned images is an epipolar field centered at the FOE (Focus-of-Expansion). The 3D camera translation is recovered from the epipolar field. The 3D camera rotation is recovered from the computed 3D translation and the detected 2D motion. The decomposition of image motion into a 2D parametric motion and residual epipolar parallax displacements avoids many of the inherent ambiguities and instabilities associated with decomposing the image motion into its rotational and translational components, and hence makes the computation of ego-motion or 3D structure estimation more robust     

Estimating 3D egomotion from perspective image sequence

The computation of sensor motion from sets of displacement vectors obtained from consecutive pairs of images is discussed. The problem is investigated with emphasis on its application to autonomous robots and land vehicles. The effects of 3D camera rotation and translation upon the observed image are discussed, particularly the concept of the focus of expansion (FOE). It is shown that locating the FOE precisely is difficult when displacement vectors are corrupted by noise and errors. A more robust performance can be achieved by computing a 2D region of possible FOE locations (termed the fuzzy FOE) instead of looking for a single-point FOE. The shape of this FOE region is an explicit indicator of the accuracy of the result. It has been shown elsewhere that given the fuzzy FOE, a number of powerful inferences about the 3D sense structure and motion become possible. Aspects of computing the fuzzy FOE are emphasized, and the performance of a particular algorithm on real motion sequences taken from a moving autonomous land vehicle is shown     

利用运动线索的单目深度测量

目的 传统的单目视觉深度测量方法具有设备简单、价格低廉、运算速度快等优点,但需要对相机进行复杂标定,并且只在特定的场景条件下适用。为此,提出基于运动视差线索的物体深度测量方法,从图像中提取特征点,利用特征点与图像深度的关系得到测量结果。方法 对两幅图像进行分割,获取被测量物体所在区域;然后采用本文提出的改进的尺度不变特征变换SIFT（scale-invariant feature transtorm）算法对两幅图像进行匹配,结合图像匹配和图像分割的结果获取被测量物体的匹配结果;用Graham扫描法求得匹配后特征点的凸包,获取凸包上最长线段的长度;最后利用相机成像的基本原理和三角几何知识求出图像深度。结果 实验结果表明,本文方法在测量精度和实时性两方面都有所提升。当图像中的物体不被遮挡时,实际距离与测量距离之间的误差为2.60%,测量距离的时间消耗为1.577 s;当图像中的物体存在部分遮挡时,该方法也获得了较好的测量结果,实际距离与测量距离之间的误差为3.19%,测量距离所需时间为1.689 s。结论 利用两幅图像上的特征点来估计图像深度,对图像中物体存在部分遮挡情况具有良好的鲁棒性,同时避免了复杂的摄像机标定过程,具有实际应用价值。     

Tracking 3-D motion from straight lines with trifocal tensors

We present a novel approach to track the position and orientation of a stereo camera using line features in the images. The method combines the strengths of trifocal tensors and Bayesian filtering. The trifocal tensor provides a geometric constraint to lock line features among every three frames. It eliminates the explicit reconstruction of the scene even if the 3-D scene structure is not known. Such a trifocal constraint thus makes the algorithm fast and robust. The twist motion model is applied to further improve its computation efficiency. Another major contribution is that our approach can obtain the 3-D camera motion using as little as 2 line correspondences instead of 13 in the traditional approaches. This makes the approach attractive for realistic applications. The performance of the proposed method has been evaluated using both synthetic and real data with encouraging results. Our algorithm is able to estimate 3-D camera motion in real scenarios accurately having little drifting from an image sequence longer than a 1,000 frames.     

基于特征匹配的单目相机姿态解算

本文采用了一种基于AKAZE特征检测和PnP算法的单目视觉测量方法对相机的相对姿态进行解算,用于快速准确地确定空间中两个目标间的位姿关系.采集合作目标的模板图像,提取附加到合作目标上的4个特征点的像素坐标,利用AKAZE关键点对模板图像和待测图像进行匹配并计算映射矩阵,通过映射矩阵得到4个特征点在待测图像中的像素坐标,然后结合合作目标的尺寸信息求解基于4个共面特征点的PnP问题,解算相机与合作目标的相对位置.实验分析表明该方法计算的实时图像相机位姿与真实结果接近,验证了本文方法的有效性.     

一种基于模糊阈值的直线拟合策略在铁路沿线柱体检测及距离估计中的应用

首先提出了一种单幅图像中由边缘检测自动估计铁路沿线柱体到铁轨大致距离的方法，该方法主要通过对铁轨及其沿线柱体的检测、分类识别和距离估计来完成。因为如何在有畸变和复杂背景的图像中准确和有效检测边缘在图像处理和模式识别中一直是一个关键而困难的问题，为此提出了一种基于模糊阈值的直线连接拟合策略，该策略主要包括3个步骤：边缘提取、角点检测和基于模糊阈值的直线递归拟合。该策略可以有效地在有图像畸变和复杂背景的实际拍摄图片中通过参数控制获取感兴趣目标的直线边界。实验结果证明本文的直线拟合策略是精确的和具有鲁棒性的，距离估计方法是有效的。     

On 3-D scene flow and structure recovery from multiview image sequences

Two novel systems computing dense three-dimensional (3-D) scene flow and structure from multiview image sequences are described in this paper. We do not assume rigidity of the scene motion, thus allowing for nonrigid motion in the scene. The first system, integrated model-based system (IMS), assumes that each small local image region is undergoing 3-D affine motion. Non-linear motion model fitting based on both optical flow constraints and stereo constraints is then carried out on each local region in order to simultaneously estimate 3-D motion correspondences and structure. The second system is based on extended gradient-based system (EGS), a natural extension of two-dimensional (2-D) optical flow computation. In this method, a new hierarchical rule-based stereo matching algorithm is first developed to estimate the initial disparity map. Different available constraints under a multiview camera setup are further investigated and utilized in the proposed motion estimation. We use image segmentation information to adopt and maintain the motion and depth discontinuities. Within the framework for EGS, we present two different formulations for 3-D scene flow and structure computation. One formulation assumes that initial disparity map is accurate, while the other does not. Experimental results on both synthetic and real imagery demonstrate the effectiveness of our 3-D motion and structure recovery schemes. Empirical comparison between IMS and EGS is also reported.     

基于深度信任网络模型的乌东选煤厂铁路车号图像识别方法

精准识别铁路车号可以为煤厂装车提供依据,从而保证装车环节高效顺利地完成。为此,提出了基于深度信任网络模型的乌东选煤厂铁路车号图像识别方法。首先,利用高速摄像机设备采集原始的车号图像,并利用索贝尔算子检测图像边界;然后,根据列车车号的字体笔画宽度特点,采笔画宽度变换算法定位确定图像中的车号区域,并利用LBP算法提取车号区域内的特征;最后,将提取的特征输入到深度信任网络模型中,在训练网络模型并不断更新参数后,准确识别车号图像。实验表明：该方法能够精准识别乌东选煤厂铁路列车车号图像。在深度信任网络模型中,当受限玻尔兹曼机网络为4层、隐含层节点个数为128个时,该模型的分类识别能力最强,训练损失最小,性能最佳。     

自适应柱状全景图拼接

为了实现高效高精度的全景图拼接,提出了一种面向柱状全景图的自适应拼接方法。该方法首先使用基于灰度边缘特征点的图像匹配来获得匹配坐标,并由匹配坐标唯一性计算焦距;然后在该焦距参数估计的基础上,采用新的自适应混合图像灰度匹配方法生成初期拼接图像,并根据其宽度以及相关判别条件进行焦距估计的调整,再重复迭代,以获得准确的焦距参数;最后利用基于角度1维投影的图像匹配方法进行匹配坐标的小范围校正,以及使用线性平滑算法生成最终柱状全景图。该法在精确焦距的基础上,结合了多种图像匹配算法,并根据自相关指数自适应选取结果,实现了水平和垂直两方向上的匹配定位和错位检测。实验证明,该方法不仅在真实图像上的可行,且具有较高的实时性、精度和鲁棒性。