基于图像序列的交互式快速建模系统

给出了一个基于图像序列的交互式三维建模系统.通过输入一段未标定的图像或视频序列,系统能够自动地恢复出摄像机参数;然后用户只需要在少量几帧图像上简单勾画出物体的形态结构,系统就能自动解析出多帧之间用户交互的对应关系,从而迅速、逼真地重建出场景的三维模型.该系统提供了点与线段的重建、直线与平面的重建、曲线与曲面的重建等功能,能够满足对现实世界中的复杂场景的快速高精度的重建要求.几组真实拍摄的图像序列的建模实验表明:该系统高效、实用.能够很好地满足实际建模需求.     

融合2D/3D摄像机的方法与获取高精度三维视觉信息的装置

三维飞行时间摄像机可实时同步获取场景三维信息和灰度图像信息.虽然它存在图像分辨率和质量较差等问题,但它可作为二维摄像机的互补.本文借鉴立体视觉技术,提出了一种2D/3D摄像机融合的三维视觉信息获取方案.论文首先基于固定空间关系和相近视野原则,设计2D/3D立体摄像机系统对空间场景同步成像.结合三维TOF摄像机成像特性,论文借鉴立体视觉技术完成二维摄像机的高质量二维彩色图像与插补后的三维摄像机深度图像的匹配关联.因此,本方法可实现场景的高精度彩色图像和对应三维空间信息的实时同步获取,同时保留了二维摄像机的高质量彩色二维成像和三维摄像机的快速稠密三维信息获取的优势.2D/3D摄像机图像融合匹配算法复杂度低,匹配精度和准确度取决于二维摄像机和三维摄像机自身性能、摄像机标定参数精度和深度图像插补算法,不会引入新的运算误差.试验结果验证了本文算法的有效性和精确度.     

足球比赛场景的三维重建和动画生成

介绍一个实用的足球比赛场景三维重建系统。该系统通过比赛的录像片段恢复场景的三维模型 ,包括球员的姿态、位置和足球的运动轨迹 ,允许用户在足球场上漫游 ,从任意的视角观看比赛的进行。通过序列图像 ,系统能够生成一段动画 ,重现精彩的比赛片断。系统通过自动和手工相结合的办法实现特征提取和跟踪过程 ,利用线性定标的方法恢复摄像机视点。经过实验证明 ,该系统重建的模型具有较高的精度 ,误差不超过 1%。     

基于多个手持摄像机的动态场景时空一致性深度恢复

针对现有的动态场景深度恢复方法普遍需要较多数目的同步摄像机才能获得理想深度估计的问题,提出一个能够从2～3个手持摄像机所拍摄的同步视频序列中自动地恢复出高质量的深度图序列的鲁棒、便捷的动态场景稠密深度恢复方法.首先对不同序列同一时刻的图像帧进行匹配以完成每帧的深度初始化,然后采用一种新的双层分割方法在手持摄像机自由移动的情况下将像素进行静动态分类,并对静态和动态像素点采用不同的方式进行时空一致性的深度优化.特别地,文中采用了一个基于多帧统计信息、迭代式的优化框架,使得深度优化与双层分割在该优化框架之下交替迭代地进行,最终实现高质量的动态场景的分割和深度恢复.最后通过各种动态场景实例证明了文中方法的鲁棒性和有效性.     

基于序列图像的摄像机自标定方法

提出了一种新的结合摄影测量和计算机视觉相关理论的摄像机自标定方法。首先通过序列图像的匹配点对,利用计算机视觉理论中的8点法求得摄像机基础矩阵F,通过矩阵F利用Kruppa方程求得矩阵C,对矩阵C进行Cholesky分解得到摄像机的内参数矩阵K,然后将求出的内参数作为初始值,利用摄影测量理论进行相对定向和绝对定向,最小二乘前方交会计算得到匹配点对的三维空间坐标,最后由匹配点对的三维空间坐标及其图像坐标,采用三维直接线性变换和光束法平差方法解算出摄像机内、外参数及畸变系数。该方法不依赖于特定的场景几何约束条件,只要序列图像之间有匹配点对,就可以进行自标定工作,具有广泛的适用性。模拟数据和真实图像的实验结果表明：该方法计算过程简单,标定精度高,是一种值得借鉴的摄像机自标定方法。     

基于长序列图像的三维重建技术研究*

提出一种基于长序列未定标图像的三维重建方法,并将其成功地应用于增强现实实例中.首先,基于传统KLT跟踪算法提出了一种针对序列图像的改进特征点匹配策略,通过特征点运动向量的预测减小了相应特征点的搜索范围,进一步根据相近特征点邻域窗口在透视畸变上的相似性大大提高了匹配算法的效率;在得到序列图像的匹配结果后,将传统基于仿射成像模型的测量矩阵(Measurement Matrix)保秩分解算法扩展到透视成像模型中,从而一次性得到整个场景的射影重建;进一步在摄像机自定标的基础上得到整个场景的三维欧氏模型和摄像机的成像矩阵.最后给出真实图像序列的三维重建实验结果,并成功地将其应用到增强现实实例中.     

面向增强视频的基于结构和运动恢复的摄像机定标

提出了一种高效鲁棒的长序列摄像机定标算法，能稳定处理焦距未知且变化的视频序列，适用于增强视频的应用．该算法从长视频序列中根据特征匹配点提炼出相互之间具有较长基线的关键帧，以保证求解的稳定性．算法先在关键帧序列上渐进式求解，以准确恢复特征匹配点的互维结构信息；利用精确恢复的三维点，求解整个序列的摄像机运动参数．该算法选择最适合初始化的三帧求解，并将解及时从射影空间转换到欧氏空间．实验结果显示了所恢复的摄像机参数和三维点的高度精确性，证明了该方法稳定高效，能够满足增强视频的高端要求．     

基于运动方向的视角无关行为识别方法

针对人体运动方向的随机特性,研究场景中有多台摄像机时视角无关的行为识别方法。利用一台位置固定的摄像机,根据视频序列中运动目标质心空间坐标变化,确定其运动大致方向。根据该方向,选择具有垂直和平行运动轨迹方向视角的相机获得的序列图像,进行行为分析。提取人体运动行为侧像和正像轮廓的关键姿态建立特征库。应用单个相机平行线约束,通过转换因子由图像坐标恢复运动目标关键点的三维坐标,从而确定目标运动方向。建立室内多视角行为视频样本库,实验结果表明,利用该方法识别室内运动行为,能够达到视角无关行为识别的目的。     

立体图像对的生成

获取同一场景的立体图像对是实现双目立体成像的一个关键问题。提出了一种在三维场景已经建好的情况下生成立体图像对的方法。该方法根据双目立体视觉的原理，利用3DS MAX中的摄像机对象对场景中的物体进行坐标变换和透视投影变换，分别生成左眼视图和右眼视图。实验结果表明，两个目标摄像机与三维模型的位置关系以及基线长度是影响立体效果的重要因素，改变目标摄像机与三维模型的位置，可以分别生成正视差、负视差的立体图像对，当AB与CO的比例参数为0.05时，生成的立体图像对的立体效果较佳。     

视频拼接在三维空间的融合实现

近年来,视频图像拼接技术是视频应用领域研究的一个热门课题,针对视频监控系统对大场景监控的需求,从三维增强现实场景可视化系统融合实现角度,应用三维视频增强现实虚拟技术,将不同摄像机所采集的视频图像拼接成一完整而连续的图像,为监控系统提供无差别、连续的大场景视频,实现动态视频图像与二维、三维静态图像的关联.     

结合目标色彩特征的基于注意力的图像分割

提出一种基于注意力的图像分割算法,在视觉场景选择机制基础上结合目标色彩特征的任务驱动机制,形成了自下而上和自上而下的注意力集成分割机理。该算法在图像的多尺度空间中,把视觉场景的亮度、颜色和方向特征与任务目标色彩特征同时进行提取,生成场景和目标相结合的显著图,然后在基于视觉注意力图像空间中对“场景-目标” 显著图进行归一化的跨尺度融合,最后通过双线性插值和显著图连通区域二值化分割出图像目标注意力焦点。应用该算法对自然场景与室内场景图像进行实验,结果表明该方法在各种环境中尤其是干扰物体较显著的情形下都能成功地分割提取出目标物体。     

改进生成对抗网络在场景图像转换中的应用

本文针对不同场景图像之间的转换问题,提出了一种改进的生成对抗网络模型,能够生成高质量的目标场景图像.在生成目标图像过程中存在因为向下采样而丢失原图像空间位置信息的现象,因此本文设计了一个包含跳跃连接和残差块的生成网络,通过在网络中加入多个跳跃连接部分,将图像的空间位置信息在网络中保持传递.同时为提高训练过程中生成图像在结构上的稳定性,引入SSIM图像结构相似指数,作为结构重建损失,以指导模型生成更优结构的目标图像.此外,为使得转换后的目标场景图像保留更多的色彩细节,加入了身份保持损失,明显增强了目标生成图像的色彩表现力.实验结果表明,本文所提的改进生成对抗网络模型能够在场景图像转换中得到有效地应用.     

宽基线视差图像的拼接算法

针对两幅视差图像的拼接问题，提出了一种新算法，即利用Hessian仿射不变检测算子检测出特征区域，利用SIFT特征描述算子提取特征区域特征矢量，根据特征矢量的欧几里德距离来建立图像间的稀疏对应关系；由这些对应点稀疏地确定场景中的一些点，以这些点为顶点建立场景的三角面片近似，再据此将重叠区域重投影生成推扫式成像的中间部分图像。将中间部分推扫式成像图像和原左图像的左半部分以及原右图像的右半部分一起拼接生成大图像。利用实际图像进行的拼接实验表明该算法是一个有效的视差图像拼接算法。     

Unsupervised scene segmentation using sparse coding context

This paper presents an approach to image understanding on the aspect of unsupervised scene segmentation. With the goal of image understanding in mind, we consider ‘unsupervised scene segmentation’ a task of dividing a given image into semantically meaningful regions without using annotation or other human-labeled information. We seek to investigate how well an algorithm can achieve at partitioning an image with limited human-involved learning procedures. Specifically, we are interested in developing an unsupervised segmentation algorithm that only relies on the contextual prior learned from a set of images. Our algorithm incorporates a small set of images that are similar to the input image in their scene structures. We use the sparse coding technique to analyze the appearance of this set of images; the effectiveness of sparse coding allows us to derive a priori the context of the scene from the set of images. Gaussian mixture models can then be constructed for different parts of the input image based on the sparse-coding contextual prior, and can be combined into an Markov-random-field-based segmentation process. The experimental results show that our unsupervised segmentation algorithm is able to partition an image into semantic regions, such as buildings, roads, trees, and skies, without using human-annotated information. The semantic regions generated by our algorithm can be useful, as pre-processed inputs for subsequent classification-based labeling algorithms, in achieving automatic scene annotation and scene parsing.     

基于音频分析的视频场景检测

目前场景检测的研究，主要是基于图像和视频。但音频同样具有丰富的场景信息，基于音频分析的计算量是比较少的，对自动或者半自动的场景检测，基于音频分析的方法也是更为让用户接受的。可以把基于音频分析的方法作为视频场景检测的辅助手段，以获得更为准确的场景检测和分割。该文提出了一个基于内容的音频分析系统，对视频序列实现基于音频分析的场景检测和分割。该系统能有效的解决许多诸如图像变化了，而实际场景并未变化的情形。且本系统整体运算复杂度较基于视频／图像的场景检测与分割系统要低。     

目标三维场景建模与实时红外仿真技术研究

针对景象匹配系统对红外图像实时性的要求越来越高的特点,提出了基于目标三维场景的实时红外仿真方法。首先,设计了红外场景仿真的总体方案;其次,对材质红外图像计算、红外图像数据库建立、基于全球三维场景的实时红外场景建模三个关键技术做了初步实现;最后,结合红外场景仿真方案完成了系统。实验结果表明：该方法生成的红外图像与实拍红外图像的变化规律基本一致,从而为实时制备红外基准图提供了一种有效途径。     

Lighting virtual objects in a single image via coarse scene understanding

Achieving convincing visual consistency between virtual objects and a real scene mainly relies on the lighting effects of virtual-real composition scenes. The problem becomes more challenging in lighting virtual objects in a single real image. Recently,scene understanding from a single image has made great progress. The estimated geometry,semantic labels and intrinsic components provide mostly coarse information,and are not accurate enough to re-render the whole scene. However,carefully integrating the estimated coarse information can lead to an estimate of the illumination parameters of the real scene. We present a novel method that uses the coarse information estimated by current scene understanding technology to estimate the parameters of a ray-based illumination model to light virtual objects in a real scene. Our key idea is to estimate the illumination via a sparse set of small 3D surfaces using normal and semantic constraints. The coarse shading image obtained by intrinsic image decomposition is considered as the irradiance of the selected small surfaces. The virtual objects are illuminated by the estimated illumination parameters. Experimental results show that our method can convincingly light virtual objects in a single real image,without any pre-recorded 3D geometry,reflectance,illumination acquisition equipment or imaging information of the image.     

Outlier deletion based improvement on the StOMP algorithm for sparse solution of large-scale underdetermined problems

StOMP algorithm is well suited to large-scale underdetermined applications in sparse vector estimations. It can reduce computation complexity and has some attractive asymptotical statistical properties.However,the estimation speed is at the cost of accuracy violation. This paper suggests an improvement on the StOMP algorithm that is more efficient in finding a sparse solution to the large-scale underdetermined problems. Also,compared with StOMP,this modified algorithm can not only more accurately estimate parameters for the distribution of matched filter coefficients,but also improve estimation accuracy for the sparse vector itself. Theoretical success boundary is provided based on a large-system limit for approximate recovery of sparse vector by modified algorithm,which validates that the modified algorithm is more efficient than StOMP. Actual computations with simulated data show that without significant increment in computation time,the proposed algorithm can greatly improve the estimation accuracy.     

Statistics of natural image categories

In this paper we study the statistical properties of natural images belonging to different categories and their relevance for scene and object categorization tasks. We discuss how second-order statistics are correlated with image categories, scene scale and objects. We propose how scene categorization could be computed in a feedforward manner in order to provide top-down and contextual information very early in the visual processing chain. Results show how visual categorization based directly on low-level features, without grouping or segmentation stages, can benefit object localization and identification. We show how simple image statistics can be used to predict the presence and absence of objects in the scene before exploring the image.