序列图像中三维空间点的精确重建方法

提出了一种针对序列定标图像的三维空间点精确欧氏重建算法，相对于传统基于代数误差最小化的方法，该算法用几何误差作为优化的目标函数，从而保证了三维重建点在欧氏距离误差的意义下是最优的；该算法是线性的，计算效率高；此外还可以扩展到任意多幅图像的重建中。真实测试图像的实验结果以及与传统算法的比较验证了该算法的有效性和精确性。     

基于长序列图像的三维重建技术研究*

提出一种基于长序列未定标图像的三维重建方法,并将其成功地应用于增强现实实例中.首先,基于传统KLT跟踪算法提出了一种针对序列图像的改进特征点匹配策略,通过特征点运动向量的预测减小了相应特征点的搜索范围,进一步根据相近特征点邻域窗口在透视畸变上的相似性大大提高了匹配算法的效率;在得到序列图像的匹配结果后,将传统基于仿射成像模型的测量矩阵(Measurement Matrix)保秩分解算法扩展到透视成像模型中,从而一次性得到整个场景的射影重建;进一步在摄像机自定标的基础上得到整个场景的三维欧氏模型和摄像机的成像矩阵.最后给出真实图像序列的三维重建实验结果,并成功地将其应用到增强现实实例中.     

分层的线性迭代三维重建方法

为了重建三维物体,提出了一种基于分层的线性迭代三维重建方法,该方法首先利用所有图像序列构成的行向量生成的线性子空间之和与空间结构点构成的行向量生成的子空间是同一线性子空间及在该子空间中任何一个基底都可以作为射影重建的特性,线性迭代地完成射影重建,然后利用相机参数之间的相互约束关系,线性迭代地实现相机的自定标,完成到欧氏重建的过渡.模拟实验和真实实验表明:该重建方法具有鲁棒性好、收敛性好及重投影误差小等优点.     

一种基于4对图像对应点的欧氏重建方法

摄像机自标定算法通常是非线性的，为了得到线性的方法，提出了一种在RANSAC框架下由4对图像对应点线性标定摄像机并对场景进行鲁棒性欧氏重建的方法。当摄像机作两组平移运动时，若在两组平移运动之间摄像机具有不同的姿态，则从4对图像对应点可以线性地重建场景的欧氏几何。模拟实验和真实图像实验均证明了本文方法的可行性。     

一种非定标图像高精度三维重建算法

由非定标图像重建三维场景有着广泛的应用。给出了一种非定标多视图像三维重建算法。该算法主要基于因子分解和光束法平差技术。首先用因子分解方法得到射影空间下相机投影矩阵和物点坐标,以旋转矩阵的正交性以及对偶绝对二次曲面秩为3为约束,将射影空间升级到欧式空间,最后用光束法平差进行优化。该方法可同时获得相机的内外参数、畸变系数和场景的三维坐标。仿真实验表明,在1000 mm×1000 mm×400mm的范围内,当像点检测误差在0-1pixel和0-2pixel内,所重建三维点的误差分别为0.1530 mm和0.6712 mm。在500 mm×500 m×200 mm下,真实实验重构三维点的误差在0.3 mm以内。所提出的算法稳定可靠,可对实际工程进行指导。     

基于Fisher准则改进线性判别回归分类的人脸识别

为了提高线性回归分类LRC(Linear Regression Classification)算法的鲁棒性,提出一种基于Fisher准则改进的线性判别回归分类算法。首先根据Fisher准则最大化类间重建误差与类内重建误差的比值,为LRC找到最优投影矩阵;然后利用最优投影矩阵将训练图像及测试图像投影到各个类的特征子空间;最后,计算出测试图像与各个训练图像之间的欧氏距离,并利用K-近邻分类器完成人脸的识别。在FERET和AR人脸数据库上的实验验证了本文算法的有效性。实验结果表明,相比其他回归分类算法,该算法取得了更好的识别效果。     

基于未标定图像的三维重建算法

提出一种基于多幅未标定图像的三维重建算法。在标记点匹配的基础上进行射影重建,通过施加度量约束将射影重建升级为欧氏重建,即利用未标定的透视图像恢复相机的内、外部参数以及标记点的三维空间坐标,实现场景的三维重建。标记点易于进行点对精确匹配,较手动拾取匹配提高了效率。实验结果表明,利用该算法能够大幅减小再投影误差。     

基于单平面模板的摄像机定标研究

提出了一种摄像机定标方法，只需要摄像机从不同方向拍摄平面模板的多幅图像，摄像机与平面模板间可以自由地移动，运动的参数无需已知。对于每个视点获得图像，提取图像上的网格角点；平面模板与图像间的网格角点对应关系，确定了单应性矩阵；对每幅图像，就可确定一个单应性矩阵，这样就能够进行摄像机定标。该算法先有一个线性解法，然后基于极大似然准则对线性结果进行非线性优化求精。该方法同时也考虑了镜头畸变的影响。实验结果表明该算法简单易用。     

基于距离限定优化的人脸识别

针对现有人脸识别方法对人脸角度、表情、姿态等因素较为敏感且准确率低的问题,提出了一种基于距离限定优化算法的人脸识别模型。该模型对人脸识别方法的改进有两点：a)利用LBP算子提取人脸图像纹理谱特征图,然后与原始人脸图像的R、G、B通道进行融合,将融合后的图像矩阵作为神经网络的输入,丰富了人脸的纹理特征;b)对误差函数进行改进,使用阈值和边界值约束特征向量的距离,对模型构建新的优化目标,使得相同对象的人脸图像在特征空间中具有较小的欧氏距离,不同对象的人脸图像在特征空间中具有较大的欧氏距离。通过在非限制场景下的LFW人脸库上进行实验,表明该模型准确率分别达到99.15%,能有效地提高人脸识别准确率,具有很好的鲁棒性。     

多摄像机定标恢复足球比赛场景

在足球运动中,分析比赛需要了解足球场与运动员以及足球之间的位置关系.DLT定标是一种常用的算法,通过改进这种摄像机定标算法,从有限的比赛图像中恢复部分摄像机参数,计算出足球运动员相对于足球场的坐标.实验由两幅静态的图像完成了摄像机定标,通过定标参数和图像对运动员的三维坐标进行了恢复,得到了运动员的三维棍图.     

易错视频传输中基于带宽-失真代价最小化准则的部分重传算法

针对视频传输系统主要关注的两个因素:传输所用的总体带宽和终端最终的解码失真,提出带宽-失真(B D)代价函数的概念,给出B-D关系定理及其证明.利用视频数据本身存在的时空相关的特点,进一步提出了基于最小化B D代价的部分重传机制.实验结果及分析表明,相对于尽力而为ARQ机制,所提出的算法有如下几个特点:(1)在保持终端接收质量基本不变的前提下,能有效减少带宽(可达20%以上);(2)在低比特率情形下性能比高比特率下的性能要好,所以更适合于低比特应用;(3)对运动平缓和纹理平滑的视频序列更为有效.     

Measuring and modelling sewer pipes from video

This article presents a system for the automatic measurement and modelling of sewer pipes. The system recovers the interior shape of a sewer pipe from a video sequence which is acquired by a fish-eye lens camera moving inside the pipe. The approach is based on tracking interest points across successive video frames and posing the general structure-from-motion problem. It is shown that the tracked points can be reliably reconstructed despite the forward motion of the camera. This is achieved by utilizing a fish-eye lens with a wide field of view. The standard techniques for robust estimation of the two- and three-view geometry are modified so that they can be used for calibrated fish-eye lens cameras with a field of view less than 180°. The tubular arrangement of the reconstructed points allows pipe shape estimation by surface fitting. Hence, a method for modelling such surfaces with a locally cylindrical model is proposed. The system is demonstrated with a real sewer video and an error analysis for the recovered structure is presented.     

一种基于H.264的帧间错误掩盖算法

H.264采用混合编码算法.视频流的传输错误将会导致解码错误在时间和空间上扩散,直接影响重构图像的质量.本文充分结合H.264的编码特性,利用宏块的空间或时间相关性来确定丢失宏块的类型,根据相邻块的运动矢量建立一个描述小区域内运动矢量变化趋势的多项式模型,更精确的恢复出丢失宏块的运动矢量,提高重构图像的质量.仿真结果表明:该算法优于以往的边界匹配算法,在同等宏块丢失率下,恢复的视频序列Y分量的PSNR值能提高0.75～1.5dB.     

一种适用于H.264的时域差错掩盖算法

为了克服视频传输中因传输错误引起的视频质量下降,结合H.264的编码特性,提出一种基于运动矢量自适应修复的时域差错掩盖算法。首先利用正确接收的宏块信息估计丢失块邻域内运动矢量的变化强度,据此自适应采用边界运动矢量差值最小法或多项式插值法恢复丢失块的运动矢量,然后根据恢复的运动矢量对丢失块进行补偿替代。仿真结果表明,该算法同传统的时域差错掩盖算法相比,在相同网络丢包的环境下PSNR值提高了0.2~2.5dB,同时解码的图像也获得较好的主观视觉效果。     

基于Newton-Thiele有理插值的误码隐藏

低速率的视频传输必然要求对视频信号进行高效压缩,而高效压缩后的视频码流对传输中产生的误码非常敏感.一旦传输中出现了误码,不仅影响该误码数据的恢复,还会影响与之相关的其他数据的恢复,造成误码扩散,误码隐藏是解决这个问题的一种有效方法.在对最新视频压缩标准H.264研究的基础上,针对H.264中相邻运动矢量具有高度相关性的特性,提出了一种基于Newton-Thiele型有理插值的误码隐藏算法,仿真结果显示,提出的误码隐藏算法可以有效地改善解码图像的视觉质量,并且能够满足实时视频传输的要求.     

基于DVB的视频关键帧浏览系统的实现

随着计算机技术和电视技术的发展 ,数字视频节目日益增多 .为了迅速了解视频节目的内容 ,提出了建立基于数字视频广播 (DVB)的视频关键帧浏览系统的方案 .该系统首先利用 MPEG压缩视频提供的压缩参数 ,直接将视频序列划分成以镜头为单位的视频片段 ;然后提取每个镜头中的第一个 I帧作为关键帧 ,重构其 DC图象 ;最后 ,根据 DVB标准 ,通过扩展 SI表实现对这些视频关键帧进行封装的数据结构 ,从而实现电视台对视频关键帧的发送和接收 .文中给出了前端系统结构示意图和基于关键帧 DC图象的快速浏览实例 .由于该系统直接利用了压缩参数 ,从而减少了解压缩的开销 ,具有计算代价小 ,浏览速度快的特点 .     

基于内容的差错控制方法研究与实现

视频在传输过程中会因为信道噪声等原因导致失真,采取差错控制方可以保证视频传输的质量.传统的差错控制方法将视频当成普通的比特流,而忽视了视频的内容特征.提出的基于内容的差错控制方法按照内容特征划分视频结构单元并分配相应的差错控制方法.实验结果表明,该差错恢复方法不仅能有效利用信道带宽,而且可保护显著性区域,使重建的视频更加符合用户的视觉需求,实现用小的代价保护重要的视频内容.     

适于实时传输的AVS视频码流加密算法*

为应对日益严重的盗版问题,提出了一种针对AVS标准的视频信息加密算法。通过加密运动矢量,使得视频图像重建时无法找到匹配的参考块,并通过误差扩散,引起视频图像错乱,从而达到对视频信息加密的目的。加密算法不改变码流结构,因此,接收端未经解密的视频码流可以由标准解码器正常解码,但是解码重建的视频图像质量明显下降,而经解密的视频重建图像可完全恢复到加密前的水平。实验结果表明,提出的加密方案具有良好的加密效果,其算法复杂度低,对编码效率影响也很小,基本上不影响视频的主客观质量。     

Efficient motion vector recovery algorithm for H.264 based on a polynomial model

In this paper, we propose an efficient motion vector recovery algorithm for the new coding standard H.264, which is based on a polynomial model. To achieve better coding efficiency, the motion estimation scheme used in H.264 is different from previous coding standards. In H.264, a 16/spl times/16 macroblock can be divided into different block shapes for motion estimation. Each macroblock contains more motion vectors than previous coding standards. For nature video, the blocks within a small area likely belong to the same object, hence the motion vectors of neighboring blocks are highly correlated. Based on the correlation of neighboring motion vectors, we can use the motion vectors that are adjacent to the lost motion vectors to constitute a polynomial model, which can describe the change tendency of motion vectors within a small area. Through this model, the lost motion vectors can be predicted and the lost macroblocks can be reconstructed. Different video sequences are used to test the performance of proposed method. The simulation results show that the quality of corrupted video can be obviously improved by proposed algorithm.     

Determining shape and motion from non-overlapping multi-camera rig: A direct approach using normal flows

In this paper, we explore how a wide field-of-view imaging system that consists of a number of cameras in a network arranged to approximate a spherical eye can reduce the complexity of estimating camera motion. Depth map of the imaged scene can be reconstructed once the camera motion is there. We present a direct method to recover camera motion from video data, which neither requires establishment of feature correspondences nor recovery of optical flow, but from normal flow which is directly observable. With a wide visual field, the inherent ambiguities between translation and rotation disappear. Several subsets of normal flow pairs and triplets can be utilized to constraint the directions of translation and rotation separately. The intersection of solution spaces arising from normal flow pairs or triplets yields the estimate on the direction of motion. In addition, the larger number of normal flow measurements so resulted can be used to combat the local flow extraction error. Rotational magnitude is recovered in a subsequent stage. This article details how motion recovery can be improved with the use of such an approximate spherical imaging system. Experimental results on synthetic and real image data are provided. The results show that the accuracy of motion estimation is comparable to those of the state-of-the-art methods that require to use explicit feature correspondences or full optical flows, and our method has a much faster computational speed.