动态背景下的光流场计算方法

通过计算光流场来检测场景中的运动目标是计算机视觉中非常重要的研究课题,而光流场计算的精度直接关系到目标检测的准确性。针对实际拍摄的视频中由于背景存在运动而导致光流场中运动目标不突出的情况,提出了一种基于分块积分投影配准算法的光流场计算方法。首先利用提出的分块积分投影配准算法得到图像背景的运动参数,然后对背景进行运动补偿,再利用L-K算法求取运动补偿后图像中有效区域的光流场。通过真实视频对算法进行验证,并将结果与经典的L-K算法结果进行了对比。对比结果显示:本文所提算法计算得到的光流场中运动目标更加突出,算法效果较好。     

基于语义分割的双目场景流估计

针对现有场景流计算方法在复杂场景、大位移和运动遮挡等情况下易产生运动边缘模糊的问题,提出一种基于语义分割的双目场景流估计方法.首先,根据图像中的语义信息类别,通过深度学习的卷积神经网络模型将图像划分为带有语义标签的区域;针对不同语义类别的图像区域分别进行运动建模,利用语义知识计算光流信息并通过双目立体匹配的半全局匹配方法计算图像视差信息.然后,对输入图像进行超像素分割,通过最小二乘法耦合光流和视差信息,分别求解每个超像素块的运动参数.最后,在优化能量函数中添加语义分割边界的约束信息,通过更新像素到超像素块的映射关系和超像素块到移动平面的映射关系得到最终的场景流估计结果.采用KITTI 2015标准测试图像序列对本文方法和代表性的场景流计算方法进行对比分析.实验结果表明,本文方法具有较高的精度和鲁棒性,尤其对于复杂场景、运动遮挡和运动边缘模糊的图像具有较好的边缘保护作用.     

一种基于区域搜索的全局运动估计与补偿算法

开展全局运动估计与补偿研究是进行动态目标检测中的基础和前提。在总结现有运动估计与补偿方法的基础上,提出一种基于图像分割区域的运动性和大小的全局运动估计与补偿算法。首先,通过建立区域搜索的全局运动模型,同时进行区域定性分割和区域大小排序;然后,根据误差最小化准则在指定的分割区域中进行线性递归搜索,利用门限准则寻找出最佳的运动估计参数;最后,根据双线性内插法获得运动位移量。实验结果比较可知,所提算法较三步搜索算法(TSS)和全局搜索算法(FSA)等传统算法具有更高的准确性(图像平移帧差)和实时性(算法运行时间),能够很好地实现运动背景的全局校正。     

提高用于电子稳像的灰度投影算法精度的方法

分析了影响算法精度的主要因素，提出了快速而有效的图像序列预处理方法，以增强投影算法的鲁棒性和提高其估计运动矢量的精度，利用连续多帧子区域的局部和全局运动矢量有效地识别出摄像机的扫描运动和背景存在的运动物体，从而去除这些无效的运动矢量、确保稳像系统的补偿精度。用机载红外摄像设备所摄取的图像序列试验，证明了本方法的有效性。     

基于MPEG的全局运动估计技术

提出了一种基于MPEG(moving picture experts group)的全局运动估计技术: 利用四参数模型来描述由摄像机运动带来的全局运动,再利用基于块匹配的算法来求解4个参数,进而作相应的运动补偿.由于MPEG视频流中的运动矢量蕴含了最优块匹配的信息,所以不需要对MPEG视频流完全解码,即可进行参数估计.实验证明该算法速度较快,并能通过运动补偿排除由摄像机运动造成的伪运动区域的干扰.     

稳健的预分析多直线全局运动估计方法

本文提出了RTSG图像预分析和多直线全局运动估计方法,该方法首先根据光流场方程得到RTSG图像,并对RTSG图像进行预分析以去除图像中的外点和确定全局运动模型,然后提取多个直线特征元,利用直线特征元估计局部运动参数,最后用局部运动参数和与之相关的权值进行全局运动估计。     

基于MPEG的全局运动估计技术

提出了一种基于MPEG（moving Picture experts group)的全局运动估计技术;利用四参数模型来描述由摄像机运动带来的全局运动,再利用基于块匹配的算法来求解4个参数,进而作相应的运动补偿,由于MPEG视频流中的运动矢量蕴含了最优块匹配的信息,所以不需要对MPEG视频流完全解码,即可进行参数估计,实验证明该算法速度较快,并能通过运动补偿排除由摄像机运动造成的伪运动区域的干扰。     

基于子块运动补偿的运动目标检测

鱼眼相机成像视角大,获得信息丰富,在车载应用中具有广阔应用前景.本文提出了一种适用于移动单目鱼眼相机的运动目标检测方法.首先,提出一种子块运动补偿模型补偿图像背景运动,解决了现有运动补偿模型对强视差背景补偿效果不好的问题.其次,在子块运动补偿模型参数求解时,通过引入自车运动参数简化模型参数个数,并结合直接方法求解,避免了传统基于特征点匹配方法求解参数时易受误匹配特征点影响的问题.然后,针对鱼眼相机的成像形变问题,本文提出了一种三平面校正方法获取鱼眼图像的子块运动补偿图像.最后,利用鱼眼图像的子块运动补偿图像和真实拍摄图像的差异信息实现运动目标检测.多种测试场景下的实验结果表明了本文方法的有效性.     

一种改进的DCT/小波包三维压缩方法

对一种结合运动补偿的离散余弦变换(DCT)小波包的三维压缩方法进行了改进。变换前,使用6参数仿射运动模型的全局运动估计和补偿,消除了由于摄像机运动引起的背景变化所造成的影响;场景探测结合了人眼视觉系统(HVS)的特性,更有效地克服了场景改变带来的不利影响。计算机模拟证明了这种方法的有效性,压缩比达到90：1,平均信噪比达到33．79dB。     

基于全局运动补偿编码的AVS编码器设计

对全局运动估计算法进行了改进的基础上,提出了基于全局运动补偿编码的编码体系,并实现了基于全局运动补偿编码的AVS编码器。通过标准测试序列的测试表明,基于全局运动补偿的编码器可以使重建图像的质量有一定程度的提高。     

基于联合相机路径的红外视频稳像算法

针对由于视差变化而导致的红外视频稳像技术难题,文中提出了一种基于联合相机路径的红外视频稳像算法,该算法主要包括:预处理、联合相机路径求解、多路径优化、运动补偿四个步骤。首先,要对红外图像进行直方图均衡化、特征点提取和匹配处理、预映射。接着,要将每帧图像分为m×n个网格单元,利用基于网格的映射运动表征,将每一帧中对应网格得到的局部单应性矩阵进行相乘得到联合相机路径。然后,对联合相机路径采用“多路径优化”策略进行平滑处理。最后,利用平滑后路径进行运动补偿稳定视频。实验结果表明,该方法能有效地处理由于视差而引起的非线性运动,相比传统的稳像算法效果更好,当特征点存在部分遮挡时,也能取得不错的稳像效果。     

UAV image stitching by estimating orthograph with RGB cameras

In the field of image stitching, cases with large camera optical center movement and large parallax have been the virgin territory of research. The goal of image stitching is to overcome the parallax and stitch a natural image. We look into this problem in the context of ultra-low altitude flight of a UAV. We model the 3D world in this scenario and quickly estimate orthographic projection by pairs of homography matrices. Our stitching method can achieve precise alignment since it takes parallax well into consideration. The stitching results are natural and the extra time consumed is short.     

采用光流估计的数字相机自动对焦算法

自动对焦技术对于数字相机至关重要，它是获取清晰图像的重要手段。针对复杂环境下多目标场景图像，提出了一种基于光流场估计的自动对焦算法。通过计算输入图像序列的光流场，对场景中的运动目标进行检测，根据目标运动属性准确判断出感兴趣目标。改进了Brenner清晰度评价方法，利用目标的二维边缘梯度信息建立评价函数，并且通过非线性增益提高评价函数的灵敏度，减小了噪声对评价值的影响。实验证明，该算法能够在主辅目标景深比达50倍的情况下分辨出感兴趣主目标，并在方差为0.02的随机噪声干扰下能有效地评价图像的清晰度；此算法将Brenner等评价函数的峰值稳定余量提高了1至4倍，对于不同图像具有良好的鲁棒性，易于硬件实现。     

Mosaic-based 3D scene representation and rendering

In this paper we address the problem of fusing images from many video cameras or a moving video camera. The captured images have obvious motion parallax, but they will be aligned and integrated into a few mosaics with a large field-of-view (FOV) that preserve 3D information. We have developed a compact geometric representation that can re-organize the original perspective images into a set of parallel projections with different oblique viewing angles. In addition to providing a wide field of view, mosaics with various oblique views well represent occlusion regions that cannot be seen in a usual nadir view. Stereo mosaic pairs can be formed from mosaics with different oblique viewing angles. This representation can be used as both an advanced interface for interactive 3D video and a pre-processing step for 3D reconstruction. A ray interpolation approach for generating the parallel-projection mosaics is presented, and efficient 3D scene/object rendering based on multiple parallel-projection mosaics is discussed. Several real-world examples are provided, with applications ranging from aerial video surveillance/environmental monitoring, ground mobile robot navigation, to under-vehicle inspection.     

太赫兹光场成像的深度估计方法与实验研究

在前期工作中,通过对太赫兹光场图像进行离散余弦变换(Discrete Cosine Transform,DCT)滤波和数字重聚焦,初步实现了图像去噪和前后景分割。为了进一步得到质量更高的太赫兹光场原数据并达到更加精确的深度分割效果,改进了实验方案及处理方法,并提出了一种基于极平面图像(Epipolar Plane Image,EPI)的太赫兹光场深度估计方法。在太赫兹图像特性的基础上,给出了深度与视差的关系,并利用局部视差和置信度构建了全局深度图,从而达到了深度估计的目的。最后,在实验中通过10×10的相机阵列采集太赫兹光场数据,得到了准确聚焦于不同平面的重聚焦结果和高分辨度的深度估计图,实现了太赫兹光场成像的深度估计。     

基于CCD图像处理的视度和视差自动检测系统

为了实现对视度和视差的客观检测,提高自动化检测程度,设计了一种基于CCD图像处理的视度和视差自动检测系统。对CCD视度和视差检测原理公式进行了推导,通过分析发现需要测量成像最清晰时CCD光敏面的位置。为此,构建了像面可调的CCD摄像系统和图像采集与处理系统,采用扫描求解图像像素灰度值梯度的方法,实现图像清晰度测量和边缘提取;同时利用视频图像清晰度峰值搜索法,通过控制电机带动CCD光敏面朝图像最大清晰位置运动,实现CCD摄像系统的自动对焦,并完成对成像最清晰时CCD光敏面位置的测量。最后通过对装备视度和视差实际检测,表明视度检测不确定度在0.15 D以内,视差不确定度在0.3分以内,与传统方法相比,检测结果客观准确,自动化程度得到了提高。     

复杂地面场景下的红外运动目标跟踪

复杂地面场景下的红外目标易受背景影响并经常出现遮挡情况,难以简单地依靠亮度或梯度信息检测并跟踪目标。根据复杂背景下红外运动目标与背景的速度场差异,提出了利用光流对目标进行跟踪的算法。首先对图像进行配准,保证在随动跟踪时背景的相对静止;然后在目标的跟踪波门内计算改进的Horn-Schunck 光流;最后根据目标的光流特征,优化粒子滤波算法中粒子的转移概率,实现对目标的稳健跟踪。实验结果表明,该跟踪算法能对复杂地面场景下的红外运动目标持续跟踪,并不受目标被短时遮挡的影响。     

Video orbits of the projective group a simple approach tofeatureless estimation of parameters

We present direct featureless methods for estimating the eight parameters of an "exact" projective (homographic) coordinate transformation to register pairs of images, together with the application of seamlessly combining a plurality of images of the same scene, resulting in a single image (or new image sequence) of greater resolution or spatial extent. The approach is "exact" for two cases of static scenes: (1) images taken from the same location of an arbitrary three-dimensional (3-D) scene, with a camera that is free to pan, tilt, rotate about its optical axis, and zoom, or (2) images of a flat scene taken from arbitrary locations. The featureless projective approach generalizes interframe camera motion estimation methods that have previously used a camera model (which lacks the degrees of freedom to "exactly" characterize such phenomena as camera pan and tilt) and/or which have relied upon finding points of correspondence between the image frames. The featureless projective approach, which operates directly on the image pixels, is shown to be superior in accuracy and the ability to enhance the resolution. The proposed methods work well on image data collected from both good-quality and poor-quality video under a wide variety of conditions (sunny, cloudy, day, night). These new fully automatic methods are also shown to be robust to deviations from the assumptions of static scene and no parallax.