单幅图像多尺度小波深度提取算法

针对浅景深图像中平滑前景区域深度提取误差大的问题,基于像素点分类思想对深度值进行修正,提出一种基于多尺度小波线索的、可同时面向单幅浅景深图像和广角图像的深度图提取算法.首先使用小波分析法在多个尺度下提取图像深度信息;然后提出自适应分类法并根据尺度与深度变化规律对像素点做深度修正,得到深度图;最后结合区域生长与边缘分割算法对深度图进行区域优化.为了加快深度计算,还提出了快速zerocount法以及多尺度加速法来满足标清视频实时处理要求.实验结果证明,采用文中算法获得的深度图相对深度正确,前景和背景区域深度一致性好.     

一种基于智能场景分析的2D转3D视频时分算法

2D转3D视频的快速实现算法主要有时分法和位移法。对时分法的原理和缺陷进行了分析,在此基础上提出了一种新的基于场景特征的时分算法,它能更好地3D化平面视频。该算法利用了基于视频帧图像的颜色信息和运动矢量信息对视频进行自动分割的方法,根据视频段场景特征自适应选择左右眼最佳配对帧方法,以及通过视频段运动矢量信息来调整左右眼对应帧和补帧的方法来改进处理和立体化视频。对合成立体视频的立体显示实验分析证明改进方法有效地改善了合成立体视频的质量。     

用于立体视频会议系统的立体对象分割与跟踪算法

基于对象的立体视频编码压缩技术能在立体视频会议系统中得到很好的应用，从立体视频信号中正确分割出立体视频对象是基于对象的立体视频编码压缩的一个前提条件，基于立体视频会议图像序列的时空特性和左右通道间的视差特性，提出了一种立体视频对象分割与跟踪算法，首先利用空域分割和运动检测相结合的方法，提取左通道中的运动物体；然后，提出一种左右通道间基于边缘轮廓的二级视差匹配算法，并根据已分割的左通道运动对象提取右通道的视频运动对象；最后利用对象边界轮廓的跟踪方法对后续图像中的运动对象进行快速跟踪，实验结果说明文中算法能够应用于立体视频会议图像序列的立体对象分割与跟踪。     

基于深度图的3D-HEVC鲁棒视频水印算法

针对多视点加深度格式的3D视频中深度图鲁棒性不足的问题,提出了一种基于深度图的3D鲁棒视频水印算法。首先,将深度图不重叠的划分为4×4大小的块,计算每一块像素域的均方差,并设置一个阈值来区分纹理块和平坦块;其次,对纹理块计算区域块的能量值,根据计算的能量值设置一个阈值来选择性嵌入水印比特位;最后,获取每个块变换量化后的DC系数,根据获取的DC系数值构造3×3的可逆矩阵,对可逆矩阵进行QR分解,将水印嵌入在分解后的Q矩阵中。所提算法保证了平均峰值信噪比不变,且不同量化参数（QP）值（25、30、35、40）的重编码攻击下的平均误码率为14.9%。从测试的结果来看,该算法具有较好鲁棒性和嵌入容量,同时对视频的质量影响很小。     

基于Quaternion-Gabor小波运动估计的深度图获取技术

深度图是“二维视频+深度图”格式3D显示器的关键技术所在。在对四元数及Gabor滤波器进行研究的基础上提出了基于Quaternion-Gabor小波运动估计的深度图获取技术。通过计算普通视频运动图像的全局运动向量,估计出图像背景运动模型,获得图像运动场,最后分离出图像的前景与背景,从而得到图像的深度图。将普通的Gabor滤波器扩展到Quaternion-Gabor滤波器,不仅把图像变换到频率域获得额外的信息,而且可以对每个像素的RGB分别独立滤波。实验结果表明,使用Quaternion-Gabor小波运动估计方法得到的深度图变化很平滑,边缘更突出。     

一种有效的基于时空联合的视频对象自动分割新算法

针对具有复杂背景的视频序列中运动物体的分割问题,在利用Canny算法将空间边缘信息结合到基于变化的分割技术的基础上,提出在预处理阶段对视频序列的灰度图进行局部对比度增强处理,以增加前景物体与背景对比度的观点,首先解决了许多视频分割算法都存在的对比度较低带来的分割困难问题,同时通过设计3×3模板的滤波器来滤除对比度增强之后引入的少量噪声;然后针对复杂背景的情况,设计了一种视频对象自动分割新算法,该算法利用随机信号的统计特性累计得到算法所需的背景来实现背景信息的自动获取;最后利用背景累积过程中分类讨论的观点,解决了物体停止运动时间较长时造成分割丢失的问题。实验结果表明,该算法可以有效地将运动物体从视频序列中自动地分割出来。     

基于场景对象注意与深度图融合的深度估计

现有单目深度估计算法主要从单幅图像中获取立体信息,存在相邻深度边缘细节模糊、明显的对象缺失问题。提出一种基于场景对象注意机制与加权深度图融合的单目深度估计算法。通过特征矩阵相乘的方式计算特征图任意两个位置之间的相似特征向量,以快速捕获长距离依赖关系,增强用于估计相似深度区域的上下文信息,从而解决自然场景中对象深度信息不完整的问题。基于多尺度特征图融合的优点,设计加权深度图融合模块,为具有不同深度信息的多视觉粒度的深度图赋予不同的权值并进行融合,融合后的深度图包含深度信息和丰富的场景对象信息,有效地解决细节模糊问题。在KITTI数据集上的实验结果表明,该算法对目标图像预估时σ<1.25的准确率为0.879,绝对相对误差、平方相对误差和对数均方根误差分别为0.110、0.765和0.185,预测得到的深度图具有更加完整的场景对象轮廓和精确的深度信息。     

遮挡场景的光场图像深度估计方法

光场相机通过单次拍摄可获取立体空间中的4维光场数据,利用光场的多视角特性可从中提取全光场图像的深度信息.然而,现有深度估计方法很少考虑场景中存在遮挡的情况,当场景中有遮挡时,提取深度信息的精度会明显降低.对此,提出一种新的基于多线索融合的光场图像深度提取方法以获取高精度的深度信息.首先分别利用自适应散焦算法和自适应匹配算法提取场景的深度信息;然后用峰值比作为置信以加权融合两种算法获取的深度;最后,用具有结构一致性的交互结构联合滤波器对融合深度图进行滤波,得到高精度深度图.合成数据集和真实数据集的实验结果表明,与其他先进算法相比,所提出的算法获取的深度图精度更高、噪声更少、图像边缘保持效果更好.     

多模态特征融合的视频记忆度预测

随着网络视频的爆炸式增长,视频记忆度成为热点研究方向。视频记忆度是衡量一个视频令人难忘的程度指标,设计自动预测视频记忆度的计算模型有广泛的应用和前景。当前对视频记忆度预测的研究多集中于普遍的视觉特征或语义因素,没有考虑深度特征对视频记忆度的影响。着重探索了视频的深度特征,在视频预处理后利用现有的深度估计模型提取深度图,将视频原始图像和深度图一起输入预训练的ResNet152网络来提取深度特征;使用TF-IDF算法提取视频的语义特征,并对视频记忆度有影响的单词赋予不同的权重;将深度特征、语义特征和从视频内容中提取的C3D时空特征进行后期融合,提出了一个融合多模态的视频记忆度预测模型。在MediaEval 2019会议提供的大型公开数据集（VideoMem）上进行实验,在视频的短期记忆度预测任务中达到了0.545（长期记忆度预测任务：0.240）的Spearman相关性,证明了该模型的有效性。     

纹理边缘引导的深度图像超分辨率重建

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像,但由于内部硬件的限制和外界因素的干扰,获取的深度图像存在分辨率低、边缘不准确的问题,无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样,并提取初始化深度图像的边缘;进一步利用高分辨率彩色图像和深度图像的相似性,采用基于结构化学习的边缘检测方法提取深度图的正确边缘;最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域,采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验,与8种最新的深度图像超分辨率重建算法作比较,用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时,能有效修正上采样后深度图像的边缘,使深度边缘与纹理边缘对齐,也能抑制上采样算法带来的边缘模糊现象;3维点云效果显示,本文算法能准确区分场景中的前景和背景,应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题,该算法结合同场景彩色图像与深度图像的相似性,利用纹理边缘引导深度图像的超分辨率重建,可以得到较好的重建结果。     

多角度融合的RGB-D显著检测

显著检测是计算机视觉的重要组成部分,但大部分的显著检测工作着重于2D图像的分析,并不能很好地应用于RGB-D图片的显著检测。受互补的显著关系在2D图像检测中取得的优越效果的启发,并考虑RGB-D图像包含的深度特征,提出多角度融合的RGB-D显著检测方法。此方法主要包括三个部分,首先,构建颜色深度特征融合的图模型,为显著计算提供准确的相似度关系;其次,利用区域的紧密度进行全局和局部融合的显著计算,得到相对准确的初步显著图;最后,利用边界连接权重和流形排序进行背景和前景融合的显著优化,得到均匀平滑的最终显著图。在RGBD1000数据集上的实验对比显示,所提出的方法超越了当前流行的方法,表明多个角度互补关系的融合能够有效提高显著检测的准确率。     

基于双目视觉的三维重构算法实现

基于Altera DE1 SOC开发平台,选用OV7725互补金属氧化物半导体(CMOS)摄像头组进行图像采集,经现场可编程门阵列(FPGA)预处理后由视频图形阵列(VGA)显示器显示.基于双目视觉的三维场景重构算法包含图像预处理、多线程加速立体匹配以及AD-Census匹配,采用了Verilog HDL和统一计算设备架构(CUDA)编程实现.实验结果表明:系统实现了以7帧/s速度计算640像素×480像素大小的深度图;并且可以将以1.8°为间隔的150幅深度图转换为点云,重构出270°左右视野内的三维场景.     

基于背景感知相关滤波的深度提取跟踪算法研究

背景感知相关滤波算法将目标背景和前景一起建模[1],利用包含背景信息的负样本进行训练,得到高鲁棒性核相关滤波器,实现跟踪目标与背景的分离。这种单目实现的相关滤波跟踪算法能够做到实时跟踪,却以丢失深度为代价。本文提出了一种将双目立体视觉深度提取与基于单目的背景感知相关滤波相结合的算法,该算法在做到实时跟踪的同时,能够对视频序列中的若干帧利用改进的双目立体匹配SGM算法得到视差图,反馈出跟踪目标的深度信息。实验结果表明该算法具备实时性,且三维坐标定位准确。     

Multilayer background modeling under occlusions

A multilayer background modeling technique is presented for video surveillance. Rather than simply classifying all features in a scene as either dynamically moving foreground or long-lasting, stationary background, a temporal model is used to place each scene object in time relative to each other. Foreground objects that become stationary are registered as layers on top of the background layer. In this process of layer formation, the algorithm deals with ”fake objects” created by moved background, and noise created by dynamic background and moving foreground objects. Objects that leave the scene are removed based on the occlusion reasoning among layers. The technique allows us to understand and visualize a scene with multiple objects entering, leaving, and occluding each other at different points in time. This scene understanding leads to a richer representation of temporal scene events than traditional foreground/background segmentation. The technique builds on a low-cost background modeling technique that makes it suitable for embedded, real-time platforms.     

一种基于立体视觉的运动目标检测算法

在目标检测中采用立体视觉方法。首先对立体图像对进行匹配求取场景的视差图，再运用基于视差的背景差分法获得含有运动目标的前景区域，最后根据前景区域的视差和位置分布准确定位各运动目标。立体视觉方法有效解决了单目视觉检测方法中的一些难点问题，可以克服光线的变化和阴影干扰对目标检测带来的影响，在多个目标发生部分遮挡时仍能正确区分各运动目标。     

立体视频对象分割及其三维重建算法研究*

为更加有效分析立体视频对象,本文提出了一种基于离散冗余小波变换的立体视频对象分割算法,首先采用离散冗余小波变换提取特征点结合DT网格技术的视差估计方法,获得了可靠的视差场,再利用视差信息对立体视频中静止对象进行分割。对于立体视频序列中的运动对象,采用离散冗余小波提取运动区域的方法进行分割。实验结果表明,本算法对有重叠的多视频对象具有较好的分割效果,可同时分割静止物体和运动物体,具有较好的精确性和鲁棒性。对于分割出的立体视频对象,结合深度信息对其进行三维重建,得到较好的三维效果。     

Multi-object segmentation by stereo mismatch

A new stereo mismatch based foreground object segmentation method is described. It efficiently locates objects over a wide range of depths against backgrounds of known 3D geometry, even in the presence of rapidly changing lighting and dynamic textures, such as projected video. Not relying on full stereo reconstruction, it is fast enough in software for some real-time applications, robust to camera quality, and requires little parameter tuning. Experimental results validate the approach, demonstrating its ability to simultaneously distinguish multiple objects in a complex scene, even when close together or partially occluded.     

A LSS-based registration of stereo thermal–visible videos of multiple people using belief propagation

In this paper, we propose a novel stereo method for registering foreground objects in a pair of thermal and visible videos of close-range scenes. In our stereo matching, we use Local Self-Similarity (LSS) as similarity metric between thermal and visible images. In order to accurately assign disparities to depth discontinuities and occluded Region Of Interest (ROI), we have integrated color and motion cues as soft constraints in an energy minimization framework. The optimal disparity map is approximated for image ROIs using a Belief Propagation (BP) algorithm. We tested our registration method on several challenging close-range indoor video frames of multiple people at different depths, with different clothing, and different poses. We show that our global optimization algorithm significantly outperforms the existing state-of-the art method, especially for disparity assignment of occluded people at different depth in close-range surveillance scenes and for relatively large camera baseline.     

增强现实中基于轮廓深度恢复的虚实遮挡方法研究

针对增强现实系统中的虚实场景遮挡问题,提出一种基于立体视觉与前景轮廓深度重建的虚实遮挡恢复新方法.首先设计了一种基于色彩与亮度相结合的前景物体轮廓提取方法,以避免阴影对轮廓提取所造成的负面影响,系统随后利用立体视觉原理与插值技术恢复出前景轮廓以及轮廓内部的深度信息,为恢复虚拟与真实场景之间的正确遮挡关系提供依据.实验结...