融合空间和角度特征的光场图像超分辨率方法

针对光场图像空间分辨率不足的问题,提出一种融合空间和角度特征的光场图像超分辨率方法,能够同时超分辨率所有子孔径图像。算法主要由特征提取模块、特征融合模块和重建模块组成。首先,通过特征提取模块提取低分辨率光场中每个视图的2D空间纹理特征;然后,采用特征融合模块将提取到的空间纹理特征和几何角度特征进行融合,并经过多层空间角度二维卷积后得到4D光场结构特征;最后,利用重建模块将融合后的光场特征信息进行上采样,重建出高分辨率的光场子孔径图像阵列。采用4组真实/合成光场图像数据集进行测试,结果表明,与现有五种方法相比,所提方法重建图像的平均峰值信噪比、结构相似性比次优算法分别提高了2.99 dB和0.11%,图像边缘轮廓清晰。在有效提升光场图像空间分辨率的同时,所用网络参数量少、计算效率高。     

光电成像中不同形状编码孔径的解码比较

在X光成像中，编码孔径成像是一种两步成像过程，第一步是编码过程，利用编码孔径收集目标的图像；第二步是解码过程，对编码图像进行滤波和重建，以便获得高分辨率的可视目标像。而编码孔径主要有两种，一种是根据各孔径的形状分类；另一种是根据各子孔径在孔径平面的空间分布分类。解码过程中用的方法是维纳(Wiener)滤波。维纳滤波算法能够以很低的计算代价获得较好的复原效果。在简述孔径编码成像技术的原理和发展的基础上，提出在光电成像中利用编码孔径成像及图像恢复处理方法。对不同形状孔径进行编码解码处理，通过比较选择出最佳的孔径形状。并通过实验表明，利用该编码孔径成像可以在保证高分辨率的情况下，具有较高的集光效率和信噪比，成像效果很好。     

基于光场结构特性与多视点匹配的深度估计

针对现有光场图像深度估计技术无法均衡地对主要对象和背景进行深度估计的问题,提出了一种基于光场结构特性与多视点匹配的深度估计方法。该方法在光场结构特性引导的深度估计的基础上,为了实现光场图像深度变化区域的平滑过渡,同时又考虑光场图像具有多视点子孔径图像阵列的特点,采用多视点匹配优化光场图像深度估计。在马尔可夫随机域中,基于光场结构特性构建深度估计平滑项,同时联合多视点匹配构建深度估计数据项,并进行全局深度迭代优化,从而有效平衡对象深度边界和背景深度估计,提高光场图像深度估计的性能。实验结果表明,所提出的方法能够得到更加清晰的深度边界,同时可以修正背景中不准确的深度值,获得高质量的深度估计结果。     

基于视点相关性的光场图像压缩算法

为了探索虚拟绘制视点之间的强相关性, 提高光场图像的压缩效率, 提出一种基于视点相关性的光场图像压缩算法。该算法基于高清视频编码屏幕内容编码扩展平台, 利用线性加权算法以及帧内块拷贝混合预测算法来提升编码块的预测精度; 并利用率失真优化过程来自适应地选择最优的编码块大小以及预测模式。结果表明, 所提算法相比于高清视频编码标准可以获得2.55dB的平均BD-峰值信噪比编码增益, 同时可以获得较好的虚拟视点绘制质量。该算法充分利用虚拟绘制视点之间的强相关性, 提高了光场图像的编码效率。     

高分辨率多视点动态全息3D显示

提出了一种高分辨率多视点动态全息3D显示方法,观看视点位置变化时,观看者能够看到连续变化的3D效果。在进行全息图计算时,首先根据针孔阵列投影模型,渲染3D动画中每一帧3D模型的光场图像序列;然后从已渲染的多组光场图像序列中抽取对应视角信息的光场图像进行融合,得到融合后的动态光场图像序列;在进行全息图编码时,以动态光场图像序列中的一帧图像作为物光振幅,以来自于针孔的发散球面波的相位作为物光相位,引入平面参考光进行编码,得到一个单元全息图。由于每个单元全息图的计算是相互独立的,因此在计算过程中使用并行加速计算,实现了尺寸为32 mm×32 mm、分辨率为100000 pixel×100000 pixel的高分辨率全息图,其光场图像融合和全息编码的时间仅需27 min。光学再现结果证明了该方法的可行性。所提出的高分辨率多视点动态全息3D显示方法在全息包装和3D广告等领域具有广泛的应用前景。     

一种基于不等纠错保护的图像传输方法

对噪声信道上的图像传输方法进行了研究,提出了一种新的基于不等纠错保护的图像传输方法,该方法在编码端利用纠错算术码对SPIHT码流进行不等纠错保护,根据SPIHT码流各个不同重要程度的部分采用不同禁用区间的纠错算术码进行不同程度的差错保护,相比传统的基于不等纠错保护图像传输方法而言,可获得近似连续可变的编码码率;在解码端,采用堆栈序列估计算法进行信道估计后再进行SPIHT解码,重建图像.实验结果表明,与经典的Guionnet不等纠错保护传输方法以及分离编码传输方法相比,所提出的传输方法具有较为明显的性能增益.     

3D多视点立体显示及其关键技术

作为基于 DTV/HDTV 的二维(2D)显示之后的下一代视频显示技术,三维(3D)多视点立体显示已成为国际上的研究热点之一.为建立多视点立体显示系统,阐述了相关的关键技术,包括:光场表示模型和光场获取系统、高效的与现行视频标准兼容的多视点编码和传输方法、解码端任意位置视点的高效绘制方法、3D显示技术以及多视点自由立体显示.针对上述关键技术,分析了当前国际上的发展趋势及存在的问题,同时提出了一种基于交互式自由立体显示的 3D 视频处理系统的解决方案.     

Wyner-Ziv视频系统中解码算法研究

首先简要介绍了一种典型的分布式视频编码-Wyner-Ziv视频编码.然后对Wyner-Ziv视频编码中边信息进行理论分析,随后给出了基于加权MAD准则的边信息估计算法和基于先验概率约束的联合解码算法.实验仿真结果表明,采用本文解码优化策略,在编码端相同输出码率情况下,重建解码图像的PSNR比原始算法平均提高1.5dB.     

一种基于立体视邻接帧时空相关性的最小代价函数帧估计算法

为了在立体视频序列编码中获得高的压缩率,需要对立体视频序列中一个视的序列按传统方法进行独立编码;另一个视的序列中,只对其中一些参考帧(I帧或P帧)按视差补偿预测的方法进行编码,其余帧不进行编码和传输,而在解码端用立体视帧估计的方法得到重建.本文提出了一种基于立体视中邻接帧在图像、视差场和运动矢量场之间高度相关性的方法.对于因遮挡而缺乏估计的区域,则结合了图像强度的连续性和运动,视差矢量的分布特性,构造了代价方程并估计出该部分的运动矢量及强度值.实验证明,重建出来的帧图像在视觉和信噪比意义上均具有较好的效果.     

一种空间域Wyner-Ziv视频编码系统的性能改进算法

分布式视频编码是建立在Slepian-Wolf和Wyner-Ziv信息编码理论基础上的全新视频编码框架,具有编码复杂度低,编码效率较高,抗误码性能好的特点.本文首先简单介绍了一种典型的分布式视频编码实现方案——空间域Wyner-Ziv视频编码,随后提出一种空间域Wyner-Ziv视频编码系统的性能改进算法,该算法在不增加编码复杂度的基础上,在解码端利用双向运动估计预测获取更高质量的边信息,同时采用基于Huber-Markov随机场约束的联合迭代解码算法重建图像.实验结果表明,在相同的输出码流情况下,本文改进算法在解码端重建图像的峰值信噪比与空间域Wyner-Ziv视频编码算法相比平均提高2dB,并且主观效果有所改善.     

Multi-View Video Coding Based on Vector Estimation and Weighted Disparity Interpolation

Aiming at fully exploiting the temporal and spatial redundancy and answering the “Call for Proposals” for multi-view video coding (MVC) issued by MPEG, a MVC scheme based on vector field estimation and weighted disparity interpolation is presented. By extending the loop constraint to multi-view images for a parallel camera model and proposing the novel “vector field estimation” scheme, the temporal and spatial redundancy is significantly reduced. Also, weighted disparity interpolation is performed to predict adjacent disparity vectors. Experimental results over multi-view image sets imply that the coding efficiency is improved about 0.2–0.5 dB compared with previous coding approaches such as H.264/AVC simulcast and JMVM.     

TMSO-Net: Texture adaptive multi-scale observation for light field image depth estimation

Light field can record the four-dimensional information of light rays, i.e. the position and direction information in which depth information is implied. To improve the depth estimation accuracy, we propose a depth estimation algorithm based on convolutional neural network (CNN). First, a single image super resolution algorithm is adopted to spatially super resolve the sub-aperture images (SAIs). Second, to adapt the texture complexity, the SAIs are partitioned into two regions, i.e., simple texture region and complex texture region, based on the texture analysis of the central SAI. Third, the epipolar plane images (EPIs) in horizontal, vertical, 45 degree diagonal, and 135 degree diagonal directions for both complex and simple texture regions are extracted, and the corresponding EPIs for the simple and complex texture regions are fed into the specified network branches. Finally, a fusion module is designed to generate the depth map. Experimental results show that the quality of the estimated depth maps by the proposed method is better than the state-of-the-art methods in terms of both objective quality and subjective quality. Moreover, the proposed method is more robust to noise.     

一种基于CEMD和融合的多视点图像编码方法

该文提出了一种新的基于相邻视点融合的多视点图像编码方法,通过融合与拆分对非同源图像同时进行编码。编码时,原始图像经过CEMD(Complex Empirical Mode Decomposition)同步分解成2维的固有模态函数和余量图像并分别融合,再对融合图像进行基于EMD的压缩编码。解码时,将融合图像拆分,重构出原始图像。实验结果表明,该方法具有失真度小和压缩比高的优势,具有实践意义。     

基于虚拟曝光图像的立体高动态范围图像合成算法

本文提出基于多视点多曝光图像的立体高动态范围图像合成算法。首 先,考虑多视点多曝光 图像以及相机响应函数曲线的特性,提出一种虚拟曝光图像绘制算法,将不同曝光的图像绘 制到同一视点;然后, 为了使绘制曝光图像保留更多细节和结构,需要对绘制虚拟曝光图像进行空洞填补及边缘修 复,故引入了边缘差值 掩膜图,对图像边缘信息进行校正平滑处理;最后利用绘制的虚拟曝光图像合成立体高动态 范围图像。实验结果表 明,获得的绘制曝光图像与参考曝光视点图像之间的结构相似性高达0.99以上,且合成的 高动态范围图像质量高。     

基于虚拟双目的条纹结构光三维重建

为解决传统双目条纹结构光三维重建存在的同步性和成本高等问题,提出了基于虚拟双目的条纹结构光三维重建方法。采用单相机和两块双棱镜及投影仪设计了具有双目视觉功能的虚拟双目条纹结构光三维重建系统。通过双棱镜折射和分光改变被测对象表面反射光的路径,使用一个相机同时完成多视角的图像采集。通过多频外差法和立体匹配、双目标定得到被测对象的深度信息并重建点云。实验表明,文中提出的方法和真实双目结构光方法测量标准球的均方根误差分别为0.037 9 mm和0.030 5 mm。文中提出的方法可促进双目条纹结构光技术在快速、低成本、小型化等方面发展,同时该方法可推广到彩色相机条纹结构光三维重建及投影散斑结构光三维重建。     

Multi-view video coding with view interpolation prediction for 2D camera arrays

An efficient compression algorithm for multi-view video sequences, which are captured by two-dimensional (2D) camera arrays, is proposed in this work. First, we propose a novel prediction structure, called three-dimensional hierarchical B prediction (3DHBP), which can efficiently reduce horizontal inter-view redundancies, vertical inter-view redundancies, and temporal redundancies in multi-view videos. Second, we develop a view interpolation scheme based on the bilateral disparity estimation. The interpolation scheme yields high quality view frames by adapting disparity estimation and compensation procedures using the information in neighboring frames. Simulation results demonstrate that the proposed multi-view video coding algorithm provides significantly better rate–distortion (R–D) performance than the conventional algorithm, by employing the 3DHBP structure and using interpolated view frames as additional reference frames.     

基于3D ResNet-LSTM的多视角人体动作识别方法

在基于视频图像的动作识别中,由于固定视角相机所获取的不同动作视频存在视角差异,会造成识别准确率降低等问题。使用多视角视频图像是提高识别准确率的方法之一,提出基于三维残差网络（3D Residual Network,3D ResNet）和长短时记忆（Long Short-term Memory,LSTM）网络的多视角人体动作识别算法,通过3D ResNet学习各视角动作序列的融合时空特征,利用多层LSTM网络继续学习视频流中的长期活动序列表示并深度挖掘视频帧序列之间的时序信息。在NTU RGB+D 120数据集上的实验结果表明,该模型对多视角视频序列动作识别的准确率可达83.2%。     

Color correction algorithm based on camera characteristics for multi-view video coding

Various types of multi-view camera systems have been proposed for capturing three dimensional scenes. Yet, color distributions among multi-view images remain inconsistent in most cases, degrading multi-view video coding performance. In this paper, we propose a color correction algorithm based on the camera characteristics to effectively solve such a problem. Initially, we model camera characteristics and estimate their coefficients by means of correspondences between views. To consider occlusion in multi-view images, correspondences are extracted via feature-based matching. During coefficient estimation with nonlinear regression, we remove outliers in the extracted correspondences. Consecutively, we generate lookup tables for each camera using the model and estimated coefficients. Such tables are employed for fast color converting in the final color correction process. The experimental results show that our algorithm enhances coding efficiency with gains of up to 0.9 and 0.8 dB for luminance and chrominance components, respectively. Further, the method also improves subjective viewing quality and reduces color distance between views.     

基于多视角采样校正的大尺度多投影光场显示系统

提出了一种基于多视角采样校正的大尺度多投影光场三维显示系统,系统采用了360台投影仪环绕投影在直径3 m、高1.8 m的柱形各向异性散射屏上,并在柱形屏内部精确重构出物体的三维光场。该系统能在360范围内显示可供多人多角度同时观看的具有平滑运动视差的大尺度三维场景,其中动态场景的绘制帧率达30 frame/s及以上,具有流畅的动态效果。设计了一种宽场柱面屏幕投影镜头来扩展投影仪画幅,并设计了一种基于相机多角度采样的光场自动校正方法,用于校正宽场镜头引入的非线性畸变以及系统装配引入的误差,实现了对360台投影仪光场的拼接融合。     

A novel multi-view image coding scheme based on view-warping and 3D-DCT

Efficient compression of multi-view images and videos is an open and interesting research issue that has been attracting the attention of both academic and industrial world during the last years. The considerable amount of information produced by multi-camera acquisition systems requires effective coding algorithms in order to reduce the transmitted data while granting good visual quality in the reconstructed sequence. The classical approach of multi-view coding is based on an extension of the H.264/AVC standard, still based on motion prediction techniques. In this paper we present a novel approach that tries to fully exploit the redundancy between different views of the same scene considering both texture and geometry information. The proposed scheme replaces the motion prediction stage with a 3D warping procedure based on depth information. After the warping step, a joint 3D-DCT encoding of all the warped views is provided, taking advantage of the strong correlation among them. Finally, the transformed coefficients are conveniently quantized and entropy coded. Occluded regions are also taken into account with ad-hoc interpolation and coding strategies. Experimental results performed with a preliminary version of the proposed approach show that at low bitrates it outperforms the H.264 MVC coding scheme on both real and synthetic datasets. Performance at high bitrates are also satisfactory provided that accurate depth information is available.