基于视点图像与EPI特征融合的光场超分辨率

光场（Light Field, LF）成像能同时捕获场景中光线的空间信息和角度信息,应用广泛。然而,它的分辨率受到成像设备硬件以及空间和角度分辨率之间制衡的限制。过低的空间分辨率严重影响了光场图像的质量及其应用。因此,本文充分利用光场特性增强图像细节,提出一种基于视点图像（Viewpoint Image, VI）和极平面图像（Epipolar Plane Image, EPI）特征融合的端到端光场超分辨率方法,能够同时超分辨率所有视点图像。本方法将低分辨率光场图像按照水平和垂直EPI方向堆叠排列,利用三维视点图像堆栈中包含EPI信息的特点,采用双分支结构的3D递减卷积网络处理输入的四维光场数据。这样能够同时对视点图像和EPI信息进行特征提取和融合,充分探索光场的纹理信息及几何一致性。在真实和合成光场数据集上的实验结果均表明,该方法相比现有主流方法不仅在客观指标上具有更好的表现,主观质量上也能保持更好的几何一致性,同时还具有更少的模型参数和更快的执行速度。      

基于点云迁移的人体点云位置及颜色补全

由于三维扫描设备获取的点云存在目标遮挡、设备视角等问题,致使点云有所缺失。点云补全是为下游任务进行点云预处理的重要工作。然而现有的点云补全工作集中在对简单物体的补全上,缺乏对较复杂人体点云补全的研究。为将点云补全任务引入下游人体重建相关任务中,本文提出了一种由粗到精的人体点云预测方法,对人体位置及颜色缺失信息补全。通过创建具有精细服饰纹理的人体点云数据集,采用点云迁移的网络结构,充分利用点云全局粗糙信息,结合多层网络预测完整点云,优化了上采样方案;然后,在上采样后的点云上进行了颜色补全,通过部分点云颜色信息进行特征值扩散和提取;最后,通过一个多层感知机进行颜色预测。在人体数据集上的实验结果表明,该方法相比现有主流方法不仅在客观指标上具有更好的表现,主观质量上也能保证获得更加完整、边缘清晰的点云。