双LSTM的光场图像去雨算法研究

单张图像去雨由于有限的输入信息,会严重影响去雨效果。光场图像不同于普通2D图像,能够记录三维场景的丰富结构信息。针对此类问题并且利用光场图像特点,提出一种基于双LSTM神经网络的光场图像去雨算法。提出的神经网络包括雨条纹检测网络（Rain Streaks Detecting Network,RSDNet）和背景修复网络（Background Restoring Network,BRNet）。所提算法主要包含三个步骤。使用匹配成本量最优化方法计算光场图像子视点的深度图;利用RSDNet提取雨条纹,并利用LSTM结构将雨条纹高频信息传递给BRNet;借助BRNet网络修复背景图像得到无雨子视点图像。为了训练和测试所提算法,构建了一个由真实背景场景光场图像和雨图像合成的有雨图像光场数据集。充分的实验结果表明,提出的算法能够有效地修复光场图像。     

利用条件生成对抗网络的光场图像重聚焦

目的 传统的基于子视点叠加的重聚焦算法混叠现象严重,基于光场图像重构的重聚焦方法计算量太大,性能提升困难。为此,本文借助深度神经网络设计和实现了一种基于条件生成对抗网络的新颖高效的端到端光场图像重聚焦算法。方法 首先以光场图像为输入计算视差图,并从视差图中计算出所需的弥散圆(circle of confusion,COC)图像,然后根据COC图像对光场中心子视点图像进行散焦渲染,最终生成对焦平面和景深与COC图像相对应的重聚焦图像。结果 所提算法在提出的仿真数据集和真实数据集上与相关算法进行评价比较,证明了所提算法能够生成高质量的重聚焦图像。使用峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)进行定量分析的结果显示,本文算法比传统重聚焦算法平均PSNR提升了1.82 d B,平均SSIM提升了0.02,比同样使用COC图像并借助各向异性滤波的算法平均PSNR提升了7.92 d B,平均SSIM提升了0.08。结论 本文算法能够依据图像重聚焦和景深控制要求,生成输入光场图像的视差图,进而生成对...