Bayer阵列图像去马赛克算法综述

Bayer阵列图像去马赛克技术是对稀疏采样的Bayer阵列图像进行RGB信息重建,图像重建质量是成像设备评价的重要因素之一,同时也对其他计算机视觉任务(如图像分割、人脸识别)产生影响。随着深度学习方法的快速发展,图像去马赛克领域提出了多种高性能算法。为了便于研究者更全面了解图像去马赛克算法的原理和研究进展,本文对该领域的经典算法和深度学习算法进行综述。首先对Bayer采样阵列原理和图像去马赛克技术进行概述。然后将现有方法分为传统方法和基于深度学习方法两类进行总结,同时根据去马赛克任务是否具有独立性,将深度学习方法分为独立去马赛克任务和联合去马赛克任务两类,分析不同方法的原理和优缺点,重点阐述基于深度学习的去马赛克方法的网络结构和重建机理,介绍去马赛克领域常用的公共数据集和性能评价指标,并对图像去马赛克相关实验进行分析对比。最后,围绕网络深度、运算效率和实用性等方面分析了现阶段图像去马赛克技术面临的挑战及未来发展方向。目前,基于深度学习的图像去马赛克方法已成为主流发展方向,但仍然存在计算成本较高、实际应用性不强等问题。因此,如何开发出重建精度高、处理时间短以及实用性强的图像去马赛克方法,是该领域未来重要的研究方向。     

基于FPGA的高分辨率彩色实时成像系统设计

为了从单片Bayer格式图像探测器中获取更高分辨率实时彩色图像,设计了一套基于FPGA硬件的彩色图像实时采集系统.重点研究了影响彩色图像质量的Bayer格式图像去马赛克放大算法,该算法首先估计原始Bayer格式图像中丢失的绿色通道信息;然后计算颜色差R-G和B-G;接着将梯度方法用于确定丢失的绿色像素,放大绿色通道;最后,放大颜色差值图像R-G和B-G,再结合放大的绿色通道,便可恢复出红色和蓝色通道信息,得到放大全彩色图像.为了减少数据量,设计了基于FPGA的JPEG压缩功能,同时设计了千兆以太网(GigE)图像传输机制,使系统数据吞吐率大大提高.试验数据表明,在分辨率为2 352 × 1 728、帧频为20 f/s的情况下,可以实时输出全彩色放大图像.目前,系统已经工程应用,其优异表现满足了项目实际需要.     

彩色图像去马赛克的非局部稀疏表示方法

目前,大部分彩色去马赛克（Color DeMosaicking,CDM）算法仅利用了局部的空间和光谱相关性,容易导致CDM复原图像边缘模糊以及细小结构丢失.当图像中出现周期性细小结构时,这些局部方法容易产生诸如锯齿、栅格等失真现象.针对这些问题,我们将字典学习和稀疏编码统一到一个变分框架中,提出了非局部自适应稀疏表示模型.通过非局部相似块聚类自适应地在线学习字典.利用局部和非局部的冗余信息对稀疏编码进行约束,强制稀疏编码靠近其非局部均值以减少编码误差.为了有效抑制服从重尾分布的CDM误差,设计了基于l₁范数的数据项.最后,联合交替最小化方法和算子分裂技巧对模型进行有效求解.实验结果验证了本文模型与数值算法的有效性.     

Low‐cost solution to on‐line color filter array demosaicking

The article introduces a low‐cost algorithm for improving the demosaicking process in the texture areas such as one‐pixel patterns. The algorithm first detects difficult texture regions. After the detection process is completed, the algorithm demosaicks the texture areas using special demosaicking operations whereas non‐texture regions are restored using some of the existing demosaicking approaches. In this way, the quality of the texture areas in demosaicked images can be improved up to 70% while only little increasing the computational complexity of the original demosaicking solution. © 2007 Wiley Periodicals, Inc. Int J Imaging Syst Technol, 17, 232–243, 2007     

Context-aware joint dictionary learning for color image demosaicking

Most digital cameras are overlaid with color filter arrays (CFA) on their electronic sensors, and thus only one particular color value would be captured at every pixel location. When producing the output image, one needs to recover the full color image from such incomplete color samples, and this process is known as demosaicking. In this paper, we propose a novel context-constrained demosaicking algorithm via sparse-representation based joint dictionary learning. Given a single mosaicked image with incomplete color samples, we perform color and texture constrained image segmentation and learn a dictionary with different context categories. A joint sparse representation is employed on different image components for predicting the missing color information in the resulting high-resolution image. During the dictionary learning and sparse coding processes, we advocate a locality constraint in our algorithm, which allows us to locate most relevant image data and thus achieve improved demosaicking performance. Experimental results show that the proposed method outperforms several existing or state-of-the-art techniques in terms of both subjective and objective evaluations.     

改进的联合去马赛克与放大算法及其硬件实现

为了从单CCD/CMOS图像探测器相机拍摄的Bayer 格式图像恢复出更高分辨率全彩色图像, 设计了一种改进的联合去马赛克与放大算法。首先,估计原始Bayer格式图像中丢失的绿色 通道信息, 根据颜色梯度的比较结果,将水平或垂直方向的绿色通道信息作为彩色图像的 G分量,并根据彩色图 像颜色通道之间高度相关的特性,计算颜色差R-G 和B-G;然后,将去马赛克过程中的梯度方法继续用于确定丢失的绿色像素,放大绿色通道 ;最后, 对颜色差值图像R-G和B-G进行放大,即可恢复出红色和蓝色通道 信息,得到放大的全彩色图 像。试验结果表明,算法恢复出的高分辨率彩色图像的峰值信噪比(PSNR)有较明显提 升,且主观目视清晰、边缘锐 利,特别是硬件实现方面能够做到实时处理。目前,本文算法已经在Xilinx公 司的FPGA上实现,并用于工程实践。满足了项目实际需要。     

基于多梯度的区域自适应去马赛克算法*

针对Bayer格式的彩色滤波阵列,鉴于传统去马赛克算法存在图像纹理和边缘模糊的现象,提出了一种基于多梯度的区域自适应去马赛克算法.该算法利用区域水平和垂直方向的梯度组算子来判断区域平滑程度和插值方向,从而有效地恢复绿色分量,同时根据色度差恒定原理来还原另外两个丢失的颜色信息.实验结果显示,相对于传统插值算法提高了图像的峰值信噪比,锐化了图像的纹理和边缘,改善了图像的视觉质量.     

Probability-based reversible image authentication scheme for image demosaicking

In this paper, we propose a novel image authentication scheme to detect the tampered areas for image demosaicking with the reversibility preserving property. Image demosaicking is the process of reconstructing an RGB color image from the sampled data acquired by the digital camera that applies a color filter array to a single sensor. In the proposed scheme, the authentication data is embedded into the rebuilt components of the demosaicked pixels.From the results, it is shown that good image qualities of the embedded images are obtained by using the proposed scheme. When the illegal users modified the contents of the embedded images, the tampered areas in the modified images can be clearly detected by using the proposed scheme. The demosaicked images can be losslessly recovered if no modifications are done on the embedded images. The proposed authentication codes embedding process can be implemented by hardware in single sensor digital camera. Furthermore, the proposed scheme can be extended to protect the image integrity for cloud computing environments.     

基于 FPGA 的彩色图像实时采集系统设计

为了从单片Bayer格式图像探测器获取高质量实时彩色图像,研究并设计了一套基于FPGA硬件的彩色图像实时采集系统。介绍了针对MT9M011图像探测器的寄存器配置时序的设计。重点研究了影响彩色图像质量的Bayer格式图像去马赛克算法,该算法首先对Bayer格式原图进行二阶拉普拉斯修正,利用色差和梯度关系确定丢失的绿色分量,再结合给定像素周围的4个色差进行插值计算,分别得到丢失的红色分量和蓝色分量,从而完成彩色图像的恢复。设计了基于千兆以太网(GigE)的图像传输机制,使系统数据吞吐率大大提高。实验数据表明,系统插值算法在峰值信噪比(PSNR)方面相比双线性插值,R、G、B三通道均提高约15dB左右,图像目视细节丰富,伪彩色得到有效抑制;在分辨率为1 280×1 024、帧频为15f/s的情况下,可以实时输出全彩色图像。目前,系统已经工程应用,其优异表现满足了项目实际需要。