基于张量优化的高动态范围微光相机设计与实现

针对空间低照度环境下,互补金属氧化物半导体(CMOS)相机成像视觉效果不佳的问题,基于张量优化的图像融合方法研制一款高动态范围的微光相机。分析基于科学互补金属氧化物半导体(sCMOS)图像传感器亮暗场双通道ADC的电路特性,利用同源双通道图像数据构建三阶特征张量,通过对特征张量的平行因子分析,以融合图像动态范围最优为评价函数,引入拉格朗日乘数法作为张量分解的优化算法,实现实时的高分辨力高动态范围成像。研制一款基于LTN4625的微光相机,并进行成像实验。仿真实验结果表明,相机实现了50帧/s,4 608×2 592像素的高分辨力高动态范围成像,图像动态范围从低增益数据的5.2 dB和高增益数据的11.4 dB提高到了54.7 dB。该设计是一种微弱光环境下动态响应范围高、成像效果好的微光相机设计方法。     

高动态科学级CMOS相机设计与成像分析

为了满足高动态范围高灵敏度的全局曝光模式下成像系统的需求,基于CIS-2521科学级CMOS图像传感器设计了一个相机系统,通过分析CIS-2521芯片像素读出结构特点,通过芯片内部模拟相关双采样与FPGA片内数字域相关双采样完成相关四采样算法,列向噪声去除效果明显。通过设计曲线拟合双增益通道图像数据合成输出,保证了系统成像有较高输出动态范围。相机常温下输出图像峰值信噪比达62.9dB,采用半导体制冷后输出图像峰值信噪比74.3dB。根据EMVA1288标准实测相机动态范围达到78.2dB,设计的相机系统实现了每秒50帧2 560×2 160像素,16bit深度高清晰度高动态范围图像的实时全局曝光成像输出,能够满足低照度条件下的高帧频高动态范围成像的需求。     

动态场景下深度自监督多曝光图像融合方法

近年来,面向动态场景的多曝光图像融合技术取得重大进展.其中,基于深度学习的方法在视觉效果和运算效率上都远超传统算法,成为高动态范围成像技术的主流.然而,现有基于深度学习的融合方法都以有监督学习的方式实现,过度依赖真值图像,难以被广泛应用于实际场景中.本文提出了一个基于深度自监督学习的动态多曝光图像融合网络,主要贡献包括：设计自监督的动态多曝光融合网络框架,探索高动态范围图像与低动态范围图像序列的内在关联;提出基于注意力机制的全局去伪影模块,使用全局文本模块减少动态融合产生的运动伪影,增强图像细节;提出融合重建模块,通过残差和稠密连接实现多层次特征之间的信息流动;设计运动掩膜引导的自监督损失函数,用于网络的高效训练.实验表明,与现有方法相比,本文提出的方法在高动态范围图像重建的主观和客观质量上均表现较好,运算效率显著提升.     

低照度宽幅航空相机系统设计

为了满足低照度环境下航空影像信息快速获取的需求,对一种低照度宽幅成像系统进行了研究。基于相机摆扫成像的工作模式,明确了采用大相对孔径低畸变的光学系统,配合真空制冷的低噪声高灵敏度CMOS探测器成像,并通过高速振镜进行扫描像移补偿的技术路线。详细阐述了相机机械构型的设计思路,总结了一套可工程应用的低照度成像能力计算方法。研究了振镜补偿像移的基本原理,并对相机主体框架进行了仿真分析计算。依据该设计和研究结果,完成了低照度宽幅航空相机的加工装配。该相机具有0.1 m （航高1 km）地面像元分辨率, 成像照度适应范围为10~100000 lx,并且在速高比≤0.04时,可实现3倍航高的大收容宽度。系统的成像质量优良,实测镜头在77 lp/mm时,中心视场传递函数大于0.45。实验室和外场飞行试验所获取的图像清晰,对比度和分辨率高,可以满足使用需求。同时,该相机实际包络尺寸为190 mm×140 mm×140 mm,质量仅为2800 g,具有轻小型的特点。     

一种适用于昼夜兼容CMOS图像传感器的动态范围拓展方法

为了提高CMOS图像传感器的动态范围并应用于昼夜兼容成像,提出了一种新的动态范围拓展方法。该方法在像素中设置多个复位屏障,以延长曝光过程中光电二极管的饱和时间,同时通过在不同成像环境中切换像素积分电容大小,提高微光成像时的响应灵敏度和强光成像时的满阱容量,从而实现昼夜兼容高动态成像。经MATLAB仿真证明,该方法可将传统CMOS图像传感器的动态范围从61 dB拓展到102 dB。     

用于低照度环境的CMOS图像传感器

设计低照度成像系统的工程师们已认识图像传感器在获取高质量图像方面对系统总性能的重要性。在选择一种图像传感器方法时,新的传感器选择对象使得人们必须懂得折衷,现在,一系列互补金属氧化物半导体（CMOS）图像传感器已向传统的电荷耦合器件（CCD）传感器提出挑战。为了给须在低照度条件下产生高质量图像的摄像机或者系统选择最好的传感器。系统的设计者对某些特性进行评估,这些特性不仅影响着图像的质量,同时也影响着系统的复杂和成本。决定优越性传器在低照度条件下获取图像的能力的主要属性包括暗电流、动态范围、噪声、占空因数、颜色灵敏度的不平衡、器件的集成、以及器件和有关系的成本。     

基于宽动态技术的室内视频监控研究

传统相机动态范围与真实场景动态范围之间的巨大差距导致成像时亮区与暗区细节的丢失。文中针对室内视频监控场景,提出了运用宽动态技术,基于多次曝光,通过软件方式拓展监控图像动态范围的思想。文中提出基于内容的多次曝光控制方法和基于YUV空间的多曝光合成算法。实验结果表明文中方法能够有效扩展动态范围,提高感兴趣区域的成像效果。     

基于虚拟曝光图像的立体高动态范围图像合成算法

本文提出基于多视点多曝光图像的立体高动态范围图像合成算法。首 先,考虑多视点多曝光 图像以及相机响应函数曲线的特性,提出一种虚拟曝光图像绘制算法,将不同曝光的图像绘 制到同一视点;然后, 为了使绘制曝光图像保留更多细节和结构,需要对绘制虚拟曝光图像进行空洞填补及边缘修 复,故引入了边缘差值 掩膜图,对图像边缘信息进行校正平滑处理;最后利用绘制的虚拟曝光图像合成立体高动态 范围图像。实验结果表 明,获得的绘制曝光图像与参考曝光视点图像之间的结构相似性高达0.99以上,且合成的 高动态范围图像质量高。     

采用深度学习与图像融合混合实现策略的低照度图像增强算法

提出了一种采用深度学习与图像融合混合实现策略的低照度图像增强算法.首先,利用照射分量预测模型直接基于输入的低照度图像快速地估计出其最佳照射分量并在Retinex模型框架下获得一张整体上适度曝光图像;其次,将低照度图像本身及它的过曝光图像作为适度曝光图像的修正补充图像参与融合;最后,采用局部结构化融合和色度加权融合机制技术将制备好的3张待融合图像进行融合以获得最终的增强图像.实验数据表明:本文算法相较于各种主流对比算法在主客观图像质量评价指标上均有显著优势,在局部图像结构细节上具有更好的边缘保持和颜色保真效果.     

低照度CMOS图像传感器设计与实现

设计了一种基于电容反馈跨阻放大器型（Capacitive Trans-impedance Amplifier,CTIA）像元电路与双采样（Delta Double Sampling,DDS）的低照度CMOS图像传感器系统。采用CTIA像元电路提供稳定的光电二极管偏置电压以及高注入效率,完成在低照度情况下对微弱信号的读取;同时采用数字DDS结构,通过在片外实现像元积分信号与复位信号的量化结果在数字域的减法,达到抑制CMOS图像传感器中固定图案噪声的目的,进一步提高低照度CIS的成像质量。基于0.35 m标准CMOS工艺对此基于CTIA像元电路的CMOS图像传感器芯片进行流片,像元阵列为256256,像元尺寸为16 m16 m。测试结果表明该低照度CMOS图像传感器系统可探测到0.05 lx光照条件下的信号。     

基于显著性检测的不同视角下红外与可见光图像融合

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别。现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限。针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法。通过预设热敏感目标,计算可见光与红外的视场转换模型,预先配准红外与可见光视场。使用Mask R-CNN网络提取红外图像中的行人目标显著性区域,根据视场转换模型点将每个目标区域与可见光图像局部融合。最后,通过违规入侵行为辨识为目标进行实验验证。实验表明,论文提出的融合方法能够有效地将红外图像的热敏目标信息与可见光的场景进行融合,可以准确地判断是否发生违规入侵行为。     

适于多种反射现象的光照估计方法

增强现实技术是将虚拟物体叠加到真实环境中,为了使虚拟物体更逼真地融入到环境,就需要估计场景中的真实光照。文中针对同时存在漫反射和镜面反射的场景或只存在漫反射的场景,提出了一种适于多种反射现象的光照估计方法。该方法使用相机拍摄多幅视角图像,通过检测每幅视角图像的镜面高光点来识别场景中是否存在镜面反射。若不存在镜面反射,则采用单张漫反射图像估计光照算法进行多幅视角图像光照估计。反之,若存在镜面反射则以镜面反射提供的信息为先验知识,再结合漫反射光照估计方法得到最终的光照估计结果。实验结果表明,文中方法提高了多种反射现象的光照估计的准确性。     

An Activity-Triggered 95.3 dB DR $-$75.6 dB THD CMOS Imaging Sensor With Digital Calibration

Imaging sensors are being used as data acquisition systems in new biomedical applications. These applications require wide dynamic range (WDR), high linearity and high signal-to-noise ratio (SNR), which cannot be met simultaneously by existing CMOS imaging sensors. This paper introduces a new activity-triggered WDR CMOS imaging sensor with very low distortion. The new WDR pixel includes self-resetting circuits to partially quantize the photocurrent in the pixel. The pixel residual analog voltage is further quantized by a low-resolution column-wise ADC. The ADC code and the partially quantized pixel codes are processed by column-wise digital circuits to form WDR images. Calibration circuits are included in the pixel to improve the pixel linearity by a digital calibration method, which requires low calibration overhead. Current-mode difference circuits are included in the pixel to detect activities within the scene so that the imaging sensor captures high quality images only for scenes with intense activity. A proof-of-concept 32 times 32 imaging sensor is fabricated in a 0.35 mum CMOS process. The fill factor of the new pixel is 27%. Silicon measurements show that the new imaging sensor can achieve 95.3 dB dynamic range with low distortion of -75.6 dB after calibration. The maximum SNR of the sensor is 74.5 dB. The imaging sensor runs at frame rate up to 15 Hz.     

Reference-guided exposure fusion in dynamic scenes

Unlike high dynamic range (HDR) imaging, exposure fusion is a process of generating a tonemapped-like HDR image directly by fusing a series of bracketed images. Since it frees users from the tedious radiometric calibration and tone mapping steps, this technique is getting more and more popular, and becomes a basic tool in many graphics software. The main drawback of exposure fusion is its limitation to static scenes and any object movement of the target scene will incur severe ghosting artifacts in the fused result. In this paper, we intend to overcome this limitation and make exposure fusion applicable in dynamic scenes. A new quality assessment system is developed, where both temporal consistency and spatial consistency are introduced to account for ghosting artifacts. Experimental results of various dynamic scenes are shown to prove the effectiveness of the proposed method.     

基于人眼视觉灰度识别特性的图像动态范围小波变换处理方法

常用的图像传感器由于电荷耦合器(CCD)和模数转换器(ADC)的限制,动态范围大约只有60dB,与人眼的动态范围(110dB)不符,导致获取的图像丢失部分细节信息。针对这一问题,提出了基于小波变换的图像动态范围扩展技术。通过对同一场景进行多次拍摄,获得不同曝光时间的源图像,对源图像运用多尺度小波变换分解为高频部分和低频部分。将基于人眼的视觉灰度识别特性的方法应用于低频部分的处理中,运用不同的权重值进行处理,尽可能保留图像的背景信息。对高频部分运用局部最大方差准则进行融合,尽量保留图像的边缘特性。将融合后的高频部分和低频部分利用逆小波变换进行重构。试验结果表明,重构后的图像与适度曝光的图像相比,在高亮度区域和低亮度区域的细节信息得到了复原,动态范围得到了显著的扩展。     

基于动态场景的高动态图像合成

相机所取得的图像动态范围与真实的场景相比往往较低。而通过对几幅不同的曝光时间的图像进行合成,可以得到高动态图像。但是场景中物体的运动会导致最终图像出现鬼影效应,提出了一个基于区域分割和连续性检测的算法,消除鬼影区域,使得在场景有运动下同样可以获得高质量的高动态图像。     

基于小波变换的EMCCD微光图像融合算法

由于增益水平的不同,电子倍增电荷耦合器件图像所显现的图像内容不同,且图像动态范围极窄、对比度低、图像整体偏暗或模糊发白。为了提高微光图像动态范围及对比度,采用将不同增益水平的微光图像进行融合的算法,即先获取两组同场景但增益不同的微光图像,再对小波分解后的微光图像选择不同的融合规则,最后通过小波变换实现图像融合,得到了高质量的融合图像,并取得了融合图像的信息熵、标准差、平均梯度等性能指标数据。结果表明,该融合算法能使得融合后的图像同时包含低亮度景物和高亮度景物,达到了增大微光图像的动态范围及对比度的目的,有效改善了微光图像的质量。     

基于局部信息熵最大的多曝光控制方法

基于融合多幅低动态图像来获取高动态图像的过程中,传统方法中低动态图像获取时对曝光时间选取的策略简单,使拍摄的多幅图像信息冗余较多,严重影响融合效率。提出了一种基于局部信息熵最大准则的多曝光控制方法。讨论了低动态场景图像信息熵与曝光时间的关系,得出了低动态范围场景的图像信息熵随曝光时间的增加呈现先增加后减小的规律,并在某个曝光时间处信息熵最大。对于高动态场景,首先,利用图像平均灰度响应与曝光时间的近似线性关系确定场景的曝光时间范围;然后,根据图像直方图将高动态场景分成若干个低动态范围场景区域;最后,以信息熵最大为优化目标,设计一维搜索算法,搜索各个低动态范围区域的最优曝光时间,直到所有区域都搜索到最优曝光时间。此方法将场景的局部信息熵与曝光时间联系起来,能针对不同的区域进行曝光时间优化,目的性强,有效地避免了传统曝光控制中的缺点,实验证明:用该方法获取的图像进行融合获得了良好的效果。