用于输送带纵向撕裂检测的新型视觉传感器

针对现有输送带纵向撕裂视觉检测存在采集图像不清晰的问题,提出了一种基于红外与可见光图像融合的新型视觉传感器。该视觉传感器采用分光棱镜将从同一镜头入射的同轴光分别投射至红外CCD和可见光CCD,红外CCD和可见光CCD同时采集目标同一点的红外图像和可见光图像,利用像素级融合方法获得融合图像。实验结果表明,该视觉传感器所采集的融合图像具有清晰的撕裂信息和详细的背景信息,满足输送带图像高质量采集的要求。     

一种双谱段日盲紫外视频实时融合系统的设计

针对电力系统中高压设备电晕放电的检测及定位问题,介绍了一种日盲紫外电晕探测系统,该系统采用可见光和紫外光两台相机在同一视场采集图像,在LCD上实时显示两路信号经融合后的视频图像,便于观测电晕的同时确定电晕产生的部位.提出了利用小波变换方法,实现日盲紫外探测系统中双谱段视频图像的融合.结果表明此方法能够充分有效地将两种不同谱段的信息融合在一起,输出视频达到预期效果且能够满足实时性要求.     

改进残差密集生成对抗网络的红外与可见光图像融合

基于深度学习的红外与可见光图像融合算法通常无法感知源图像显著性区域,导致融合结果没有突出红外与可见光图像各自的典型特征,无法达到理想的融合效果.针对上述问题,设计一种适用于红外与可见光图像融合任务的改进残差密集生成对抗网络结构.首先,使用改进残差密集模块作为基础网络分别构建生成器与判别器,并引入基于注意力机制的挤压激励网络来捕获通道维度下的显著特征,充分保留红外图像的热辐射信息和可见光图像的纹理细节信息;其次,使用相对平均判别器,分别衡量融合图像与红外图像、可见光图像之间的相对差异,并根据差异指导生成器保留缺少的源图像信息;最后,在TNO等多个图像融合数据集上进行实验,结果表明所提方法能够生成目标清晰、细节丰富的融合图像,相比基于残差网络的融合方法,边缘强度和平均梯度分别提升了64.56%和64.94%.     

红外与可见光图像分组融合的视觉Transformer

目的 针对传统红外与可见光图像融合方法中人工设计特征提取和特征融合的局限性,以及基于卷积神经网络(convolutional neural networks, CNN)的方法无法有效提取图像中的全局上下文信息和特征融合过程中融合不充分的问题,本文提出了基于视觉Transformer和分组渐进式融合策略的端到端无监督图像融合网络。方法 首先,将在通道维度上进行自注意力计算的多头转置注意力模块和通道注意力模块组合成视觉Transformer,多头转置注意力模块解决了自注意力计算量随像素大小呈次方增大的问题,通道注意力可以强化突出特征。其次,将CNN和设计的视觉Transformer并联组成局部—全局特征提取模块,用来提取源图像中的局部细节信息和全局上下文信息,使提取的特征既具有通用性又具有全局性。此外,为了避免融合过程中信息丢失,通过将特征分组和构造渐进残差结构的方式进行特征融合。最后,通过解码融合特征得到最终的融合图像。结果 实验在TNO数据集和RoadScene数据集上与6种方法进行比较。主观上看,本文方法能够有效融合红外图像和可见光图像中的互补信息,得到优质的融合图像。从客观定量分析...     

基于多尺度和注意力机制的红外与可见光图像融合

现有的红外与可见光图像融合算法通常从单一尺度提取图像特征,导致融合图像无法全面保留原始特征信息.针对上述问题,提出一种基于多尺度和注意力机制的自编码网络结构实现红外与可见光图像融合.首先,采用密集连接和多尺度注意力模块构建编码器网络,并引入自注意力机制增强像素间的依赖关系,充分提取红外图像的显著目标和可见光图像的细节纹理;然后,特征融合阶段采用基于通道与空间的联合注意融合网络,进一步融合图像典型特征;接着,设计基于像素、结构相似性和色彩的混合损失函数指导网络训练,进一步约束融合图像与源图像的相似性;最后,通过对比实验的主观和客观评价结果,验证所提出算法相比于其他代表性融合算法具有更优异的图像融合能力.     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

基于目标提取的红外与可见光图像融合算法

在可见光图像融合算法优化问题的研究中,针对现有红外与可见光图像融合算法的融合图像中背景模糊和目标不清晰等问题,提出了一种结合红外目标分割的红外与可见光图像融合算法,根据红外与可见光图像的信息分布特点,先采用目标分割算法对红外图像中的目标图像进行提取,再与可见光图像进行融合,其中在其融合过程中,结合能量函数与边缘优化函数,来提高图像的融合效果.实验结果表明,改进算法所测得的实验结果与预期目标基本相符,具有图像细节保留能力强与目标清晰度高的融合优势.     

基于互补信息特征的SAR与可见光图像融合研究

由于成像方式及波谱接收段的不同,合成孔径雷达SAR（synthetic aperture radar）与可见光图像所反映的信息有很大差异,图像之间相关性弱,且互补性明显。因此在图像融合时,应该根据其互补性信息特征各取所长。在研究了一些现有融合方法的基础上,提出了一种基于互补信息特征的SAR与可见光图像融合方法。首先通过基于像素邻域的能量统计特性融合SAR与可见光图像,将SAR图像中的重要目标信息加入到可见光图像中,然后再利用小波变换进行二次融合,充分加入原始图像的边缘细节信息。实验结果表明,该融合方法有效。     

CMOS图像传感器的商业化发展

随着超大规模集成技术的发展,CMOS图像传感器显示出强劲的发展趋势.CMOS图像传感器可在单芯片内集成时序和控制电路、A/D转换、信号处理等功能.本文简单介绍了CMOS图像传感器的背景,分析了CMOS图像传感器和CCD图像传感器的优缺点,综述了目前CMOS图像传感器的研究进展.