结合亮度感知与密集卷积的红外与可见光图像融合

为解决弱光照条件下红外与可见光图像融合质量差的问题,提出一种结合亮度感知与密集卷积的红外与可见光图像融合方法（brightness perception and dense convolution,BPD-Fusion）。首先,对可见光图像进行亮度计算,得到亮度权重并对其暗区域进行亮度增强;然后,将增强的可见光图像与红外图像级联输入生成器,在其Conv1阶段后嵌入密集卷积以获取更丰富的图像特征;最后,为了达到较强的图像重构与生成能力,建立多损失函数构建端到端的图像融合过程。在TNO和KAIST数据集上进行融合质量测评:主观评价上,提出的方法视觉效果良好;客观评价上,差异相关和、信息熵、互信息和平均梯度指标均优于对比方法。     

可见光-近红外HSV图像融合的场景类字典稀疏识别方法

针对典型自然场景智能观测的需求,为提高稀疏分类器在小样本数据库上的识别精度,提出一种可见光和近红外（NIR）HSV图像融合的场景类字典稀疏识别方法。首先,利用一直应用在计算机视觉显示领域中的图像HSV伪彩色处理技术将近红外图像与可见光图像融合;然后,对融合图像进行通用搜索树（GiST）特征和分层梯度方向直方图（PHOG）特征的提取与融合;最后,结合提出的类字典稀疏识别方法得到场景分类结果。所提方法在RGB-NIR数据库上的实验识别精度达到了74.75%。实验结果表明,融合近红外信息的场景图像的识别精度高于未融合时的识别精度,所提方法能够有效增加稀疏识别框架下场景目标的信息表征质量。     

基于多任务学习的可见光与近红外虹膜融合研究

针对在可见光虹膜识别中存在的虹膜纹理特征不明显与反射光斑问题,提出一种基于多任务学习的可见光与近红外无监督融合模型（MTIris-Fusion）。设计了基于改进DenseU-Net的端到端融合骨干网。设计了自适应权衡源图像重要信息保留度的损失函数,自适应保持融合结果与源图像之间的相似度,达到无监督的目的。通过弹性权重巩固（EWC）机制更新多融合任务的权重,避免了多任务网络中的灾难性遗忘。在PolyU Cross Spectral Iris数据集上的实验表明,与其他方法相比,该方法兼顾可见光虹膜的颜色纹理与近红外图像的结构信息并有效抑制了可见光图像中的光斑噪声,在虹膜图像质量增强领域具有重要应用价值。     

红外与可见光视频序列融合算法研究

提出了一种基于动态目标区域检测的红外与可见光图像视频序列融合方法;应用改进的混合帧差法对红外图像序列中的目标区域进行检测,并采用一种新的基于非下采样Contourlet变换的图像融合规则,对红外与可见光图像中的目标区域进行融合,并将融合后的目标区域与已配准的可见光图像的背景相结合得到最终的融合图像;实验结果表明相对于其他传统的方法,新算法所得图像的信息熵、标准差和互信息值最大,融合效果要优于其他算法;不仅具有良好的红外图像的目标特征,同时也保留了可见光图像的细节信息,并具有平移不变性以及良好的实时性。     

基于ENM-Gabor差分权重的人脸表情特征提取方法

针对人脸子区域对表情识别分类的重要程度不同,提出一种基于Gabor小波特征和ENM(Eye,Nose,Mouth)差分权重的表情特征提取方法。通过对人脸眼睛、鼻子、嘴巴三个区域进行特征提取并自适应加以权重,有效地区分了不同区域对识别表情的重要程度。对预处理后的表情图像提取ENM区域Gabor特征;将表情图像与中性图像作差值计算得到ENM差分权重;将ENM-Gabor特征结合差分权重得到最终的表情特征并用BP神经网络进行分类。与其他方法在JAFFE表情库上进行对比实验,实验结果表明,该方法相比于传统Gabor特征提取有了明显的提高,且平均识别率达到99.3%。     

基于多项式回归的四带图像偏色校正算法

针对可见光图像在受到红外光串扰的情况下产生的偏色现象,提出了一种基于多项式回归构建解串扰矩阵的四带图像（RGB三带和IR近红外带）偏色校正算法,该算法在特定的光源条件下,利用标准色卡的24个色块,采用多项式回归的思想构建解串扰矩阵.使用该解串扰矩阵对同种光源条件下拍摄的四带图像进行偏色校正,达到去除红外光串扰的目的.实验结果表明,该方法只需进行一次标定校正矩阵,就可以对同种光源条件下拍摄的不同图像进行偏色校正,恢复图像自然的色彩.     

基于FRC框架的红外与可见光图像融合方法

像素级图像融合方案多采用全局统一的融合规则,融合过程易导致区域层级信息丢失.对此,提出一种基于模糊区域特征(FRC)框架的红外与可见光图像融合方法.首先,制定一种模糊区域规则,该规则依据区域特征的模糊性质,对源图像依次施行区域分割、模糊判定和解模糊,全局图像的融合转化为3种不同属性区域的融合;然后,分别对目标区域、过渡区域和背景区域采用期望值最大(EM)、加权平均融合、主成分分析(PCA)的融合策略进行融合;最后,融合后的区域图重构得到最终的融合图像.为验证FRC框架保护区域特征的有效性,还提出一种区域特征一致性的度量指标(RC^{\rm ABF}),经主观视觉与客观指标检验,融合图像在保持红外目标显著性的同时,具有清晰的背景细节,优于现有的红外与可见光图像融合方法,宜应用于红外目标的监控与分析.     

信息分离和质量引导的红外与可见光图像融合

目的 红外与可见光图像融合的目标是将红外图像与可见光图像的互补信息进行融合,增强源图像中的细节场景信息。然而现有的深度学习方法通常人为定义源图像中需要保留的特征,降低了热目标在融合图像中的显著性。此外,特征的多样性和难解释性限制了融合规则的发展,现有的融合规则难以对源图像的特征进行充分保留。针对这两个问题,本文提出了一种基于特有信息分离和质量引导的红外与可见光图像融合算法。方法 本文提出了基于特有信息分离和质量引导融合策略的红外与可见光图像融合算法。设计基于神经网络的特有信息分离以将源图像客观地分解为共有信息和特有信息,对分解出的两部分分别使用特定的融合策略;设计权重编码器以学习质量引导的融合策略,将衡量融合图像质量的指标应用于提升融合策略的性能,权重编码器依据提取的特有信息生成对应权重。结果 实验在公开数据集RoadScene上与6种领先的红外与可见光图像融合算法进行了对比。此外,基于质量引导的融合策略也与4种常见的融合策略进行了比较。定性结果表明,本文算法使融合图像具备更显著的热目标、更丰富的场景信息和更多的信息量。在熵、标准差、差异相关和、互信息及相关系数等指标上,相较于对比算法...     

可见光与红外图像区域级反馈融合算法

目的 可见光图像具有丰富的纹理信息,红外图像具有较强的目标指示信息,进行融合时只有合理地设计融合规则才能充分利用两者的互补信息,为此,提出一种基于效果评估的可见光与红外图像区域级反馈融合算法.方法 首先对待融合图像进行非下采样轮廓波变换(NSCT),将其分解为低频和高频部分.同时采用分形特征对红外图像进行人造目标增强,通过阈值分割得到目标区域与背景区域.在设计低频融合规则时,选取目标区域与背景区域的加权融合系数作为参数,根据图像融合效果评估的量化指标,运用遗传算法进行参数的优化求解.对高频部分采用基于区域的加权平均融合规则.最后,利用优化后的融合系数进行NSCT逆变换得到融合图像.结果 采用3组图像,结合主观评价和客观评价指标对4种融合算法的结果进行了比较分析,实验结果表明,本文算法融合后图像更自然,目标更显著,客观评价结果总体上最优.结论 本文算法有效结合了红外图像的目标信息与可见光图像的背景信息,融合图像具有更强的对比度,有利于进行战场态势显示和目标识别任务.     

红外与可见光图像分解与融合方法研究

红外与可见光图像融合旨在生成一幅新的图像,能够对场景进行更全面的描述。本文提出一种图像多尺度混合信息分解方法,可有效提取代表可见光特征分量的纹理细节信息和代表红外特征分量的边缘信息。本文方法将边缘信息进行进一步分割以确定各分解子信息的融合权重,以有效地将多尺度红外光谱特征注入到可见光图像中,同时保留可见光图像中重要的场景细节信息。实验结果表明,本文方法能够有效提取图像中的红外目标,实现在融合图像中凸显红外目标的同时保留尽可能多的可见光纹理细节信息,无论是主观视觉还是客观评价指标都优于现有的图像融合方法。     

多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

Natural-based underwater image color enhancement through fusion of swarm-intelligence algorithm

Underwater imagery suffers from severe effects due to selective attenuation and scattering effects when light travels through water medium. Such damages limit the ability of vision tasks and reduce image quality. There are a lot of enhancement methods to improve the quality of underwater image. However, most of the methods produce distortion effects in the output images. The proposed natural-based underwater image color enhancement (NUCE) method consists of four steps. The first step introduces a new approach to neutralize underwater color cast. The inferior color channels are enhanced based on gain factors, which are calculated by considering the differences between the superior and inferior color channels. In the second step, the dual-intensity images fusion based on average of mean and median values is proposed to produce lower-stretched and upper-stretched histograms. The composition between these histograms improves the image contrast significantly. Next, the swarm-intelligence based mean equalization is proposed to improve the naturalness of the output image. Through the fusion of swarm intelligence algorithm, the mean values of inferior color channels are adjusted to be closed to the mean value of superior color channel. Lastly, the unsharp masking technique is applied to sharpen the overall image. Experiments on underwater images that are captured under various conditions indicate that the proposed NUCE method produces better output image quality, while significantly overcoming other state-of-the-art methods.     

基于引导滤波和差分图像的多聚焦图像融合方法

针对传统的多聚焦图像的空间域融合容易出现边缘模糊的问题,提出了一种基于引导滤波(GF)和差分图像的多聚焦图像融合方法.首先,将源图像进行不同水平的GF,并对滤波后图像进行差分,从而获得聚焦特征图像;随后,利用聚焦特征图像的梯度能量(EOG)信息获得初始决策图,对初始决策图进行空间一致性检查以及形态学操作以消除因EOG相...     

BSFCoS:基于分块与稀疏主特征提取的快速协同显著性检测

随着图像采集技术的迅速发展,原始数字图像越来越清晰,已有的协同显著性检测方法在处理这些图像时所需的计算机内存也越来越大,并且伴随着很高的计算复杂性,严重影响了人机交互的实时性。因此,迫切需要一种快速的协同显著性检测方法。提出了一种基于图像分块与稀疏主特征提取的快速协同显著性检测方法(BSFCoS)。该方法在将图像均匀分割成若干个图像块的基础上,从Lab和RGB两种颜色空间上抽取底层特征,再使用截断幂(Truncated Power)的稀疏主成分分析方法进行稀疏主特征提取,以达到在最大程度保留原图像特征的同时减少特征点的数量与属性个数的效果。然后使用K-Means对提取的稀疏主特征进行聚类,并在聚类结果的基础上进行3种基于聚类的显著特征权值的计算。最后,将通过特征融合生成的单幅图像显著图和多幅图像显著图进行组合,以生成协同显著图。在Co-saliency Pairs与CMU Cornell iCoseg两个标准数据集上进行了实验仿真,实验结果表明,与其他协同显著性检测方法相比,BSFCoS在保证检测效果的同时大幅提高了针对多幅图像的协同显著性检测的速度。     

双波段彩色融合图像色彩和谐性客观评价

针对现有的图像质量评价方法较少利用人眼视网膜和视觉皮层的颜色编码机制,并且未能充分考虑图像色彩信息对图像质量的影响,提出了一种基于多视觉特征的可见光(微光)与红外彩色融合图像色彩和谐性客观评价模型.该模型在图像质量评估中融入了更多的颜色信息,综合考虑多种人眼视觉特征包括视觉对立色彩特征、色彩信息波动特征和高级视觉内容特征,经过特征融合和支持向量回归训练,实现彩色融合图像的色彩和谐性客观评价.采用3种典型场景融合图像数据库进行实验比较与分析.实验结果表明,与现有的8种图像质量客观评价方法相比,所提出的方法与人眼主观感受更加一致,具有较高的预测准确度.     

基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.     

基于色彩空间分块匹配的三维动画融合技术

为了提高影视动画制作的三维图像成像质量,需要进行动画图像的动态信息融合处理,提出一种基于二维色彩空间分块匹配的三维动画图像的动态信息融合处理技术,采用虚拟视景重构技术进行三维动画图像采集和特征投影处理,对三维动画图像进行二值拟合和边缘轮廓检测,采用RGB分解技术进行三维动画图像的颜色分量提取,采用颜色模板空间投影算法进行三维动画图像的分块融合处理,提高三维动画图像的边缘像素点的特征配对性能,结合三维动画图像的色彩空间分块融合结果进行像素特征优化配置,计算匹配窗口相关系数,实现三维动画图像的动态信息融合处理。仿真结果表明,采用该方法进行三维动画图像的动态信息融合处理,能提高图像输出峰值信噪比,提高动态成像质量。     

基于形变估计与运动补偿的医学CT图像层间超分辨率算法

针对医学断层图像层间分辨率较低的问题,提出了基于形变估计与运动补偿的医学CT图像层间超分辨率算法用于生成切片间图像,从而提高层间分辨率。首先利用U-Net对相邻两幅图像作多尺度特征提取与融合;其次,为了处理层间图像的复杂形变,使用基于自适应协作流的变形扭曲模块来实现相邻切片间的双向形变估计,设计层级信息递进融合模块对金字塔特征层进行特征聚合,对生成图进行运动补偿;最后经过后处理网络以减少异常像素点。该算法在两种CT数据集上进行验证,平均PSNR值分别达到了35.59 dB和30.76 dB,输出图能较好地恢复图像细节。与现有的一些方法对比,相关实验证明了该算法的有效性。     

基于图像差分特征的彩色图像差分预测与信息提取算法研究

图像特征提取预测技术一直是图像处理领域研究的热点与难点.提出了一种包含图像归一化特征融合的图像差分预测算法.基于色彩的图像差分特征测量方法充分利用了图像的色彩信息,将色彩信息全部转换到一个色彩空间中,然后将图像归一化到特定的视角距离范围内来提取出图像差分特征(IDF)信息.最后做了大量的仿真实验,结果表明,提出的方法可以极大地提高彩色图像差分预测性能;同时对图像的色域映射所造成的亮度失真进行的多尺度分析结果表明,以不同尺度提取的基于亮度的图像差分特征比一般的图像失真具有更高的尺度间相关性.