矿井外因火灾感知方法

为解决可见光图像在井下受矿灯、车灯、巷道灯、粉尘、红色物体等干扰大的问题,提出了基于近红外和可见光图像的矿井外因火灾感知方法,将近红外图像和可见光图像融合,发挥近红外图像中早期火焰特征明显、可见光图像中中期火焰特征明显的优点,以提高矿井外因火灾识别率。提出了基于近红外图像、可见光图像、温度传感器、气体传感器和烟雾传感器等多信息融合的矿井外因火灾感知方法,该方法融合了近红外图像、可见光图像和传感器信息,传感器不需要无盲区覆盖,仅需要设置一定数量的气体传感器、温度传感器和烟雾传感器,具有及时、可靠、成本低等优点。将报警信息分为图像、温度、烟雾和气体4类。图像类火灾报警信息包括近红外图像和可见光图像信息,当近红外图像或可见光图像监测到火灾时,发出图像类火灾报警信号;当温度超限时,发出温度类报警信号;当烟雾超限时,发出烟雾类报警信号;气体类火灾报警信息包括CO、CO_2、O_2等,当CO、CO_2或O_2超限时,发出气体类报警信号。将火灾报警分为蓝色、黄色、橙色和红色4级,红色为最高级。当图像类、温度类、烟雾类、气体类4类信息中有1类报警,发出火灾蓝色报警信号;当图像类、温度类、烟雾类、气体类4类信息中同时有2类报警,发出火灾黄色报警信号;当图像类、温度类、烟雾类、气体类4类信息中同时有3类报警,发出火灾橙色报警信号;当图像类、温度类、烟雾类、气体类4类全部报警,发出火灾红色报警信号。     

基于双目视觉的矿井外因火灾感知与定位方法

针对目前矿井外因火灾监测方法大都没有火源定位功能的问题,提出了基于双目视觉的矿井外因火灾感知与定位方法。在有电缆、胶带和机电设备的巷道、硐室及采掘工作面多点设置矿用可见光双目摄像机或近红外双目摄像机,采集监控区域图像;对采集到的图像进行预处理,通过阈值分割得到二值化图像;计算图像中的圆形度、矩形度和尖角数量,根据圆形度、矩形度和尖角数量对图像进行火焰识别,若图像检测区域有火焰,发出火灾报警信号,并融合温度、烟雾、二氧化碳、一氧化碳、氧气和红外传感器信息,提高报警准确性;通过矿用可见光双目摄像机或近红外双目摄像机对火源进行测距,结合摄像机位置对火源进行定位,并输出火源位置信息,控制火源附近灭火装置灭火。也可采用远红外双目摄像机进行火灾感知和火源定位,但成本高。基于双目视觉的矿井外因火灾感知与定位方法既可感知火灾又可定位火源,具有监控范围广、成本低、响应快、可视化等优点,解决了矿井外因火灾火源定位的难题。     

基于红外与可见光图像融合的无人机探测研究

为了进一步提高识别无人机的效率,提出基于红外与可见光图像融合的无人机探测方法,并且对配准算法进行改进,搭配Canny边缘检测ORB特征检测的融合配准算法.首先,搭建双目摄像头、采集无人机图像;接着,对图像进行La?place预处理、Canny边缘检测ORB特征检测配准、Harr小波变换融合.将得到的融合图像和融合前的可...     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

基于深度学习的红外可见光图像融合综述

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合（IVIF）作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。     

红外和可见光图像融合算法的研究进展

红外图像便于识别热源目标,可见光图像包含丰富的纹理信息。红外和可见光的融合图像兼顾了两个波段传感器的优势,可以清楚地显示热源目标及其背景,在军事侦察、安防监控、遥感监测等领域有着广泛的应用,已成为图像融合领域的重点研究方向。近年来,国内外学者对红外和可见光图像融合算法开展了大量研究。文中首先对现有的图像融合算法进行了详细介绍,包括多尺度变换、稀疏表示的传统图像处理方法和基于CNN,GAN,AE这3种常见网络结构的深度学习图像融合算法。接着综述了融合图像的评价方法,对常见的多种客观评价指标进行了归类分析。然后开展对比实验,对各种方法进行了主观评价和定量分析,指出不同方法的优势和不足。最后,对红外和可见光图像融合技术的未来发展趋势进行展望。     

基于GhostNet的端到端红外和可见光图像融合方法

现有的基于深度学习的红外和可见光图像融合方法大多基于人工设计的融合策略,难以为复杂的源图像设计一个合适的融合策略.针对上述问题,文中提出基于GhostNet的端到端红外和可见光图像融合方法.在网络结构中使用Ghost模块代替卷积层,形成一个轻量级模型.损失函数的约束使网络学习到适应融合任务的图像特征,从而在特征提取的同时完成融合任务.此外,在损失函数中引入感知损失,将图像的深层语义信息应用到融合过程中.源图像通过级联输入深度网络,在经过带有稠密连接的编码器提取图像特征后,通过解码器的重构得到融合结果.实验表明,文中方法在主观对比和客观图像质量评价上都有较好表现.     

基于提升小波的红外和可见光图像融合方法

提出了一种基于提升小波变换的红外和可见光图像融合方法.对红外图像进行检测分割,将提取到的目标重要信息融合到可见光图像中.然后进行图像的提升小渡分解,对不同尺度下小波系数进行融合,以像素的局部平均梯度为高频系数融合准则,充分加入原始图像的边缘细节信息.最后依据融合后的小波系数重构图像.实验结果表明,该方法改善了融合效果,提高了运算速度.     

基于NSCT的红外与可见光图像融合

提出一种基于非下采样Contourlet变换的红外与可见光图像融合方法。该方法对源图像经非下采样Contourlet变换分解后的高频系数,考虑不同传感器的成像机理进行活性度量,并结合多分辨率系数间相关性来实现加权融合;低频系数则通过一种局部梯度进行活性度量,再采用加权与选择相结合的规则实现融合。最后,通过非下采样Contourlet逆变换重构获得融合图像。实验结果表明了该方法的有效性和可行性。     

基于改进的NSCT红外可见光图像融合算法

针对在红外可见光图像融合过程中目标细节信息容易丢失的问题,提出一种使用非下采样轮廓波变换(NSCT)和主成分分析法(PCA)相结合的图像融合算法.首先应用NSCT将源图像分解分别得到低频和高频的子带图像.在低频子带系数中,由于PCA能够突出图像的主要信息,所以选用主成分分析法融合规则.高频子带中,相对来说较高层次系数表...     

基于Shearlet变换域改进的IR与灰度VIS图像融合算法

针对多尺度变换域内红外(IR)与灰度可见光(VIS)图像融合后图像清晰度差、纹理信息不丰富等问题,提出一种基于剪切波变换(ST)域改进的IR与灰度VIS图像融合算法.首先,采用形态学顶帽变换(MTH)增强IR与VIS图像;然后,对增强后的IR与VIS图像采用ST变换,将其分解成高、低频图像,针对高频图像提出局部标准差(LSTD)与系数绝对值的融合策略;针对低频图像提出一种改进的权值融合策略;最后,通过逆剪切波变换(IST)获得最终融合图像.仿真实验结果表明,所推荐的方法具有优越的性能.     

Novel infrared and visible image fusion method based on independent component analysis

The goal of infrared （IR） and visible image fu- sion is for the fused image to contain IR object features from the IR image and retain the visual details provided by the visible image. The disadvantage of traditional fusion method based on independent component analysis （ICA） is that the primary feature information that describes the IR objects and the secondary feature information in the IR image are fused into the fused image. Secondary feature information can de- press the visual effect of the fused image. A novel ICA-based IR and visible image fusion scheme is proposed in this paper. ICA is employed to extract features from the infrared image, and then the primary and secondary features are distinguished by the kurtosis information of the ICA base coefficients. The secondary features of the IR image are discarded during fu- sion. The fused image is obtained by fusing primary features into the visible image. Experimental results show that the pro- posed method can provide better perception effect.     

Novel infrared and visible image fusion method based on independent component analysis

The goal of infrared (IR) and visible image fusion is for the fused image to contain IR object features from the IR image and retain the visual details provided by the visible image. The disadvantage of traditional fusion method based on independent component analysis (ICA) is that the primary feature information that describes the IR objects and the secondary feature information in the IR image are fused into the fused image. Secondary feature information can depress the visual effect of the fused image. A novel ICA-based IR and visible image fusion scheme is proposed in this paper. ICA is employed to extract features from the infrared image, and then the primary and secondary features are distinguished by the kurtosis information of the ICA base coefficients. The secondary features of the IR image are discarded during fusion. The fused image is obtained by fusing primary features into the visible image. Experimental results show that the proposed method can provide better perception effect.     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

基于改进型NSCT 变换的灰度可见光与红外图像融合方法

针对灰度可见光与红外图像融合,提出一种基于改进型非下采样轮廓波变换(NSCT)的图像融合方法.不同于经典NSCT模型,改进型NSCT变换摈弃了细节捕捉能力不强的非下采样金字塔分解机制,采用冗余提升不可分离小波变换实现对源图像的多尺度分解;然后,分别采用基于区域平均能量匹配度、邻域系数差和信息熵的融合规则,得到融合图像的低频系数和高频系数;最后,通过改进型NSCT逆变换得到了融合图像.实验结果验证了该方法的有效性.     

一种新的红外与可见光图像融合算法

提出了一种新的红外与可见光图像融合算法,首先应用非抽样Contourlet变换(NSCT)对图像进行多尺度、多方向变换,对变换的低频子带采用改进的能量加权法融合,带通子带融合采用最大系数与区域方差加权相结合方法,然后对融合的2个子带系数进行NSCT反变换,得到融合图像。对不同算法的融合实验结果进行比较,通过主观和客观评价,该算法融合效果较好。     

An infrared and visible image fusion method based on multi-scale transformation and norm optimization

In this paper, we propose a new infrared and visible image fusion method based on multi-scale transformation and norm optimization. In this method, a new loss function is designed with contrast fidelity (L2 norm) and sparse constraint (L1 norm), and the split Bregman method is used to optimize the loss function to obtain pre-fusion images. The final fused base layer is obtained by using a multi-level decomposition latent low-rank representation (MDLatLRR) method to decompose the pre-fusion images. Then, using the pre-fusion image as the reference, image structure similarity (SSIM) is introduced to evaluate the validity of detail information from the visible image, and the SSIM is then transformed into a weight map which is applied to the optimization method based on L2 norm to generate the final detail fusion layer. Our proposed method is evaluated and compared with 18 state-of-the-art image fusion methods, both qualitatively and quantitatively on four public datasets (i.e., CVC14 driving dataset, TNO dataset with natural scenarios, RoadScene dataset, and whole brain atlas dataset). The results show that our proposed method is generally better than the compared methods in terms of highlighting targets and retaining effective detail information.     

Attribute filter based infrared and visible image fusion

Infrared and visible image fusion is an effective image processing technique to obtain more comprehensive information, which can help people better understand various scenarios. In this paper, a novel infrared and visible image fusion method is proposed which fully considers the attributes of objects in source images. Benefiting from the attribute and the edge-preserving filters, the prominent objects in the infrared source image are effectively extracted. Then, the weight-based Laplacian pyramid fusion strategy is adopted to get more natural fusion results. The experimental results on the public image fusion datasets and a new infrared–visible video fusion dataset show that the proposed method achieves state-of-the-art fusion performance in terms of both visual and objective evaluations. The proposed algorithm is also implemented in an infrared–visible dual sensor system, which demonstrated the practicability of our fusion method.     

基于融合的微光云图的云分割

首先应用基于变分的图像融合方法对DMSP气象卫星夜间微光云图和红外云图进行融合,在此基础上应用快速C-V模型图像分割方法对图像进行分割,将云分割出来。结果显示,与源图像相比,融合图像中包含了更多的关于云的信息,云体清晰度提高,纹理细致。在此基础上云体分割比较完整,比直接在各通道图像中进行分割的效果优越。     

基于红外与可见光的智能跟踪技术

介绍了红外热成像原理及其技术特征,并对云台摄像机的预置位功能做了详细说明。在此基础上,提出了红外与可见光相结合的智能跟踪技术,该技术可准确地发现目标并跟踪目标。既实现了夜间环境下的视频监控,也克服了可见光设备检测范围的局限性。该技术可应用于学校、住宅小区等公共监控场所,从而实现智能监控和跟踪。