可见光-远红外图像的多模态能见度深度学习模型

为了增强能见度深度学习模型在小样本条件下的准确率和鲁棒性,提出一种基于可见光-远红外图像的多模态能见度深度学习方法.首先,利用图像配准获取视野范围与分辨率均相同的可见光-远红外输入图像对;然后,构造三分支并行结构的多模态特征融合网络;分别在可见光图像、远红外图像及其累加特征图中提取不同性质的大气特征,各分支的特征信息通过网络结构实现模态互补与融合;最后在网络末端输出图像场景所对应的能见度的等级.采用双目摄像机收集不同天气情况下的室外真实可见光-远红外图像作为实验数据,在不同性能指标、多角度下的实验结果表明,与传统单模态能见度深度学习模型相比,多模态能见度模型可显著提高小样本条件下能见度检测的准确率和鲁棒性.     

基于生成对抗网络的高照度可见光图像生成

为解决夜间低照度条件下目标检测准确率偏低的问题,提出一种基于循环生成对抗网络的高照度可见光图像生成方法。为提高生成器提取特征的能力,在转换器模块引入CBAM注意力模块;为避免在生成图像中产生伪影的噪声干扰,把生成器解码器的反卷积方式改为最近邻插值加卷积层的上采样方式;为了提高网络训练的稳定性,把对抗损失函数由交叉熵函数换为最小二乘函数。生成的可见光图像与红外图像、夜间可见光图像相比,在光谱信息、细节信息丰富和可视性方面取得好的优势提升,能够有效地获取目标和场景的信息。分别通过图像生成指标和目标检测指标验证该方法的有效性,其中对生成可见光图像测试得到的mAP较红外图像和真实可见光图像分别提高了11.7个百分点和30.2个百分点,可以有效提高对夜间目标的检测准确率和抗干扰能力。     

基于FPGA的智能视频融合技术研究

针对夜间或恶劣环境下交通事故频发的情况,提出一种在夜间或恶劣环境中辅助驾驶员改善能见度的技术,本技术是采用在FPGA内部对CCD捕获的可见光视频流和红外摄像机捕获的红外视频流进行实时融合、处理以获得极低或极强光照条件下图像信息的新方法;整个系统流程都在FPGA内实时完成,经过处理的视频流直接显示在位于司机前方的平视显示器上,以协助驾驶者在能见度低的环境中安全地行驶,在各种实验条件下经初步验证都取得了不错的效果。     

基于可见光和红外图像的矿井外因火灾识别方法

分析了矿井外因火灾监测方法,提出了基于可见光和红外图像的矿井外因火灾识别方法。①温度和烟雾等传感器矿井外因火灾监测方法需多点布置,成本高、维护工作量大。②可见光图像矿井外因火灾监测方法具有监测范围广、使用简单、成本低、受距离影响小、分辨率高、色彩信息丰富、边缘纹理信息清晰、火焰结构信息便于提取等优点,但受矿灯、巷道灯、车灯及红色物体等影响大。③红外图像矿井外因火灾监测方法具有监测范围广、使用简单、可在浓烟等能见度低情况下监测火灾等优点,但监视距离、矿尘、环境温度和湿度、物体表面发射率等均会影响温度测量,近距离的作业人员、白炽灯及机电设备等均会影响火灾监测。④基于可见光和红外图像的矿井外因火灾识别方法提高了火灾识别准确率:当可见光图像和红外图像均识别出火灾时,才判定为火灾,发出火灾报警信号;当仅有单一可见光图像或红外图像识别出火灾时,不判定为火灾,发出疑似火灾报警信号。⑤通过试验验证了基于可见光和红外图像的矿井外因火灾识别方法的可行性。     

改进残差密集生成对抗网络的红外与可见光图像融合

基于深度学习的红外与可见光图像融合算法通常无法感知源图像显著性区域,导致融合结果没有突出红外与可见光图像各自的典型特征,无法达到理想的融合效果.针对上述问题,设计一种适用于红外与可见光图像融合任务的改进残差密集生成对抗网络结构.首先,使用改进残差密集模块作为基础网络分别构建生成器与判别器,并引入基于注意力机制的挤压激励网络来捕获通道维度下的显著特征,充分保留红外图像的热辐射信息和可见光图像的纹理细节信息;其次,使用相对平均判别器,分别衡量融合图像与红外图像、可见光图像之间的相对差异,并根据差异指导生成器保留缺少的源图像信息;最后,在TNO等多个图像融合数据集上进行实验,结果表明所提方法能够生成目标清晰、细节丰富的融合图像,相比基于残差网络的融合方法,边缘强度和平均梯度分别提升了64.56%和64.94%.     

基于多目标的能见度检测方法

能见度对人类生产生活、交通运输安全等具有重要影响,是地面自动气象观测的重要内容之一,但由于受影响因素较多,目前能见度检测仍缺乏统一的标准和检定规程。现有基于图像的能见度检测方法大多从整幅图像或局部区域中提取视觉特征估计能见度,未考虑不同景深目标物对应子图像的质量衰减程度不同,导致检测结果精确度和稳定性不高。提出一种新的能见度检测方法,使用预训练的神经图像评估,从不同景深目标物对应的子图像中提取视觉特征,并将提取的特征和能见度真值输入到全连接网络,以训练子图像的能见度映射模型。根据子图像与全局图像间的关系,动态建立各目标在能见度整体估计过程中的权重回归模型,按照权重融合各目标物能见度估计值,得到整幅图像的能见度检测值。实验结果表明,该方法能有效提升回归模型的预测精度,其在不同能见度区间的检测正确率均超过85%。     

光电载荷下的红外和可见光图像融合综述

随着机载光电平台在军事、民用等领域的应用，红外与可见光图像的增强和融合技术逐渐成为研究的热点方向。红外设备主要依靠物体本身的热辐射进行成像，适用于恶劣自然环境和隐秘场所等特殊场景，但存在成像质量不佳、图像对比度较低、纹理细节不丰富等缺点；可见光图像的纹理细节和对比度更适合人类的视觉感知，但可见光图像在烟雾、夜间等条件下的成像效果差，不适用于隐秘的场所。因此，研究人员提出了既有可见光图像边缘、细节信息又有红外热辐射目标信息的互补图像融合方法。结合红外与可见光图像特点，对目前适用于机载平台的传统红外与可见光图像融合方法进行整理和综述，给出了现有红外与可见光融合算法中弱小目标、纹理信息缺失和计算效率问题的改进思路，并对光电载荷背景下传统红外与可见光图像融合技术未来的发展进行了展望。     

小样本红外图像的样本扩增与目标检测算法

深度卷积神经网络模型在很多公开的可见光目标检测数据集上表现优异, 但是在红外目标检测领域, 目标 样本稀缺一直是制约检测识别精度的难题. 针对该问题, 本文提出了一种小样本红外图像的样本扩增与目标检测算 法. 采用基于注意力机制的生成对抗网络进行红外样本扩增, 生成一系列保留原始可见光图像关键区域的红外连 续图像, 并且使用空间注意力机制等方法进一步提升YOLOv3目标检测算法的识别精度. 在Grayscale-Thermal与 OSU Color-Thermal红外–可见光数据集上的实验结果表明, 本文算法使用的红外样本扩增技术有效提升了深度网 络模型对红外目标检测的精度, 与原始YOLOv3算法相比, 本文算法最高可提升近20%的平均精确率(mean average precision, mAP).     

汽车驾驶辅助系统红外与可见光融合算法综述

红外与可见光融合图像融合是汽车高级驾驶辅助系统核心功能之一,能够较好地理解光线条件较差时车辆外部环境目标,对无人驾驶车辆和智能车辆识别环境具有重要作用,其中基于深度学习的神经网络算法在图像特征提取和分类中优势显著。针对汽车领域红外与可见光图像融合算法进行综述,分析了现代车辆对图像融合技术的需求;总结了基于数学方法框架的红外与可见光图像融合算法和最新发展;概述了基于神经网络结构的红外与可见光图像融合算法;最后讨论了车载红外与可见光图像融合技术的发展趋势。     

高分辨率可见光图像引导红外图像超分辨率的Transformer网络

目的 红外图像在工业中发挥着重要的作用。但是由于技术原因,红外图像的分辨率一般较低,限制了其普遍适用性。许多低分辨率红外传感器都和高分辨率可见光传感器搭配使用,一种可行的思路是利用可见光传感器捕获的高分辨率图像,辅助红外图像进行超分辨率重建。方法 本文提出了一种使用高分辨率可见光图像引导红外图像进行超分辨率的神经网络模型,包含两个模块：引导Transformer模块和超分辨率重建模块。考虑到红外和可见光图像对一般存在一定的视差,两者之间是不完全对齐的,本文使用基于引导Transformer的信息引导与融合方法,从高分辨率可见光图像中搜索相关纹理信息,并将这些相关纹理信息与低分辨率红外图像的信息融合得到合成特征。然后这个合成特征经过后面的超分辨率重建子网络,得到最终的超分辨率红外图像。在超分辨率重建模块,本文使用通道拆分策略来消除深度模型中的冗余特征,减少计算量,提高模型性能。结果 本文方法在FLIR-aligned数据集上与其他代表性图像超分辨率方法进行对比。实验结果表明,本文方法可以取得优于对比方法的超分辨率性能。客观结果上,本文方法比其他红外图像引导超分辨率方法在峰值信噪比(pea...     

引入生成对抗网络的室外场景单目深度估计

生成对抗网络（GAN）算法在室外场景的深度估计任务中准确率较低,对于物体边界判断不准确。针对该问题,提出基于循环生成对抗网络（CycleGAN）的单目深度估计算法,将单幅图像映射到深度图像的过程拆分为两个子阶段。第一阶段中,网络学习图像的基本空间特征,得到粗糙尺度下的深度图像;第二阶段在前者的基础上,通过细节上的差异对比,优化深度图像,得到精细尺度下的深度图像。为了进一步提高深度估计的精度,在损失函数中引入了L1距离,让网络可以学习像素到像素的映射关系,避免出现较大的偏差与失真。在公开的室外场景数据集Make3D上的实验结果表明,与同类型算法相比,该算法的平均相对误差、均方根误差取得更好的效果。     

基于深度学习的双通道夜视图像复原方法

针对夜间场景光线微弱、能见度低导致夜视图像信噪比低、成像质量差的问题,提出了基于深度学习的双通道夜视图像复原方法。首先,用两种基于全连接多尺度残差学习分块（FMRB）的卷积神经网络（CNN）分别对红外夜视图像和微光夜视图像进行多尺度特征提取和层次特征融合,从而得到重建的红外图像和增强的微光图像;然后,两种处理后的图像通过自适应加权平均算法进行融合,并根据场景的不同自适应地凸显两个图像中具有更高显著性的有效信息;最后,得到分辨率高且视觉效果好的夜视复原图像。使用基于FMRB的深度学习网络得到的红外夜视重建图像,相较于卷积神经网络超分辨率（SRCNN）重建算法得到的在峰值信噪比（PSNR）和结构相似性（SSIM）的平均值上分别提升了3.56 dB和0.091 2;相较于MSRCR,得到的微光夜视增强图像在PSNR和SSIM的平均值上分别提升了6.82 dB和0.132 1。实验结果表明,所提方法得到的重建图像的清晰度明显得到改善,获得的增强图像的亮度也明显得到提升,而且前二者的融合图像的视觉效果较好,可见所提方法能有效改善夜视图像的复原效果。     

生成对抗网络下的低剂量CT图像增强

为去除低剂量计算机断层扫描（LDCT）图像中的噪声,增强去噪后图像的显示效果,提出一种生成对抗网络（GAN）下的LDCT图像增强算法。首先,将GAN与感知损失、结构损失相结合对LDCT图像进行去噪;然后,对去噪后的图像分别进行动态灰度增强和边缘轮廓增强;最后,利用非下采样轮廓波变换（NSCT）将增强后的图像在频域上分解为具有多方向性的系数子图,并将配对的高低频子图使用卷积神经网络（CNN）进行自适应融合,以重构得到增强后的计算机断层扫描（CT）图像。使用AAPM比赛公开的真实临床数据作为实验数据集,进行图像去噪、增强、融合实验,所提方法在峰值信噪比（PSNR）、结构相似度（SSIM）和均方根误差（RMSE）上的结果分别为33.015 5 dB、0.918 5和5.99。实验结果表明,所提算法在去除噪声的同时能保留CT图像的细节信息,提高图像的亮度和对比度,有助于医生更加准确地分析病情。     

基于多级特征的红外图像行人检测算法

由于可见光图像和红外图像的成像原理不同,可见光图像的行人检测算法难以直接应用于红外图像中.为此,提出一种基于多级梯度特征的红外图像行人检测算法.使用改进的图像显著性检测算法提取红外图像的关键区域,应用质心重定位的滑窗算法快速定位其中的高亮区,采用Zernike矩判断图像的对称性及与行人特征的相似性,通过基于边缘信息输入的卷积神经网络模型逐级缩小判定范围.在OTCBVS红外图像行人数据集上的实验结果表明,与稀疏表示算法相比,该算法的检测准确率较高.     

基于代码图像合成的Android恶意软件家族分类方法

代码图像化技术被提出后在Android恶意软件研究领域迅速普及。针对使用单个DEX文件转换而成的代码图像表征能力不足的问题,提出了一种基于代码图像合成的Android恶意软件家族分类方法。首先,将安装包中的DEX、XML与反编译生成的JAR文件进行灰度图像化处理,并使用Bilinear插值算法来放缩处理不同尺寸的灰度图像,然后将三张灰度图合成为一张三维RGB图像用于训练与分类。在分类模型上,将软阈值去噪模块与基于Split-Attention的ResNeSt相结合提出了STResNeSt。该模型具备较强的抗噪能力,更能关注代码图像的重要特征。针对训练过程中的数据长尾分布问题,在数据增强的基础上引入了类别平衡损失函数（CB Loss）,从而为样本不平衡造成的过拟合现象提供了解决方案。在Drebin数据集上,合成代码图像的准确率领先DEX灰度图像2.93个百分点,STResNeSt与残差神经网络（ResNet）相比准确率提升了1.1个百分点,且数据增强结合CB Loss的方案将F1值最高提升了2.4个百分点。实验结果表明,所提方法的平均分类准确率达到了98.97%,能有效分类Android恶意软件家族。     

自适应置信度阈值的非限制场景车牌检测算法

针对车牌检测模型泛化性低,在智慧交通的不同应用场景中复用困难的问题,提出一种自适应置信度阈值的非限制场景车牌检测算法。首先,构建多预测头网络模型,利用分割预测头减少模型复用的预处理工作,利用自适应置信度阈值预测头提升模型的检测能力,并利用多尺度融合机制及边框回归预测头来提升模型的泛化能力;其次,采用可微分二值网络训练方法,利用可微分二值变换联合训练分类置信度及置信度阈值来学习模型参数;最后,利用连通感知非极大值抑制（CANMS）方法提升车牌检测的后处理速度,并引入轻量级网络ResNet18作为特征提取骨干网络,以减少模型参数量,进一步地提高检测速度。实验结果表明,在中国城市停车场数据集（CCPD）的6个不同限制条件特点的场景中,所提算法可获得平均99.5%的准确率与99.8%的召回率,并达到每秒70帧的高效检测速率,优于Faster R-CNN、SSD等锚框类算法的性能;在3个补充场景测试集上,所提算法对不同分辨率、不同拍摄距离、不同拍摄俯仰角等非限制场景下的车牌检测精度均高于90%。可见,所提算法在非限制场景下具备良好的检测性能及泛化能力,可以满足模型复用的要求。     

3-D Depth Reconstruction from a Single Still Image

We consider the task of 3-d depth estimation from a single still image. We take a supervised learning approach to this problem, in which we begin by collecting a training set of monocular images (of unstructured indoor and outdoor environments which include forests, sidewalks, trees, buildings, etc.) and their corresponding ground-truth depthmaps. Then, we apply supervised learning to predict the value of the depthmap as a function of the image. Depth estimation is a challenging problem, since local features alone are insufficient to estimate depth at a point, and one needs to consider the global context of the image. Our model uses a hierarchical, multiscale Markov Random Field (MRF) that incorporates multiscale local- and global-image features, and models the depths and the relation between depths at different points in the image. We show that, even on unstructured scenes, our algorithm is frequently able to recover fairly accurate depthmaps. We further propose a model that incorporates both monocular cues and stereo (triangulation) cues, to obtain significantly more accurate depth estimates than is possible using either monocular or stereo cues alone.     

基于双注意力机制信息蒸馏网络的图像超分辨率复原算法

针对超分辨率复原技术中网络层数不断加深导致的网络训练困难、特征信息利用率低等问题,设计并实现了一种基于双注意力的信息蒸馏网络(IDN)的图像超分辨率复原算法.首先,利用IDN较低的计算复杂度及信息蒸馏模块提取更多特征的优势,通过引入残差注意力模块(RAM)并考虑图像通道之间的相互依赖性来自适应地重新调整特征权重,从而进...     

基于Canny边缘SURF特征的红外与可见光图像配准算法

利用多源传感器之间获取信息的互补性,克服单传感器的缺陷,从而提高系统整体性能指标的思想已经在军事、医疗、卫星等领域获得了广泛的应用。可见光和红外图像相融合也能提高视觉应用场景中对目标的探测能力,降低目标警报的虚警率和漏警率,提升准确率和工作效益。对于红外与可见光图像配准过程中受不同传感器图像成像原理不同,成像结果图像灰度差异大、特征难以匹配的问题,可以利用红外和可见光图像的共有特征即边缘轮廓特征,采用Canny边缘提取算法提取出图像最基本、稳定的特征,然后在边缘图中使用SURF特征检测算法进行特征点提取与匹配,最后采用RANSAC进行精准匹配。由于边缘在红外和可见光图像中都是比较稳定的特征,而且在边缘轮廓图中进行特征提取将极大减少计算量和提高匹配率,因而最终能够获得较为准确的红外、可见光图像的变换关系。     

基于ResNet的音频场景声替换造假的检测算法

针对造假成本低、不易察觉的音频场景声替换的造假样本检测问题，提出了基于ResNet的造假样本检测算法。该算法首先提取音频的常数Q频谱系数（CQCC）特征，之后由残差网络（ResNet）结构学习输入的特征，结合网络的多层的残差块以及特征归一化，最后输出分类结果。在TIMIT和Voicebank数据库上，所提算法的检测准确率最高可达100%，错误接收率最低仅为1.37%。在现实场景下检测由多种不同录音设备录制的带有设备本底噪声以及原始场景声音频，该算法的检测准确率最高可达99.27%。实验结果表明，在合适的模型下利用音频的CQCC特征来检测音频的场景替换痕迹是有效的。