改进BPDN的图像去雨雪应用研究

在视频图像数据采集时,往往受到天气等因素的影响,为进一步研究视频图像数据的主要信息增加了困难。雨、雪天气作为视频图像数据预处理中最为困难的研究,近几年一直是各学者研究的课题。针对传统基追踪去噪（BPDN）算法没有考虑雨、雪图像的局部特征问题,提出一种基于改进BPDN的图像去雨雪算法。将局部特征约束理论引入图像去雨雪中,主要是在精炼雨图提取的稀疏系数优化问题求解中加入训练图像数据的局部信息,以达到提高雨线的识别,进而提高图像的雨线去除效果。引入局部信息的优化问题可以推导为二次规划问题,为使用BPDN算法提供了理论支持。合成和真实图像去雨实验结果表明,改进的BPDN算法在算法收敛性、精炼雨图识别、图像去雨效果上优于传统BPDN算法所得到的结果。     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

基于特征融合的室外天气图像分类

天气状况对室外视频设备的成像效果有很大影响。为实现成像设备在恶劣天气下的自适应调整,从而提升智能监控系统的效果,同时针对传统的天气图像判别方法分类效果差且对相近天气现象不易分类的不足,以及深度学习方法识别天气准确率不高的问题,提出了一个将传统方法与深度学习方法相结合的特征融合模型。融合模型采用4种人工设计算法提取传统特征,采用AlexNet提取深层特征,利用融合后的特征向量进行图像天气状况的判别。融合模型在多背景数据集上的准确率达到93.90%,优于对比的3种常用方法,并且在平均精准率（AP）和平均召回率（AR）指标上也表现良好;在单背景数据集上的准确率达到96.97%,AP和AR均优于其他模型,且能很好识别特征相近的天气图像。实验结果表明提出的特征融合模型可以结合传统方法和深度学习方法的优势,提升现有天气图像分类方法的准确度,同时提高在特征相近的天气现象下的识别率。     

基于Transformer的多分支单图像去雨方法

雨纹会严重降低拍摄图像的质量,影响后续计算机视觉任务。为了提高雨天图像的质量,提出了一种基于Transformer的单图像去雨算法。首先,该算法通过具有窗口机制的Transformer获得大范围的感受野,进而获取雨纹特征的上下文信息,提高模型提取雨纹特征的能力;其次,该算法通过多分支模块提取和融合不同种类、不同层次的特征,提高模型对复杂雨纹信息的表征能力;最后通过残差连接融合浅层特征和深层特征,补全深层特征中缺失的细节信息,增强网络表达能力。在公开数据集Rain100L、Rain100H和私有数据集Rain3000上的实验结果表明,该方法相较于现有算法,能更有效地去除雨纹,同时更好地恢复图像中丢失的背景纹理信息。峰值信噪比和结构相似度（PSNR/SSIM）分别达到38.33/0.9855、28.42/0.9000、34.51/0.9643。     

基于轻量级迁移学习的无人机航拍视频图像天气场景分类

针对传统航拍视频图像CNN模型天气分类效果差、无法满足移动设备应用以及现有天气图像数据集匮乏且场景单一的问题, 构建了晴天、雨天、雪天、雾天4类面向多场景的无人机航拍天气图像数据集, 并提出了基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型. 该模型采用迁移学习的方法, 在ImageNet数据集上训练好两种轻量级CNN, 并设计3个轻量级CNN分支进行特征提取. 特征提取首先采用ECANet注意力机制改进的EfficientNet-b0作为主分支提取整幅图像特征, 并使用两个MobileNetv2分支分别对天空和非天空局部独有的深层特征进行提取. 其次, 通过Concatenate将这3个区域进行特征融合. 最后, 使用Softmax层对4类天气场景实现分类. 实验结果表明, 该方法应用于移动等计算受限设备时对于天气场景分类的识别准确率达到了97.3%, 有着较好的分类效果.     

雾霾图像清晰化算法综述

雾霾图像不仅影响视觉效果,而且模糊不清晰的图像容易为后续识别、理解等高层次任务带来困难。雾霾图像清晰化问题是一个典型的不适定问题,其成像过程难以精确建模,消除图像中的雾霾面临巨大的挑战。近年来,研究者提出大量的图像去雾算法克服雾霾引起的图像降质退化,为全面认识和理解图像清晰化算法,论文对其进行梳理和综述。首先,对雾霾图像清晰化算法进行整理,根据雾霾退化过程是否有模型支持,将清晰化算法分为基于Retinex模型、大气散射模型去雾算法和无模型图像去雾算法。大气散射模型是有模型算法中主流模型,本文详细剖析了模型成像机理,并根据其成像机制揭示大气散射模型容易受大气浓度均匀分布假设的限制,较难处理非均匀雾霾图像问题。基于深度学习的无模型图像去雾算法则不仅可以应对非均匀雾霾图像,而且去雾性能获得了极大地提升。其次,本文汇总了近年来常用去雾数据集,从数据集适应范围、规模、可扩展性等多个维度进行总结。并根据雾霾图像形成方式,对人工合成雾霾数据集和真实拍摄数据集分别从定性和定量的角度探讨了数据集对图像去雾算法的影响。     

基于室外图像的天气现象识别方法

为提高室外视频监控的准确率,实现天气现象的自动观测,提出了一种基于室外图像的天气现象识别方法,该方法通过分析天气现象对图像的影响,提取图像功率谱斜率、对比度、噪声和饱和度等特征进行训练与分类,在训练过程中根据类别之间的特征距离建立分类决策树,并为决策树上非叶子节点构造支持向量机（SVM）分类器,并在每个分类器构造过程中通过对特征赋权值实现对特征的选择。通过对WILD图像数据库和采集图像集不同天气800个样本的测试,除了对降雨的识别率较低(75%)外,对晴、阴、雾天气的识别率均高于85%。     

基于生成对抗网络的图像去雾算法

与基于图像增强的去雾算法和基于物理模型的去雾算法相比,基于深度学习的图像去雾方法在一定程度上提高计算效率,但在场景复杂时仍存在去雾不彻底及颜色扭曲的问题.针对人眼对全局特征和局部特征的感受不同这一特性,文中构建基于生成对抗网络的图像去雾算法.首先设计多尺度结构的生成器网络,分别以全尺寸图像和分割后的图像块作为输入,提取图像的全局轮廓信息和局部细节信息.然后设计一个特征融合模块,融合全局信息和局部信息,通过判别网络判断生成无雾图像的真假.为了使生成的去雾图像更接近对应的真实无雾图像,设计多元联合损失函数,结合暗通道先验损失函数、对抗损失函数、结构相似性损失函数及平滑L1损失函数训练网络.在合成数据集和真实图像上与多种算法进行实验对比,结果表明,文中算法的去雾效果较优.     

跨层协同注意和通道分组注意的细粒度图像分类

细粒度图像分类的主要挑战在于类间的高度相似性和类内的差异性. 现有的研究多数基于深层的特征而忽略了浅层细节信息, 然而深层的语义特征由于多次卷积和池化操作往往会丢失大量的细节信息. 为了更好地整合浅层和深层的信息, 提出了基于跨层协同注意和通道分组注意的细粒度图像分类方法. 首先, 通过ResNet50加载预训练模型作为骨干网络提取特征, 由最后3个阶段提取的特征以3个分支的形式输出, 每一个分支的特征通过跨层的方式与其余两个分支的特征计算协同注意并交互融合, 其中最后一个阶段的特征经过通道分组注意模块以增强语义特征的学习能力. 模型训练可以高效地以端到端的方式在没有边界框和注释的情况下进行训练, 实验结果表明, 该算法在3个常用细粒度图像数据集CUB-200-2011、Stanford Cars和FGVC-Aircraft上的准确率分别达到了89.5%、94.8%和94.7%.     

透射率与场景亮度分块优化的图像去雾算法

在图像去雾过程中,对大气光透射率估计不准确,会降低去雾图像场景亮度,并导致天空区域出现光晕现象。为此,提出一种基于分块优化透射率与自适应优化场景亮度的图像去雾算法。根据图像有雾程度评判标准对透射率进行分块优化,结合大气光强度求解大气散射模型获得无雾图像,并通过局部自适应调整图像灰度值来提高图像场景亮度。实验结果表明,相较于引导图滤波和对比度增加算法,该算法去雾后的图像更清晰,保边效果明显,且视觉效果更佳,适用于交通监管、安全监控和目标识别等应用领域。     

雾天条件下的视频图像复原方法及其应用

针对雾天户外视频图像的退化现象,提出一种基于大气模型的完全自适应视频图像复原方法。该方法根据单帧图像的灰度分布特性,求出天空区域灰度的最佳近似正态分布,再由这个近似正态分布得到天空区域的灰度均值,同时根据灰度直方图分割出各个景物的深度区域并求出归一化辐射率的值,利用同深度区域内像素点的对比度实现退化图像的复原。实验表明,该方法对雾天退化图像的清晰化效果较好。     

基于卷积神经网络的视频图像失真检测及分类*

为了检测不同失真类型的视频图像,实现对失真视频图像的分类处理,本文提出一种基于卷积神经网络的视频图像失真检测及分类方法。首先,将视频图像分割成较小的图像块作为输入,然后利用卷积神经网络主动学习特征,引入正负例均衡化和自适应学习速率减缓过拟合和局部最小值问题,由softmax分类器预测图像块的失真类型,最后采用多数表决规则,得到视频图像的预测类别。采用仿真标准图像库(LIVE)和实际监控视频库对本文方法进行性能测试,前者的总体分类准确率达到92.22%,后者的总体分类准确率达到92.86%。整体的分类准确率均高于已有的其他三种算法。引入正负例均衡化和自适应学习速率后,CNN的分类准确率得到明显提升。实验结果表明本文方法能主动学习图像质量特征,提高失真视频图像分类检测的准确率,通用于任意失真类型的视频图像分类检测,具有较强的鲁棒性和实用性。     

基于深度学习和迁移学习的水果图像分类

图像识别作为深度学习领域内的一项重要应用,水果图像的分类识别在智慧农业以及采摘机器人等方面具有重要应用。针对以往传统图像分类算法存在泛化能力差、准确率不高等问题,提出一种在TensorFlow框架下基于深度学习和迁移学习的水果图像分类算法。该算法采用Inception-V3的部分模型结构对水果图像数据进行特征提取,采用Softmax分类器对图像特征进行分类,并通过迁移学习方式进行训练得到迁移训练模型。测试结果表明,该算法与传统水果分类算法对比,具有较高识别准确率。     

基于密集卷积神经网络的遥感飞机识别

传统的飞机识别方法受模糊、遮挡、噪声以及光照等多种因素的干扰时会降低识别率,且卷积神经网络主要依赖局部特征,却丢失了轮廓特征等重要的全局结构化特征,从而导致算法对于受干扰飞机图像识别效果不佳。因此,基于密集卷积神经网络提出一种结合局部与全局特征的联合监督识别方法,以密集卷积神经网络为基础得到图像特征,通过结合局部特征（卷积神经网络特征）与全局特征（方向梯度直方图特征）进行分类,分类器目标函数使用softmax损失和中心损失联合监督方法。实验结果表明,局部特征与全局特征的结合使算法更加智能化,且损失函数联合监督方法能够实现图像深层特征的类内聚合、类间分散,该算法能有效解决卷积神经网络对受到多种干扰的遥感图像识别率低的问题。     

基于LBP统计特征的低分辨率安全帽识别

针对工地进出口的视频监控录像,考虑远距离低分辨率安全帽识别问题,探讨了低分辨率安全帽识别方法,分析了提取不同的特征和应用不同的分类器与识别率的关系.首先截取视频中的人头,获得大小为22*22的图像,然后分别提取图像的统计特征、局部二进制模式特征、快速主成分分析特征,再利用分类器和反向人工神经网络进行分类预测,最后计算测试样本的识别率.实验结果表明,提取图像的二进制模式统计特征,再结合反向人工神经网络的识别率效果最佳,识别率可达87.27%.     

DAGL-Faster: Domain adaptive faster r-cnn for vehicle object detection in rainy and foggy weather conditions

Convolutional neural networks (CNNs) have made remarkable progress in detecting vehicle objects in normal weather conditions. However, the performance of these networks deteriorates when faced with rain and fog, as these conditions degrade image quality and cause blurring. The network models trained on clear images perform poorly on rainy and foggy images due to the differences in distribution between normal weather and adverse weather conditions, leading to domain bias. To address this challenge, we present a novel algorithm called DAGL-Faster (Domain Adaptive Global-Local Alignment Faster RCNN) , which enables domain-adaptive vehicle object detection specifically for rainy and foggy weather. DAGL-Faster extends the Faster RCNN framework by incorporating three domain classifiers. These classifiers aid the network in extracting features that are invariant to the domain differences between the source domain (normal weather) and the target domains (rain or fog). The algorithm tackles the domain dissimilarities from three perspectives: local image-level, global image-level, and instance-level. Additionally, it introduces consistency regularization to facilitate simultaneous alignment at the image-level and instance-level, optimizing the overall alignment effect. Through extensive experiments, we demonstrate the efficacy of DAGL-Faster on two benchmark datasets: Foggy Cityscapes and Rain Vehicle Color-24. The algorithm achieves an impressive mean average precision (mAP) of up to 36.7% on the Foggy Cityscapes dataset and 49.79% on the Rain Vehicle Color-24 dataset. Moreover, DAGL-Faster demonstrates superior computational efficiency, with a processing time of 1.9 seconds per image using a single GTX 1080 Ti GPU. These results surpass state-of-the-art algorithms for popular domain adaptive object detection methods.