基于多尺度特征多对抗网络的雾天图像识别

目的 当前的大型数据集,例如ImageNet,以及一些主流的网络模型,如ResNet等能直接高效地应用于正常场景的分类,但在雾天场景下则会出现较大的精度损失。雾天场景复杂多样,大量标注雾天数据成本过高,在现有条件下,高效地利用大量已有场景的标注数据和网络模型完成雾天场景下的分类识别任务至关重要。方法 本文使用了一种低成本的数据增强方法,有效减小图像在像素域上的差异。基于特征多样性和特征对抗的思想,提出多尺度特征多对抗网络,通过提取数据的多尺度特征,增强特征在特征域分布的代表性,利用对抗机制,在多个特征上减少特征域上的分布差异。通过缩小像素域和特征域分布差异,进一步减小领域偏移,提升雾天场景的分类识别精度。结果 在真实的多样性雾天场景数据上,通过消融实验,使用像素域数据增强方法后,带有标签的清晰图像数据在风格上更趋向于带雾图像,总的分类精度提升了8.2%,相比其他的数据增强方法,至少提升了6.3%,同时在特征域上使用多尺度特征多对抗网络,相比其他的网络,准确率至少提升了8.0%。结论 像素域数据增强以及多尺度特征多对抗网络结合的雾天图像识别方法,综合考虑了像素域和特征域的领域分布差异,结合了多尺度的丰富特征信息,同时使用多对抗来缩小雾天数据的领域偏移,在真实多样性雾天数据集上获得了更好的图像分类识别效果。     

可见光-远红外图像的多模态能见度深度学习模型

为了增强能见度深度学习模型在小样本条件下的准确率和鲁棒性,提出一种基于可见光-远红外图像的多模态能见度深度学习方法.首先,利用图像配准获取视野范围与分辨率均相同的可见光-远红外输入图像对;然后,构造三分支并行结构的多模态特征融合网络;分别在可见光图像、远红外图像及其累加特征图中提取不同性质的大气特征,各分支的特征信息通过网络结构实现模态互补与融合;最后在网络末端输出图像场景所对应的能见度的等级.采用双目摄像机收集不同天气情况下的室外真实可见光-远红外图像作为实验数据,在不同性能指标、多角度下的实验结果表明,与传统单模态能见度深度学习模型相比,多模态能见度模型可显著提高小样本条件下能见度检测的准确率和鲁棒性.     

基于物理模型的雾天图像复原新方法

由于雾天场景的能见度很低,因此为了保证视频监控系统的正常工作,需要对视频图像进行去雾处理。根据光学原理,雾天条件下场景的能见度下降是与场景深度呈指数关系的,鉴于现有的基于物理模型方法的去雾效果不够理想,因此提出了一种新的基于物理模型的图像复原方法,该方法首先对雾天场景的光学成像建模;然后借助于一张晴天和一张雾天场景的参考图像,计算出场景各点的深度比关系,最后利用深度关系复原雾天图像或雾天视频。实验结果证明,该方法是有效的和实用的。     

雾天车道线识别方法：FoggyCULane数据集的创建

为了提高深度学习算法在雾天场景下的车道线识别率,扩充雾天车道线数据集是有效途径之一。以目前最具有权威性的CULane数据集为基础,通过对该数据集内晴天车道线图片进行单幅图像深度提取,随后依照大气散射模型生成3种不同浓度的雾天车道线图片,并保留原图的车道线标签,以此方法实现对CULane数据集的人为扩充。通过增加了107?451张带标签的雾天车道线图像,从而将原始CULane数据集扩充了1.8倍,建立了包含雾天图像的新车道线数据集FoggyCULane。分别采用原始CULane数据集和FoggyCULane数据集对SCNN车道识别网络进行训练,并将训练结果在包含3种不同浓度雾天场景的12种复杂车道线场景中进行测试评估,以验证该方法的有效性。研究结果表明,人工生成雾天场景车道线图片以扩充数据集的方法能够在薄雾情况下将雾天车道线的识别率从74.65%提升至86.65%,在中度雾下从51.41%提升至81.53%,在浓雾下从11.09%提升至70.41%。     

基于多粒度与自修复融合的人脸表情识别

为有效提取和融合表情多粒度特征信息，降低自然场景人脸表情数据集存在不确定性和错误数据等因素致使准确率难以满足现实需求的问题，基于深度卷积神经网络提出多粒度与自修复融合的表情识别模型。采用拼图生成器生成不同粒度图像，利用渐进式的训练过程学习不同粒度图像之间互补的特征信息，采用自修复方法避免网络过度拟合错误样本图像，对错误样本进行重新标注。在AffectNet数据集和RAF-DB数据集上准确率分别达到了63.94%和87.10%,实验结果表明，该模型具有较高的准确率和良好的鲁棒性。     

基于轻量级迁移学习的无人机航拍视频图像天气场景分类

针对传统航拍视频图像CNN模型天气分类效果差、无法满足移动设备应用以及现有天气图像数据集匮乏且场景单一的问题, 构建了晴天、雨天、雪天、雾天4类面向多场景的无人机航拍天气图像数据集, 并提出了基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型. 该模型采用迁移学习的方法, 在ImageNet数据集上训练好两种轻量级CNN, 并设计3个轻量级CNN分支进行特征提取. 特征提取首先采用ECANet注意力机制改进的EfficientNet-b0作为主分支提取整幅图像特征, 并使用两个MobileNetv2分支分别对天空和非天空局部独有的深层特征进行提取. 其次, 通过Concatenate将这3个区域进行特征融合. 最后, 使用Softmax层对4类天气场景实现分类. 实验结果表明, 该方法应用于移动等计算受限设备时对于天气场景分类的识别准确率达到了97.3%, 有着较好的分类效果.     

基于AlexNet算法的道路能见度估测方法

本文采用AlexNet神经网络算法构建一个高速公路能见度识别的框架，通过对道路摄像头图像的采集，对图像进行标注、对AlexNet算法进行训练，提取图像能见度特征，构建能见度等级识别模型，实时接入道路摄像头图像，实现能见度值的估测。通过对安徽省高速公路42个监控摄像机进行图像的采集，抽取标注有能见度值的15万余幅样本，进行能见度识别结果分析，结果显示平均识别率达到78.02%，其中有14个站点的识别率超过90%，21个站点的识别率在80%以上。基于AlexNet算法的道路能见度估测方法能够满足道路能见度实时性和识别准确率的要求，可以作为能见度仪未安装地区的能见度辅助监测方法，同时对于光照变化、远近距离等都具有良好的鲁棒性。     

一种基于迁移学习的能见度检测方法

为学习可有效反映能见度的视觉特征,解决大规模训练数据集构建困难的问题,提出一种将深度卷积神经网络应用于能见度检测的方法。将样本图像划分为多个子区域,利用预训练的VGG-16网络对其进行编码。通过编码特征集训练支持向量回归模型,并根据支持向量误差计算各子区域的融合权重,按权重融合子区域能见度估计值。实验结果表明,该方法检测正确率超过90%,可满足实际应用的需求。     

可解译深度网络的多光谱遥感图像融合

目的 多光谱图像融合是遥感领域中的重要研究问题,变分模型方法和深度学习方法是目前的研究热点,但变分模型方法通常采用线性先验构建融合模型,难以描述自然场景复杂非线性关系,导致成像模型准确性较低,同时存在手动调参的难题;而主流深度学习方法将融合过程当做一个黑盒,忽视了真实物理成像机理,因此,现有融合方法的性能依然有待提升。为了解决上述问题,提出了一种基于可解译深度网络的多光谱图像融合方法。方法 首先构建深度学习先验描述融合图像与全色图像之间的关系,基于多光谱图像是融合图像下采样结果这一认知构建数据保真项,结合深度学习先验和数据保真项建立一种新的多光谱图像融合模型,提升融合模型准确性。采用近端梯度下降法对融合模型进行求解,进一步将求解步骤映射为具有明确物理成像机理的可解译深度网络架构。结果 分别在Gaofen-2和GeoEye-1遥感卫星仿真数据集,以及QuickBird遥感卫星真实数据集上进行了主客观对比实验。相对于经典方法,本文方法的主观视觉效果有了显著提升。在Gaofen-2和GeoEye-1遥感卫星仿真数据集,相对于性能第2的方法,本文方法的客观评价指标全局相对无量纲误差(relat...     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

基于分层精简双线性注意力网络的鱼类识别

由于水下鱼类图像采集困难,现有的数据集主要以视频提取为主,采集到的鱼类图像存在背景环境复杂、像素低下等问题,使得细粒度鱼类图像识别任务难度较大。针对上述问题,提出了一种基于空间域注意力机制和分层精简双线性特征融合的网络。识别网络可进行端到端的训练,由两部分组成：第一部分是以空间变换网络（STN）为注意力机制的背景过滤网络;第二部分以vgg16网络作为特征提取器,根据高层卷积部分对鱼类图像细粒度特征响应的差异性,选取三组特征进行降维近似的网络精简融合,最终级联三组融合的特征送入softmax分类器。特征提取网络以ImageNet数据集上训练的参数进行初始化,采用鱼类数据集进一步微调。通过在F4K鱼类数据集上的对比验证,结果表明,所提出的分层精简双线性注意力网络（STN-H-CBP）在降低特征维度减少计算量的同时,在该数据集上的表现与现有的最优方法相当。     

基于多尺度特征迁移学习的步态识别研究

为了解决行人步态数据集样本量较少、单特征或多特征融合的步态识别算法特征描述不足的问题,提出了一种基于多尺度特征深度迁移学习的行人步态识别方法。该算法步骤包括：改进VGG-16网络,去除网络中最后一个最大池化层（Maxpool Layer）,融合空间金字塔池化网络结构（SPP）获取行人步态能量图（GEI）的多尺度信息,利用Imagenet数据集预训练此网络模型,将提取特征能力迁移至行人步态识别网络模型中,采用行人步态样本集微调网络,修改网络中的全连接层参数,应用于行人步态识别研究。该方法在中科院自动化研究所的CASIA-B步态数据集上的识别精度达到了95.7%,与单一步态特征的步态识别方法以及融合多种步态特征的识别方法相比,步态识别率有了明显提升,表明该方法有更好的识别性能。     

基于卷积神经网络的多尺度葡萄图像识别方法

葡萄品种质量检测需要识别多类别的葡萄，而葡萄图片中存在多种景深变化、多串等多种场景，单一预处理方法存在局限导致葡萄识别的效果不佳。实验的研究对象是大棚中采集的15个类别的自然场景葡萄图像，并建立相应图像数据集Vitis-15。针对葡萄图像中同一类别的差异较大而不同类别的差异较小的问题，提出一种基于卷积神经网络（CNN）的多尺度葡萄图像识别方法。首先，对Vitis-15数据集中的数据通过三种方法进行预处理：旋转图像的数据扩增方法、中心裁剪的多尺度图像方法以及前两种方法的数据融合方法；然后，采用迁移学习方法和卷积神经网络方法来进行分类识别，迁移学习选取ImageNet上预训练的Inception V3网络模型，卷积神经网络采用AlexNet、ResNet、Inception V3这三类模型；最后，提出适合Vitis-15的多尺度图像数据融合的分类模型MS-EAlexNet。实验结果表明，在同样的学习率和同样的测试集上，数据融合方法在MS-EAlexNet上的测试准确率达到了99.92%，相较扩增和多尺度图像方法提升了近1个百分点，并且所提方法在分类小样本数据集上具有较高的效率。     

基于异构特征聚合的局部视图扭曲型纸币识别

如何识别同一物体的不同结构的表现形式,对于机器而言,是一个比较困难的识别工作.本文以易变形的纸币为例,提出了一种基于异构特征聚合的局部视图扭曲型纸币识别方法.首先利用灰度梯度共生矩阵、Haishoku算法和圆形LBP分别获得纹理风格、色谱风格和纹理,这些特征从不同的角度描述了局部纸币图像,然后通过VGG-16、ResN...     

基于改进双流法的井下配电室巡检行为识别

井下配电室监控视频持续时间较长且行为类型复杂,传统双流卷积神经网络(CNN)法对此类行为识别效果较差.针对该问题,对双流CNN法进行改进,提出了一种基于改进双流法的井下配电室巡检行为识别方法.通过场景分析,将巡检行为分为站立检测、下蹲检测、走动、站立记录、坐下记录5种类型,并制作了巡检行为数据集IBDS5.将每个巡检行为视频等分为3个部分,分别对应巡检开始、巡检中和巡检结束;对3个部分视频分别随机采样,获取代表空间特征的RGB图像和代表运动特征的连续光流图像,并分别输入空间流网络和时间流网络进行特征提取;对2个网络的预测特征进行加权融合,获取巡检行为识别结果.实验结果表明,以Res Net152网络结构为基础,且权重比例为1∶2的空间流和时间流双流融合网络具有较高的识别准确度,Top-1准确度达到98.92%;本文方法在IBDS5数据集和公共数据集UCF101上的识别准确率均优于3D-CNN、传统双流CNN等现有方法.     

基于雨雾分离处理和多尺度网络的图像去雨方法

雨带来的雨条纹和雨雾会降低户外拍摄图像的质量,为了去除雨雾对图像的影响,提出了一种基于雨雾分离处理和多尺度卷积神经网络的图像去雨方法。首先利用导向滤波将雨线和图像细节信息提取到高频层,雨雾和背景信息则分离到低频层;然后构建多尺度卷积神经网络来去除高频层中的雨线,网络中融入多个稠密连接模块以提升特征提取的准确性;其次构建多层特征融合的轻量级去雾网络来去除低频层中的雨雾,采用参数一体化结构避免了估计多个大气散射模型参数导致的次优解;最后再结合处理后的高低频结果还原出清晰图像。在多个合成的雨雾数据集以及真实自然场景图像上进行测试,定性和定量结果表明,提出的方法在去除雨雾影响的同时较好地保留了色彩信息,和近年的算法相比,图像结构相似性约提升了0.02~0.08,图像峰值信噪比约提升了0.2~3.5 dB。     

高速公路气象数据融合滤波与短时雨雾预测

高速公路路域内雨雾气象数据呈现多源、异构特性,对其进行短时精准预测存在很大难度;针对该问题,在利用联合概率法求得数据之间联合概率的基础上构建异构数据融合模型,并将该融合模型与卡尔曼滤波方法相结合,建立面向多源异构气象数据的协同融合滤波模型;在此基础上,利用贝叶斯最大熵方法,结合雨雾经验理论、融合滤波后的数据以及原始雨雾数据,实现了对高速公路目标路段雨雾天气的短时精准预测;实验结果表明,该方法能够为用户提供精准、稳定的高速公路短时雨雾气象预测结果,对减少交通事故,合理进行交通管制具有重要意义。     

Vehicle color recognition based on smooth modulation neural network with multi-scale feature fusion

Vehicle Color Recognition (VCR) plays a vital role in intelligent traffic management and criminal investigation assistance. However, the existing vehicle color datasets only cover 13 classes, which can not meet the current actual demand. Besides, although lots of efforts are devoted to VCR, they suffer from the problem of class imbalance in datasets. To address these challenges, in this paper, we propose a novel VCR method based on Smooth Modulation Neural Network with Multi-Scale Feature Fusion (SMNN-MSFF). Specifically, to construct the benchmark of model training and evaluation, we first present a new VCR dataset with 24 vehicle classes, Vehicle Color-24, consisting of 10091 vehicle images from a 100-hour urban road surveillance video. Then, to tackle the problem of long-tail distribution and improve the recognition performance, we propose the SMNN-MSFF model with multi-scale feature fusion and smooth modulation. The former aims to extract feature information from local to global, and the latter could increase the loss of the images of tail class instances for training with class-imbalance. Finally, comprehensive experimental evaluation on Vehicle Color-24 and previously three representative datasets demonstrate that our proposed SMNN-MSFF outperformed state-of-the-art VCR methods. And extensive ablation studies also demonstrate that each module of our method is effective, especially, the smooth modulation efficiently help feature learning of the minority or tail classes. Vehicle Color-24 and the code of SMNN-MSFF are publicly available and can contact the author to obtain.     

基于视频分段的空时双通道卷积神经网络的行为识别

针对原始空时双通道卷积神经网络（CNN）模型对长时段复杂视频中行为识别率低的问题，提出了一种基于视频分段的空时双通道卷积神经网络的行为识别方法。首先将视频分成多个等长不重叠的分段，对每个分段随机采样得到代表视频静态特征的帧图像和代表运动特征的堆叠光流图像；然后将这两种图像分别输入到空域和时域卷积神经网络进行特征提取，再在两个通道分别融合各视频分段特征得到空域和时域的类别预测特征；最后集成双通道的预测特征得到视频行为识别结果。通过实验讨论了多种数据增强方法和迁移学习方案以解决训练样本不足导致的过拟合问题，分析了不同分段数、预训练网络、分段特征融合方案和双通道集成策略对行为识别性能的影响。实验结果显示所提模型在UCF101数据集上的行为识别准确率达到91.80%，比原始的双通道模型提高了3.8个百分点；同时在HMDB51数据集上的行为识别准确率也比原模型提高，达到61.39%，这表明所提模型能够更好地学习和表达长时段复杂视频中人体行为特征。