基于生成对抗网络的雾霾场景图像转换算法

本文提出了一种新的基于生成对抗网络的雾霾场景图像转换算法.生成对抗网络GAN作为无监督学习的方法,无法实现图像像素与像素之间映射,即生成图像不可控.因此,基于模型的加雾算法存在参数不确定性和应用场景局限性,本文提出了一种新方法的新应用,利用生成对抗网络实现图像转换.该方法基于生成对抗网络GAN模型,改进了GAN的生成器和判别器,进行有监督学习,以训练雾霾图像生成像素与像素之间的映射关系,实现无雾图像与有雾图像之间的转换.以图像加雾为例,本文分别设计了生成网络和判决网络,生成网络用于合成有雾图像,判决网络用于辨别合成的雾霾图像的真伪.考虑到雾霾场景图像转换的对应效果,设计了一种快捷链接沙漏形生成器网络结构,采用无雾图像作为生成网络输入,并输出合成后的有雾霾图像;具体来看,将生成网络分成编码和解码两部分,并通过相加对应间隔的卷积层来保留图像的底层纹理信息.为了更好地检验合成雾霾图像的真实程度,设计了漏斗形全域卷积判决器网络,将合成图像和目标图像分别通过判决器辨别真伪,采用全域卷积,利用神经网络进行多层下采样,最终实现分类判决,辨别图像风格.此外,本文提出了一种新的网络损失函数,通过计算GAN损失和绝对值损失之和,以训练得到更为优秀的图像转换结果.GAN损失函数的作用是使生成对抗网络GAN模型训练更加准确,而雾霾图像合成算法实际上是一个回归问题而非分类问题,生成器的作用不仅是训练判决器更加灵敏,更重要的是要生成与目标图像相似的图像.因此利用优化回归问题的绝对值损失函数,作用是为了准确学习像素间的映射关系,避免出现偏差和失真.最后本文对多类不同图像进行图像的雾霾场景转换并进行评估,分别测试该算法的图像加雾和去雾效果,并与其他算法进行对比测试.对于加雾效果,在合成场景、虚拟场景下,与软件合成效果进行对比,本文算法效果明显比软件合成效果好,不会出现色彩失真;在真实场景下,本文算法与真实拍摄的雾霾天气进行对比,结果十分相近;并且与其他GAN图像转换算法进行对比,本文算法具有明显的优势.同样本文算法在去雾效果上优势也十分明显.结果表明,本文所提基于生成对抗网络的雾霾场景图像转换算法,在主观效果和客观指标上均具有明显优势.     

深度学习在单图像三维模型重建的应用

针对基于单图像重建的三维模型具有高度不确定性问题,提出了一种基于深度图像估计、球面投影映射、三维对抗生成网络相结合的网络模型算法。首先,通过深度估计器得到输入图像的深度图像,这有利于对图像进一步的分析;其次,将得到的深度图像通过球面投影映射转换为三维模型;最后,利用三维对抗生成网络对重建的三维模型的真实性进行判断,建立更逼真的三维模型。理论分析和仿真实验表明,与学习先验知识生成三维模型的算法LVP相比,所提模型在真实三维模型与重建三维模型的交并比（IoU）上提高了20.1%,倒角距离（CD）缩小了13.2%。实验结果表明,所提模型在单视图三维模型重建中具有良好的泛化能力。     

基于组合学习的人脸超分辨率算法

现有的基于深度学习的人脸超分辨算法大部分仅仅利用一种网络分区重建高分辨率输出图像,并未考虑人脸图像中的结构性信息,导致了在人脸的重要器官重建上缺乏足够的细节信息。针对这一问题,提出一种基于组合学习的人脸超分辨率算法。该算法独立采用不同深度学习模型的优势重建感兴趣的区域,由此在训练网络的过程中每个人脸区域的数据分布不同,不同的子网络能够获得更精确的先验信息。首先,对人脸图像采用超像素分割算法生成人脸组件部分和人脸背景图像;然后,采用人脸组件生成对抗网络（C-GAN）独立重建人脸组件图像块,并采用人脸背景重建网络生成人脸背景图像;其次,使用人脸组件融合网络将两种不同模型重建的人脸组件图像块自适应融合;最后,将生成的人脸组件图像块合并至人脸背景图像中,重建出最终的人脸图像。在FEI数据集上的实验结果表明,与人脸图像超分辨率算法通过组件生成和增强学习幻构人脸图像（LCGE）及判决性增强的生成对抗网络（EDGAN）相比,所提算法的峰值信噪比（PSNR）值分别高出1.23 dB和1.11 dB。所提算法能够采用不同深度学习模型的优势组合学习重建更精准的人脸图像,同时拓展了图像重建先验的来源。     

基于多阶段生成对抗网络的单幅图像阴影去除方法

传统的深度学习阴影去除方法常常会改变非阴影区域的像素且无法得到边界过渡自然的阴影去除结果。为了解决该问题,基于生成对抗网络（GAN）提出一种新颖的多阶段阴影去除框架。首先,多任务驱动的生成器分别通过阴影检测子网和蒙版生成子网为输入图像生成相应的阴影掩膜和阴影蒙版;其次,在阴影掩膜和阴影蒙版的引导下,分别设计全影模块和半影模块,分阶段去除图像中不同类型的阴影;然后,以最小二乘损失为主导构建一种新的组合损失函数以得到更好的结果。与最新的深度学习阴影去除方法相比,在筛选数据集上,所提方法的平衡误差率（BER）减小约4.39%,结构相似性（SSIM）提高约0.44%,像素均方根误差（RMSE）减小约13.32%。实验结果表明该方法得到的阴影去除结果边界过渡更加平滑。     

生成对抗映射网络下的图像多层感知去雾算法

雾霾常会影响获取图像的质量,单幅图像去雾是一个具有挑战性的不适定问题.针对传统的去雾方法存在去雾结果颜色失真、适用范围局限等问题,提出一种基于深度网络的去雾算法——生成对抗映射网络的多层感知去雾算法.在训练阶段中,利用生成对抗映射网络里判别网络与生成网络间对抗式训练机制,保证生成网络中参数的最优解;在测试还原过程中,先提取有雾图像中雾气相关特征,并利用训练得到的生成网络对提取特征进行多层感知映射,进而得到反映雾气深度信息的透视率,最终运用得到的透视率实现了图像去雾.实验结果表明,与同类算法相比,该算法能较好地还原出场景中目标的真实色彩,并抑制部分噪声,去雾效果明显.     

条件生成对抗遥感图像时空融合

目的 卫星遥感技术在硬件方面的局限导致获取的遥感图像在时间与空间分辨率之间存在矛盾,而时空融合提供了一种高效、低成本的方式来融合具有时空互补性的两类遥感图像数据（典型代表是Landsat和MODIS （moderate-resolution imaging spectroradiometer）图像）,生成同时具有高时空分辨率的融合数据,解决该问题。方法 提出了一种基于条件生成对抗网络的时空融合方法,可高效处理实际应用中的大量遥感数据。与现有的学习模型相比,该模型具有以下优点：1）通过学习一个非线性映射关系来显式地关联MODIS图像和Landsat图像;2）自动学习有效的图像特征;3）将特征提取、非线性映射和图像重建统一到一个框架下进行优化。在训练阶段,使用条件生成对抗网络建立降采样Landsat和MODIS图像之间的非线性映射,然后在原始Landsat和降采样Landsat之间训练多尺度超分条件生成对抗网络。预测过程包含两层：每层均包括基于条件生成对抗网络的预测和融合模型。分别实现从MODIS到降采样Landsat数据之间的非线性映射以及降采样Landsat与原始Landsat之间的超分辨率首建。结果 在基准数据集CIA （coleam bally irrigation area）和LGC （lower Gwydir catchment）上的结果表明,条件生成对抗网络的方法在4种评测指标上均达到领先结果,例如在CIA数据集上,RMSE （root mean squared error）、SAM （spectral angle mapper）、SSIM （structural similarity）和ERGAS （erreur relative global adimensionnelle desynthese）分别平均提高了0.001、0.15、0.008和0.065;在LGC数据集上分别平均提高了0.001 2、0.7、0.018和0.008 9。明显优于现有基于稀疏表示的方法与基于卷积神经网络的方法。结论 本文提出的条件生成对抗融合模型,能够充分学习Landsat和MODIS图像之间复杂的非线性映射,产生更加准确的融合结果。     

基于多孔卷积神经网络的图像深度估计模型

针对在传统机器学习方法下单幅图像深度估计效果差、深度值获取不准确的问题，提出了一种基于多孔卷积神经网络（ACNN）的深度估计模型。首先，利用卷积神经网络（CNN）逐层提取原始图像的特征图；其次，利用多孔卷积结构，将原始图像中的空间信息与提取到的底层图像特征相互融合，得到初始深度图；最后，将初始深度图送入条件随机场（CRF），联合图像的像素空间位置、灰度及其梯度信息对所得深度图进行优化处理，得到最终深度图。在客观数据集上完成了模型可用性验证及误差估计，实验结果表明，该算法获得了更低的误差值和更高的准确率，均方根误差（RMSE）比基于机器学习的算法平均降低了30.86%，而准确率比基于深度学习的算法提高了14.5%，所提算法在误差数据和视觉效果方面都有较大提升，表明该模型能够在图像深度估计中获得更好的效果。     

结合GAN的轻量级模糊车牌识别算法

目的 模糊车牌识别是车牌识别领域的难题,针对模糊车牌图像收集困难、车牌识别算法模型太大、不适用于移动或嵌入式设备等不足,本文提出了一种轻量级的模糊车牌识别方法,使用深度卷积生成对抗网络生成模糊车牌图像,用于解决现实场景中模糊车牌难以收集的问题,在提升算法识别准确性的同时提升了部署泛化能力。方法 该算法主要包含两部分,即基于优化卷积生成对抗网络的模糊车牌图像生成和基于深度可分离卷积网络与双向长短时记忆（long short-term memory,LSTM）的轻量级车牌识别。首先,使用Wasserstein距离优化卷积生成对抗网络的损失函数,提高生成车牌图像的多样性和稳定性;其次,在卷积循环神经网络的基础上,结合深度可分离卷积设计了一个轻量级的车牌识别模型,深度可分离卷积网络在减少识别算法计算量的同时,能对训练样本进行有效的特征学习,将特征图转换为特征序列后输入到双向LSTM网络中,进行序列学习与标注。结果 实验表明,增加生成对抗网络生成的车牌图像,能有效提高本文算法、传统车牌识别和基于深度学习的车牌识别方法的识别率,为进一步提高各类算法的识别率提供了一种可行方案。结合深度可分离卷积的轻量级车牌识别模型,识别率与基于标准循环卷积神经网络（convolutional recurrent neural network,CRNN）的车牌识别方法经本文生成图像提高后的识别率相当,但在模型的大小和识别速度上都优于标准的CRNN模型,本文算法的模型大小为45 MB,识别速度为12.5帧/s,标准CRNN模型大小是82 MB,识别速度只有7帧/s。结论 使用生成对抗网络生成图像,可有效解决模糊车牌图像样本不足的问题;结合深度可分离卷积的轻量级车牌识别模型,具有良好的识别准确性和较好的部署泛化能力。     

用于迁移学习的多尺度领域对抗网络

深度学习算法的有效性依赖于大量的带有标签的数据,迁移学习的目的是利用已知标签的数据集（源域）来对未知标签的数据集（目标域）进行分类,因此深度迁移学习的研究成为了热门。针对训练数据标签不足的问题,提出了一种基于多尺度特征融合的领域对抗网络（Multi-scale domain adversarial network, MSDAN）模型,该方法利用生成对抗网络以及多尺度特征融合的思想,得到了源域数据和目标域数据在高维特征空间中的特征表示,该特征表示提取到了源域数据和目标域数据的公共几何特征和公共语义特征。将源域数据的特征表示和源域标签输入到分类器中进行分类,最终在目标域数据集的测试上得到了较为先进的效果。     

一种基于深度学习的多尺度深度网络的场景标注算法

针对场景标注中如何产生良好的内部视觉信息表达和有效利用上下文语义信息两个至关重要的问题,提出一种基于深度学习的多尺度深度网络监督模型。与传统多尺度方法不同,模型主要由两个深度卷积网络组成:首先网络考虑全局信息,提取大尺度图像低层特征;其次网络利用图像局部信息,结合低层特征获取一组稠密的、完备的图像特征,有效地捕获图像像素的纹理特征、颜色特征和上下文信息。对比许多经典方法,该算法不依赖图像分割技术和人工制作特征,在Stanford Background Dataset取得了很好的效果。     

基于条件对抗网络的单幅霾图像深度估计模型

针对霾环境中图像降质导致的传统深度估计模型退化问题,提出了一种融合双注意力机制的基于条件生成对抗网络（CGAN）的单幅霾图像深度估计模型。首先,对于模型的生成器的网络结构,提出了融合双注意力机制的DenseUnet结构,其中DenseUnet将密集块作为U-net编码和解码过程中的基本模块,并利用密集连接和跳跃连接在加强信息流动的同时,提取直接传输率图的底层结构特征和高级深度信息。然后,通过双注意力模块自适应地调整空间特征和通道特征的全局依赖关系,同时将最小绝对值损失、感知损失、梯度损失和对抗损失融合为新的结构保持损失函数。最后,将霾图像的直接传输率图作为CGAN的条件,通过生成器和鉴别器的对抗学习估计出霾图像的深度图。在室内数据集NYU Depth v2和室外数据集DIODE上进行训练和测试。实验结果表明,该模型具有更精细的几何结构和更丰富的局部细节。在NYU Depth v2上,与全卷积残差网络相比,对数平均误差（LME）和均方根误差（RMSE）分别降低了7%和10%;在DIODE上,与深度有序回归网络相比,精确度（阈值小于1.25）提高了7.6%。可见,所提模型提高了在霾干扰下深度估计的准确性和泛化能力。     

基于深度学习的图像压缩算法研究综述

随着深度学习的不断发展与图像数据的爆炸式增长,如何使用深度学习来获得更高压缩比和更高质量的图像逐渐成为热点研究问题之一。通过对近几年相关文献的分析与整理,将基于深度学习的图像压缩方法按照卷积神经网络、循环神经网络、生成对抗网络进行总结与分析,对不同种方法分别列举了具有代表性的实例,并对基于深度学习的图像压缩算法的常用训练数据集、评价指标进行了介绍,根据深度学习在图像压缩领域中的优势对其未来的发展趋势进行了总结与讨论。     

基于迁移学习的移动机器人单帧图像坡度检测算法

针对未知环境下移动机器人平稳上坡控制对坡度感知精度的要求,本文提出了一种基于迁移学习的移动机器人单帧图像坡度检测算法.利用室内图像标准数据集训练深度卷积神经场-全连接超像素池化网络(deep convolutional neural field-fully connected superpixel pooling ne...     

基于多列卷积神经网络的参数异步更新算法

针对现有人群计数算法采用同步人工优化深度学习网络,忽略了网络学习的负面信息,导致大量冗余参数甚至过拟合,进而影响到计数准确性的问题,提出基于多列卷积神经网络MCNN(Multi-column Convolution Neural Network)的参数异步更新算法.首先将单帧图像输入网络,经过三列卷积分别提取不同尺度特...     

基于深度估计网络SS-Net的SLAM系统

现有的SLAM方案中,单目SLAM系统无法满足高精度定位。因此提出了一种基于深度估计网络的SLAM系统。此系统在ORB-SLAM的系统上,融合了Sobel边界引导和场景聚合网络（sobel-boundary-induced and scene-aggregated network,SS-Net）的系统,仅依靠单目实现精准定位。SS-Net考虑了不同区域的深度关系和边界在深度预测中的重要特征。基于边界引导和场景聚合网络（boundary-induced and scene-aggregated network,BS-Net）,SS-Net提出了边界提取模块（edge detection,ED）,改进了图像细化模块（stripe refinement,SR）。SS-Net网络能够考虑不同区域之间的深度相关性,提取重要的边缘,并融合不同层次下面的网络特征,可以处理单帧图像,从而获得整个序列的深度估计。在NYUD v2和TUM数据集上的大量实验表明,SS-Net深度预测有较高的准确性,并且证明了基于SS-Net的SLAM系统比原系统更优秀。     

基于多尺度特征融合的红外单目测距算法

由于MonoDepth2的提出,无监督单目测距在可见光领域取得了重大发展;然而在某些场景例如夜间以及一些低能见度的环境,可见光并不适用,而红外热成像可以在夜间和低能见度条件下获得清晰的目标图像,因此对于红外图像的深度估计显得尤为必要.由于可见光和红外图像的特性不同,直接将现有可见光单目深度估计算法迁移到红外图像是不合理...     

双目摄像机定标的神经网络方法

研究基于反向传播神经网络的摄像机双目立体视觉定标新方法。传统方法基于三角测量原理技术,会带入成像畸变非线性误差,而这种新方法可以消除非线性因素的影响。该方法利用了BP网络良好的非线性映射能力以及学习、泛化能力,通过采用高精度样本数据训练BP网络,最终建立起立体视觉定标的网络模型。由于不需要考虑视觉模型误差、光学调整误差、广角畸变等因素对视觉检测系统测量精度的影响,因而能够有效地克服常规建模方法的不足,保证了检测系统具有较高的精度。     

基于增强生成器条件生成对抗网络的单幅图像去雾

大气中烟雾等粒子的存在会导致肉眼捕获场景的能见度降低。大多数传统的去雾方法都是预期估计雾霾场景的透射率、大气光,并利用大气散射模型恢复无雾图像。这些方法尽管取得了显著进展,但由于过分依赖苛刻的先验条件,在缺乏相应先验条件下的去雾效果并不理想。因此,提出一种端到端的一体化除雾网络,使用增强生成器的条件生成对抗网络（CGAN）直接恢复无雾图像。生成器端以U-Net作为基础架构,通过“整合-加强-减去”的促进策略,用一个简单有效的增强解码器,增强解码器中特征的恢复。另外,加入了多尺度结构相似性（MS-SSIM）损失函数,增强图像的边缘细节恢复。在合成数据集和真实数据集上的实验中,该模型的峰值信噪比（PSNR）和结构相似性（SSIM）明显优于传统的暗通道先验（DCP）、一体化除雾网络（AOD-Net）、渐进式特征融合网络（PFFNet）、条件Wasserstein生成对抗网络（CWGAN）去雾模型。实验结果表明,相较于对比算法,所提网络能够恢复出更接近于地面真相的无雾图像,除雾效果更优。     

3-D Depth Reconstruction from a Single Still Image

We consider the task of 3-d depth estimation from a single still image. We take a supervised learning approach to this problem, in which we begin by collecting a training set of monocular images (of unstructured indoor and outdoor environments which include forests, sidewalks, trees, buildings, etc.) and their corresponding ground-truth depthmaps. Then, we apply supervised learning to predict the value of the depthmap as a function of the image. Depth estimation is a challenging problem, since local features alone are insufficient to estimate depth at a point, and one needs to consider the global context of the image. Our model uses a hierarchical, multiscale Markov Random Field (MRF) that incorporates multiscale local- and global-image features, and models the depths and the relation between depths at different points in the image. We show that, even on unstructured scenes, our algorithm is frequently able to recover fairly accurate depthmaps. We further propose a model that incorporates both monocular cues and stereo (triangulation) cues, to obtain significantly more accurate depth estimates than is possible using either monocular or stereo cues alone.