基于改进SqueezeNet的颜色恒常性计算

由于成像设备存在的缺陷,容易引起成像色彩的偏移,影响图像算法的下游任务,因此需要采用颜色恒常性算法实现图像色彩的矫正,保证图像颜色与人眼看到的色彩保持一致.传统颜色恒常性算法的效果依赖于特定的光源环境,为了提升算法的适用范围和使用效率,提出了一种基于SqueezeNet框架的颜色恒常性计算模型,通过卷积图像网络感知图像光源,并引入了注意力机制和残差连接,提升网络对图像的理解和计算性能.网络同时预测输入图像各区域的光照颜色,再通过设计3种不同池化方式汇聚,输出图像的全局估计光源,最后利用估计光源矫正图像.实验结果表明,提出的光源估计算法能够有效地估计图像光照颜色,矫正图像色彩.     

基于深度学习的单目深度估计方法综述

深度估计是一种从单张或者多张图像预测场景深度信息的技术,是计算机视觉领域非常热门的研究方向,在三维重建、场景理解、环境感知等任务中起到了关键作用.当前深度估计技术可以分为多目深度估计和单目深度估计.因为单目摄像头具有成本低、设备较普及、图像获取方便等优点,与多目深度估计技术相比,从单目图像估计深度信息是当前更为热门和更具挑战的技术.近年来,随着深度学习的迅速发展,基于深度学习的单目深度估计方法被广泛研究.本文对基于深度估计的单目深度估计方法进行综述,首先给出单目深度估计问题的定义、介绍常用于训练的数据集与模型评价指标,然后根据不同的训练方式对国内外相关技术进行分析总结,将现有方法分为基于监督学习、无监督学习和半监督学习三大类,对每种类型方法的产生思路、优缺点进行详细分析,最后梳理、总结该技术的发展趋势与关键技术.     

深度学习单目深度估计研究进展

单目深度估计是从单幅图像中获取场景深度信息的重要技术,在智能汽车和机器人定位等领域应用广泛,具有重要的研究价值。随着深度学习技术的发展,涌现出许多基于深度学习的单目深度估计研究,单目深度估计性能也取得了很大进展。本文按照单目深度估计模型采用的训练数据的类型,从3个方面综述了近年来基于深度学习的单目深度估计方法：基于单图像训练的模型、基于多图像训练的模型和基于辅助信息优化训练的单目深度估计模型。同时,本文在综述了单目深度估计研究常用数据集和性能指标基础上,对经典的单目深度估计模型进行了性能比较分析。以单幅图像作为训练数据的模型具有网络结构简单的特点,但泛化性能较差。采用多图像训练的深度估计网络有更强的泛化性,但网络的参数量大、网络收敛速度慢、训练耗时长。引入辅助信息的深度估计网络的深度估计精度得到了进一步提升,但辅助信息的引入会造成网络结构复杂、收敛速度慢等问题。单目深度估计研究还存在许多的难题和挑战。利用多图像输入中包含的潜在信息和特定领域的约束信息,来提高单目深度估计的性能,逐渐成为了单目深度估计研究的趋势。     

基于信息修正的深度残差学习

提出了一种新的深度残差网络的拓展模块,有效提高了学习表示的鲁棒性.所提出的方法是一个简单的即插即用模块,即组卷积式编码-解码结构,它可以作为一个额外的信息过滤部件集成到原来的深度残差网络中.利用编码器的下采样来产生信息压缩过的特征图,解码器模块被驱动以产生激活准确的特征图,其能够突出显示输入图片中最具有判别力的区域,最...     

改进深度残差卷积神经网络的LDCT图像估计

针对低剂量计算机断层扫描（Low-Dose Computed Tomography,LDCT）重建图像出现明显条形伪影的现象,提出了一种基于残差学习的深度卷积神经网络（Deep Residual Convolutional Neural Network,DR-CNN）模型,可以从LDCT图像预测标准剂量计算机断层扫描（Normal-Dose Computed Tomography,NDCT）图像。该模型在训练阶段,将数据集中的LDCT图像和NDCT图像相减得到残差图像,将LDCT图像和残差图像分别作为输入和标签,通过深度卷积神经网络（Convolution Neural Network,CNN）学习输入和标签之间的映射关系;在测试阶段,利用此映射关系从LDCT图像预测残差图像,用LDCT图像减去残差图像得到预测的NDCT图像。实验采用50对大小为512×512的同一体模的常规剂量胸腔扫描切片和投影域添加噪声后的重建图像作为数据集,其中45对作为训练集,其他作为测试集,来验证此模型的有效性。通过与非局部降噪算法、匹配三维滤波算法和K-SVD算法等目前公认效果较好的图像去噪算法对比,所提模型预测的NDCT图像均方根误差小,且信噪比略高于其他算法处理结果。     

单一光照颜色恒常性计算研究进展

单一光照颜色恒常性计算研究是目前计算机视觉、机器学习等领域中最热门的研究课题之一。算法的合理性直接影响到自动白平衡等应用效果。目前颜色恒常性计算的方法多种多样,将其划分为无监督、有监督、算法的融合和颜色不变性描述的颜色恒常性计算方法。着重介绍了4类典型的颜色恒常性计算方法,分析了各自的优缺点。最后就颜色恒常性计算的性能评价方法以及发展趋势做了简单的论述。     

基于光照叠加的颜色恒常计算方法

颜色恒常性是人类视觉系统对外界视觉刺激中色彩感知的一种心理倾向,人类视觉的这种认知功能能够自适应地忽略外界光照变化,具有稳定的颜色感知能力.受到人类视觉系统对颜色感知的启发,针对如何有效消除外界光照对成像质量的影响,还原物理场景真实颜色并提供稳定的颜色特征这一问题,文中提出了一种基于光照叠加的颜色恒常计算方法,旨在有效消除外界光照的光谱成分变化对物体颜色的影响.首先,提出了MAX-MEAN方法对场景中的光照进行估计(简称MM估计),即通过场景中所有物体表面的平均反射和最大反射来估计场景中的光照;然后,基于MM估计提出了光照叠加的颜色恒常计算方法,得到最终的无色偏图像,并在公开的数据集SFU Gray-ball上包含11346幅室内室外场景图像进行仿真验证.实验结果表明,文中提出的光照叠加颜色恒常计算方法能够有效地估计光照信息并实现无色偏图像的计算.     

基于深度学习的单目深度估计技术综述

场景的深度估计问题是计算机视觉领域中的经典问题之一,也是3维重建和图像合成等应用中的一个重要环节。基于深度学习的单目深度估计技术高速发展,各种网络结构相继提出。本文对基于深度学习的单目深度估计技术最新进展进行了综述,回顾了基于监督学习和基于无监督学习方法的发展历程。重点关注单目深度估计的优化思路及其在深度学习网络结构中的表现,将监督学习方法分为多尺度特征融合的方法、结合条件随机场（conditional random field,CRF）的方法、基于序数关系的方法、结合多元图像信息的方法和其他方法等5类;将无监督学习方法分为基于立体视觉的方法、基于运动恢复结构（structure from motion,SfM）的方法、结合对抗性网络的方法、基于序数关系的方法和结合不确定性的方法等5类。此外,还介绍了单目深度估计任务中常用的数据集和评价指标,并对目前基于深度学习的单目深度估计技术在精确度、泛化性、应用场景和无监督网络中不确定性研究等方面的现状和面临的挑战进行了讨论,为相关领域的研究人员提供一个比较全面的参考。     

基于深度残差网络的多损失头部姿态估计

为提高真实场景下头部姿态估计的准确性,提出一种采用深度残差网络的头部姿态估计方法.将深度残差网络RestNet101作为主干网络,引入优化器提高深层卷积网络训练时的梯度稳定性,使用RGB图像并采用分类器计算交叉熵损失,同时结合回归损失预测欧拉角表示头部姿态.实验结果表明,与FAN地标检测方法和无关键点细粒度方法相比,该...     

基于LS-SVR融合算法的颜色恒常性研究

目标物的图像会因环境光源的不同而呈现不同的颜色值,为对图像中的内容进行准确研究,需将记录图像调整到标准光源下,这就是颜色恒常性研究.无监督恒常性算法具有运算量小且简单的优势,但受限于假设条件,为此提出采用图像的多特征进行融合研究来提高恒常性研究的通用性.采用基于结构风险最小化原则的LS-SVR算法来对5种基本算法提取图像的多特征进行融合,评估出环境光源的色度.以标准图像库中的图像作为研究对象,结果表明:在各种光照条件下,多特征融合的LS-SVR算法能取得比5种算法更小的误差,评估出来的场景光源更接近于实际光源,为目标场景的准确分析与识别提供了科学依据.     

Gamut Constrained Illuminant Estimation

This paper presents a novel solution to the illuminant estimation problem: the problem of how, given an image of a scene taken under an unknown illuminant, we can recover an estimate of that light. The work is founded on previous gamut mapping solutions to the problem which solve for a scene illuminant by determining the set of diagonal mappings which take image data captured under an unknown light to a gamut of reference colours taken under a known light. Unfortunately, a diagonal model is not always a valid model of illumination change and so previous approaches sometimes return a null solution. In addition, previous methods are difficult to implement. We address these problems by recasting the problem as one of illuminant classification: we define a priori a set of plausible lights thus ensuring that a scene illuminant estimate will always be found. A plausible light is represented by the gamut of colours observable under it and the illuminant in an image is classified by determining the plausible light whose gamut is most consistent with the image data. We show that this step (the main computational burden of the algorithm) can be performed simply and efficiently by means of a non-negative least-squares optimisation. We report results on a large set of real images which show that it provides excellent illuminant estimation, outperforming previous algorithms. First online version published in February, 2006     

白斑假设下基于灰色区域扩展的色彩恒常算法

色彩恒常研究中,白斑算法假设图像内最高亮度像素为灰色来估计光源色彩.然而受坏点及噪声影响,图像内最高亮度像素的色彩易偏离灰色,导致白斑算法光源估计性能降低.针对上述问题,提出一种基于灰色区域扩展的非学习类色彩恒常算法.首先,依据白斑假设定位灰色像素并将其作为初始种子点;其次,基于对数RGB色彩空间构建光源无关的种子点判定指标,用于指导初始种子点处的灰色区域分割;随后,采用一组生长终止阈值分割图像以生成多个灰色区域,各区域的光源估计值由该区域内所有像素值加权计算,从而弱化采用单一像素执行光源估计时可能受到的坏点及噪声影响;最后,来自多个灰色区域的光源估计值经Nearest2加权融合后作为最终光源估计结果.在ColorChecker,Cube+和SimpleCube++共3类公开色彩恒常数据集中的实验结果表明,所提算法的光源估计值在现有非学习类色彩恒常算法中取得了最低的中值角度误差,且相较原始白斑算法的中值角度误差平均降低70%.此外,得益于对相机传感器参数的不敏感性,所提算法在跨数据集色彩恒常实验中相较学习类算法还具有最低的中值及三均值角度误差.     

场景语义引导下的改进灰度世界算法

色彩恒常性的实现中,灰度世界算法通常因自然图像间场景差异导致较弱的光源估计性能.针对上述问题,提出了一种以场景语义为引导的改进灰度世界算法.首先,使用灰度化图像计算稠密SIFT描述子以避免彩色图像偏色干扰,SIFT描述子集合由词袋模型进一步生成无序视觉词汇;其次,以视觉词汇对应像素平均亮度为权重,基于空间金字塔匹配算法构建金字塔结构的亮度加权词频直方图;然后,采用直方图交叉核函数计算图像间场景语义相似度,并依据该相似度检索与测试图像场景语义相似的候选图像集;最后,所有候选图像的像素统计分布在经孤立森林算法移除异常值后被用于自适应推断,并更新灰度世界算法的固定假设,改进后灰度世界算法通过光源估计实现色彩恒常性.在ColorChecker,Cube+和NUS共3类公开色彩恒常数据集中的实验结果表明,所提算法在单相机测试中的光源估计角度误差较同类型灰度世界改进算法下降接近20%,且可在跨相机测试中取得对比算法中最低的光源估计角度误差.     

Solving for Colour Constancy using a Constrained Dichromatic Reflection Model

Statistics-based colour constancy algorithms work well as long as there are many colours in a scene, they fail however when the encountering scenes comprise few surfaces. In contrast, physics-based algorithms, based on an understanding of physical processes such as highlights and interreflections, are theoretically able to solve for colour constancy even when there are as few as two surfaces in a scene. Unfortunately, physics-based theories rarely work outside the lab. In this paper we show that a combination of physical and statistical knowledge leads to a surprisingly simple and powerful colour constancy algorithm, one that also works well for images of natural scenes.From a physical standpoint we observe that given the dichromatic model of image formation the colour signals coming from a single uniformly-coloured surface are mapped to a line in chromaticity space. One component of the line is defined by the colour of the illuminant (i.e. specular highlights) and the other is due to its matte, or Lambertian, reflectance. We then make the statistical observation that the chromaticities of common light sources all follow closely the Planckian locus of black-body radiators. It follows that by intersecting the dichromatic line with the Planckian locus we can estimate the chromaticity of the illumination. We can solve for colour constancy even when there is a single surface in the scene. When there are many surfaces in a scene the individual estimates from each surface are averaged together to improve accuracy.In a set of experiments on real images we show our approach delivers very good colour constancy. Moreover, performance is significantly better than previous dichromatic algorithms.     

基于图像对齐和不确定估计的深度视觉里程计

基于深度学习的视觉里程计方法（deep visual odometry,DVO）通过神经网络直接估计单目图像的深度和相邻图像之间的相机运动,在保证精度的同时大大提高了运行速度。但这是基于灰度不变假设,作为一个很强的假设,灰度不变假设在现实场景中往往难以满足。为此,提出一种基于图像对齐（image alignment,IA）的直接视觉里程计方法AUDVO(aligned U-CNN deep VO),通过不确定性估计网络（uncertainty CNN,U-CNN）引入正则项进行约束,使得估计的结果更具鲁棒性。为了处理大面积纹理缺失区域上因估计不准确带来的空洞,在设计深度估计模块时通过嵌入超分辨率网络进行上采样。在公开的KITTI数据集上的实验证明了AUDVO在深度和相机位姿估计上的有效性。     

基于深度学习的视觉里程计方法综述

视觉里程计（visual odometry,VO）是处理搭载视觉传感器的移动设备定位问题的一种常用方法,在自动驾驶、移动机器人、AR/VR等领域得到了广泛应用。与传统基于模型的方法相比,基于深度学习的方法可在不需显式计算的情况下从数据中学习高效且鲁棒的特征表达,从而提升其对于光照变化、少纹理等挑战性场景的鲁棒性。简略回顾了基于模型的视觉里程计方法,从监督学习方法、无监督学习方法、模型与学习融合方法、常用数据集、评价指标、模型法与深度学习方法对比分析六个方面全面介绍了基于深度学习的视觉里程计方法。指出了基于深度学习视觉里程计仍存在的问题和未来的发展趋势。     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

自动色彩均衡快速算法

对自动色彩均衡（ACE）技术做了一定的改进,使用卷积技术来提高速度．在后期的映射上提出新的方法,使用变型的gamma映射函数,通过调整参数达到对高动态范围图像增强显示的目的．与ACE,MSR算法比较结果表明,文中算法速度快,效果良好,有一定的实用性．     

视觉SLAM的研究现状与展望

针对自主定位与环境构建问题,基于视觉传感器的同时定位与地图构建(SLAM)成为现阶段研究的热点,为深入分析视觉SLAM的现状,综述其相关算法与成果.首先简要概述了视觉SLAM的概念、特点与研究意义;然后深入分析帧间估计算法,详细描述经典的帧间估计方法,其中包含基于特征点的方法、基于光流的方法和直接法,并介绍了经典视觉S...