非局部加权邻域三角滤波TV-L1光流估计

目的 针对非刚性运动、运动遮挡与间断、大位移以及复杂边缘结构等困难场景图像序列光流计算的准确性与鲁棒性问题,提出一种基于加权邻域三角滤波的非局部TV-L¹光流计算方法。方法 首先设计非平方惩罚函数L¹模型与梯度守恒假设相结合的数据项,然后引入基于L¹模型与基于图像梯度自适应变化权重相结合的平滑项,并根据提出的鲁棒数据项与图像-光流联合控制平滑项建立TV-L¹光流计算能量函数模型。最后采用基于加权邻域三角的非局部约束项,通过引入图像金字塔分层变形计算策略,在每层图像光流计算时对光流计算结果进行基于加权邻域三角网格的中值滤波优化,提出基于加权邻域三角滤波的非局部TV-L¹光流计算模型。结果 分别采用MPI与Middlebury数据库测试图像序列对本文方法和LDOF、CLG-TV、SOF、Classic+NL等代表方法进行实验对比。本文方法光流计算结果的平均角误差（AAE）和平均端点误差（AEE）相对其他对比方法平均下降28.45%和28.42%,时间消耗相对传统方法增长5.16%。结论 相对于传统的光流计算方法,本文方法针对非刚体运动、运动遮挡与间断、大位移运动以及复杂边缘等困难场景具有较好的适用性,光流估计结果具有较高的精度和较好的鲁棒性。     

利用平稳光流估计的海上视频去抖

目的 海上拍摄的视频存在大面积的无纹理区域,传统基于特征点检测和跟踪的视频去抖方法处理这类视频时往往效果较差。为此提出一种基于平稳光流估计的海上视频去抖算法。方法 该算法以层次化块匹配作为基础,引入平滑性约束计算基于层次块的光流,能够快速计算海上视频的近似光流场;然后利用基于平稳光流的能量函数优化,实现海上视频的高效去抖动。结果 分别进行了光流估计运行时间对比、视频稳定运行时间对比和用户体验比较共3组实验。相比于能处理海上视频去抖的SteadyFlow算法,本文的光流估计算法较SteadFlow算法的运动估计方法快10倍左右,整个视频去抖算法在处理速度上能提升70%以上。本文算法能够有效地实现海上视频去抖,获得稳定的输出视频。结论 提出了一种基于平稳光流估计的海上视频去抖算法,相对于传统方法,本文方法更适合处理海上视频的去抖。     

自适应成本量的抗遮挡光场深度估计算法

目的 光场相机通过一次成像同时记录场景的空间信息和角度信息,获取多视角图像和重聚焦图像,在深度估计中具有独特优势。遮挡是光场深度估计中的难点问题之一,现有方法没有考虑遮挡或仅仅考虑单一遮挡情况,对于多遮挡场景点,方法失效。针对遮挡问题,在多视角立体匹配框架下,提出了一种对遮挡鲁棒的光场深度估计算法。方法 首先利用数字重聚焦算法获取重聚焦图像,定义场景的遮挡类型,并构造相关性成本量。然后根据最小成本原则自适应选择最佳成本量,并求解局部深度图。最后利用马尔可夫随机场结合成本量和平滑约束,通过图割算法和加权中值滤波获取全局优化深度图,提升深度估计精度。结果 实验在HCI合成数据集和Stanford Lytro Illum实际场景数据集上展开,分别进行局部深度估计与全局深度估计实验。实验结果表明,相比其他先进方法,本文方法对遮挡场景效果更好,均方误差平均降低约26.8%。结论 本文方法能够有效处理不同遮挡情况,更好地保持深度图边缘信息,深度估计结果更准确,且时效性更好。此外,本文方法适用场景是朗伯平面场景,对于含有高光的非朗伯平面场景存在一定缺陷。     

多参数加权的无缝纹理映射算法

目的 针对基于图像3维重建中纹理映射存在缝隙的问题,提出一种多参数加权的无缝纹理映射算法。方法 算法根据图像的标定信息对三角格网进行聚类分割,将重建模型聚类成不同参考图像的网格贴片,并对贴片排序生成纹理图像,加权融合重建顶点的法线角度、图像视点、模型深度等信息生成纹理贴片像素,最后采用多分辨率分解融合技术消除纹理贴片缝隙,实现无缝的纹理映射。结果 对不同的测试数据进行了验证,本文算法在保持一定清晰度的前提下消除了纹理的缝隙,即使对于构网误差较大的区域也能得到较为满意的结果,同时本文算法支持大数据的3维纹理映射。结论 提出了一种无缝的纹理映射算法,算法通过构造一个平滑的加权方程融合多源信息消除纹理的接缝,实验结果表明了本文算法的有效性及实用性,得到了高保真的无缝纹理映射效果,可应用到城市级别的大场景3维重建领域。     

融合GF-MSRCR和暗通道先验的图像去雾

目的 针对雾天图像高亮和雾浓区域中容易出现场景透射率值求取不准确,导致复原后的图像细节丢失、出现光晕现象、对比度和色彩难以满足人眼的视觉特性等问题,提出了一种融合引导滤波优化的色彩恢复多尺度视网膜算法（GF-MSRCR）和暗通道先验的图像去雾算法。方法 首先利用加权四叉树方法从最小通道图中快速搜索全局大气光值,再从图像增强角度应用GF-MSRCR算法初步估计场景透射率值,依据暗通道先验原理对最小通道图进行二次估测,根据两次求取结果按一定比例进行像素级图像融合,得到场景透射率估计值;利用变差函数修正估计值,经中值滤波进一步优化得到场景透射率的精确值,最后通过大气散射模型恢复雾天图像,调整对比度和恢复颜色后,得到了轮廓完整且细节清晰的无雾图像。结果 理论分析和实验结果表明,经本文算法去雾处理后的图像信息熵、对比度、平均梯度、结构相似性分别平均提升了7.87%、21.95%、47.73%和15.58%,同时运行时间缩短了53.22%,对近景、含小部分天空区域、含大片天空区域和含白色物体场景的多种类型雾天图像显示出较好的复原效果。结论 融合GF-MSRCR和暗通道先验的图像去雾算法能快速有效保留图像的细节信息、消除光晕,满足了人眼的视觉特性,具有一定的实用性以及普适性。     

细节感知的纹理滤波算法

目的 基于现有的研究提出一种细节感知的纹理去除算法,在去除图像纹理时,能够很好地保持图像的结构信息,尤其是诸如细长结构和边角信息等在其他方法中容易被模糊化的特殊细节。方法 首先,本文提出一种能够识别细长结构的结构检测方法,对细长结构进行检测并增强其结构特征。其次,为了估计每个像素点的最优滤波核尺度,改进原有的相对总变差模型,多方向寻找最小相对总变差,使它能够更好地区分纹理和边界,并且将边角信息从纹理中区分出来。然后,将检测出来的细长结构归一到改进的相对总变差的度量尺度上,估计滤波核尺度,生成引导滤波图像。这样就能够在平坦或有纹理的区域运用大尺度的滤波核,并在结构边缘和边角附近减小滤波核。最后,通过联合双边滤波器得到纹理去除后的图像。结果 实验测试了马赛克图像和艺术画作,对比了相对总变差和尺度敏感的结构保护滤波等方法,本文方法在去除纹理的同时保留了细长结构和边角细节,并且具有良好的普适性和鲁棒性。利用本文算法处理一幅含10万像素的图像,仅通过一次迭代计算就能够去除大量纹理且效果优于已有的方法,本算法的计算时间为3.37 s,其他算法为0.07~3.29 s。结论 本文设计的纹理滤波器不仅在保持诸如细长结构方面的性能更好,而且使纹理去除后的图像在边角细节处更尖锐,为图像的后续处理提供了一种强有力的图像预处理方式。     

结合纹理梯度抑制与L0梯度最小化的纹理滤波

目的 纹理滤波是计算机视觉领域的一个基础应用工具,其目标是抑制图像中不必要的纹理细节和保持图像的主要结构。目前已有的纹理滤波方法多存在强梯度纹理无法被抑制或结构丢失的问题,为此提出一种结合纹理梯度抑制与L₀梯度最小化的纹理滤波算法。方法 首先,提出一种能够区分结构/纹理像素的方向性区间梯度算子,其中采取了局部对比度拉伸和尺度自适应策略,提升了弱梯度结构像素的识别能力。随后,利用区间梯度幅值对原始图像梯度进行抑制,并用抑制后的图像梯度进行图像重建,获得纹理像素梯度小于结构像素梯度的纹理抑制图像。最后,考虑到纹理梯度抑制时会对结构像素的梯度产生一定的衰减作用,本文采用具有梯度提升作用的L₀梯度最小化方法对纹理抑制图像进行滤波,得到纹理抑制结构保持的纹理滤波图像。结果 通过测试马赛克和自然风景等不同类型的图片,并与L₀梯度最小化、滚动引导图像滤波、相对总变分、共现滤波等方法相比较,本文算法能够在抑制强梯度纹理的情况下对图像的主要结构得以保持,并且具有良好的普适性和鲁棒性。同时本文将纹理滤波应用于图像的边缘检测和细节增强,取得了不错的效果提升。结论 本文算法在兼顾强梯度纹理的抑制和结构的保持方面已超越已有的方法,对于图像的目标识别、图像融合、边缘检测等易受强梯度纹理干扰的技术领域,具有较大的应用潜力。     

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

混合先验与加权引导滤波的图像去雾算法

目的 图像去雾是降低雾、霾、沙等低能见度成像环境对图像的退化影响,提高图像信息获取质量的过程。为了消除先验盲区,同时进一步提高去雾图像边缘细节的清晰度,提出一种混合先验与加权引导滤波的图像去雾算法。方法 首先改进大气光值估计方法,提高大气光值估计的准确性。然后利用混合先验理论求取双约束区域的大气透射率,一定程度上消除了先验盲区,提高了去雾算法的鲁棒性。最后利用加权引导滤波算法优化透射率图,提高了图像边缘细节的清晰度。结果 本文以通用去雾测试图像和小型无人机拍摄的雾天图像作为实验对象,通过对比分析4种组合步骤算法的复原效果,验证本文各步骤改进方法的合理性与整体算法的优越性。实验结果表明：混合先验理论改善了暗原色先验在明亮区域的失真现象和颜色衰减先验对浓雾处理上的不足,取得了较好的视觉效果;加权引导滤波改善了图像边缘模糊的现象,使复原后的图像边缘细节更加清晰;相较传统算法,本文算法视觉效果更好,去雾图像边缘细节更加明显,综合评价指标均值提升幅度较大。结论 针对有雾图像复原,通过理论分析和实验验证,说明了本文各步骤的改进具有一定的优越性,所提的算法具有较强的鲁棒性。     

结合天空检测与纹理平滑的图像去雾

目的 针对已有图像去雾方法中存在的天空灰暗以及透射率分布与实际情况不一致导致的对比度增强不足等问题,以暗通道先验图像去雾方法为基础,提出结合天空检测与纹理滤波的图像去雾算法。方法 首先,设计了一个基于天空检测的大气光自适应估计策略,以天空区域亮度值较低的像素为依据估计大气光值,能够避免天空色彩失真,获得更明亮且干净的天空恢复结果;其次,对输入图像进行纹理平滑预处理以保持同一平面物体内的像素颜色一致性,并提出一个基于块偏移与导向滤波的透射率精确化计算策略,使透射率估值更符合深度信息的变化趋势,以提升无雾图像的对比度与色彩饱和度;最后,对复原结果进行联合双边滤波后处理,以降低噪声的影响。结果 本文算法得到的大气光估值更为合理,对于不符合暗通道先验的天空区域,能够取得更为自然的天空复原结果;本文算法得到的透射率的变化趋势与实际场景深度之间具有更高的一致性,对于符合暗通道先验的非天空区域,能够取得高对比度与高色彩饱和度的恢复结果。结论 本文算法在大气光与透射率的估值的准确性以及无雾图像的对比度与清晰度增强方面都得到了有效提升,具有较高的鲁棒性,适用于视频监控、交通监管和目标识别等户外获取图像的诸多应用领域。     

各向异性导向滤波的红外与可见光图像融合

目的 针对红外与可见光图像融合时易产生边缘细节信息丢失、融合结果有光晕伪影等问题，同时为充分获取多源图像的重要特征，将各向异性导向滤波和相位一致性结合，提出一种红外与可见光图像融合算法。方法 首先，采用各向异性导向滤波从源图像获得包含大尺度变化的基础图和包含小尺度细节的系列细节图；其次，利用相位一致性和高斯滤波计算显著图，进而通过对比像素显著性得到初始权重二值图，再利用各向异性导向滤波优化权重图，达到去除噪声和抑制光晕伪影；最后，通过图像重构得到融合结果。结果 从主客观两个方面，将所提方法与卷积神经网络（convolutional neural network，CNN）、双树复小波变换（dual-tree complex wavelet transform，DTCWT）、导向滤波（guided filtering，GFF）和各向异性扩散（anisotropic diffusion，ADF）等4种经典红外与可见光融合方法在TNO公开数据集上进行实验对比。主观分析上，所提算法结果在边缘细节、背景保存和目标完整度等方面均优于其他4种方法；客观分析上，选取互信息（mutual information，MI）、边缘信息保持度（degree of edge information，Q^AB/F）、熵（entropy，EN）和基于梯度的特征互信息（gradient based feature mutual information，FMI_gradient）等4种图像质量评价指数进行综合评价。相较于其他4种方法，本文算法的各项指标均有一定幅度的提高，MI平均值较GFF提高了21.67%，Q^AB/F平均值较CNN提高了20.21%，EN平均值较CNN提高了5.69%，FMI_gradient平均值较GFF提高了3.14%。结论 本文基于各向异性导向滤波融合算法可解决原始导向滤波存在的细节"光晕"问题，有效抑制融合结果中伪影的产生，同时具有尺度感知特性，能更好保留源图像的边缘细节信息和背景信息，提高了融合结果的准确性。     

结合同场景立体图对的高质量深度图像重建

目的 越来越多的应用依赖于对场景深度图像准确且快速的观测和分析,如机器人导航以及在电影和游戏中对虚拟场景的设计建模等.飞行时间深度相机等直接的深度测量设备可以实时的获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率比较低,无法满足实际应用的需要.通过立体匹配算法对左右立体图对之间进行匹配获得视差从而得到深度图像是计算机视觉的一种经典方法,但是由于左右图像之间遮挡以及无纹理区域的影响,立体匹配算法在这些区域无法匹配得到正确的视差,导致立体匹配算法在实际应用中存在一定的局限性.方法 结合飞行时间深度相机等直接的深度测量设备和立体匹配算法的优势,提出一种新的深度图像重建方法.首先结合直接的深度测量设备采集的深度图像来构造自适应局部匹配权值,对左右图像之间的局部窗立体匹配过程进行约束,得到基于立体匹配算法的深度图像;然后基于左右检测原理将采集到的深度图像和匹配得到的深度图像进行有效融合;接着提出一种局部权值滤波算法,来进一步提高深度图像的重建质量.结果 实验结果表明,无论在客观指标还是视觉效果上,本文提出的深度图像重建算法较其他立体匹配算法可以得到更好的结果.其中错误率比较实验表明,本文算法较传统的立体匹配算法在深度重建错误率上可以提升10％左右.峰值信噪比实验结果表明,本文算法在峰值信噪比上可以得到10 dB左右的提升.结论 提出的深度图像重建方法通过结合高分辨率左右立体图对和初始的低分辨率深度图像,可以有效地重建高质量高分辨率的深度图像.     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

多尺度有理分形的图像插值算法

目的图像插值是图像处理中的重要问题,为了提高纹理图像的放大质量,结合以往的有理函数的插值算法,提出一种新的基于有理分形函数的图像插值算法。方法对于输入图像,首先,运用中值滤波和直方图均衡化对输入图像预处理;其次,通过毯子覆盖法求出图像的多尺度分形特征值,进行纹理区域和平滑区域的划分;最后,在纹理区域采用有理分形插值函数,在平滑区域采用有理插值函数。结果对于一般图像,本文算法与NARM(nonlocal autoregressive model),NEDI(new edge-directed interpolation)相当,在纹理区域较多的图像中,本文算法在峰值信噪比(PSNR)和结构相似性(SSIM)数值上较对比算法进一步提高,在视觉效果上,图像对比度明显增强,在Barbara,Truck等的对比图像中,峰值信噪比均提高了0.5 1 dB。结论本文插值算法利用多尺度分形特征将图像划分区域,在不同区域采用不同的插值模型。优化模型参数使得插值质量进一步提高。实验表明本文算法能够对纹理和非纹理区域有效划分对纹理的信息保持优于传统算法,获得了较好的主客观效果。     

结合图像融合与分割的快速去雾

目的 针对机器视觉系统在雾天条件下采集的图像存在对比度低、细节模糊的问题,提出一种结合图像融合与分割的场景复原方法。方法 基于光学反射成像的物理特性以及形态学运算分别获取雾气浓度的近似估计,计算图像的局部方差并利用加权融合的方法得出准确的大气耗散函数,通过分割雾气最浓区域或者天空区域求得精确的大气光值,最后由大气散射模型计算复原图像并进行亮度和色调的调整。结果 该方法可以有效避免光晕效应和天空颜色失真等不足,能快速复原场景的对比度和颜色。结论 实验结果表明,该方法的场景适应能力较强,复原效果和计算速度相比于前人的方法均有不同程度的提高。     

点线光流预测机制的图像序列运动直线跟踪

目的 针对复杂场景图像序列中运动直线特征的提取、跟踪问题,提出一种基于点、线光流预测机制的图像序列运动直线跟踪方法。方法 首先根据图像直线的表达式定义点、线光流基本约束方程,由基本约束方程推导出关于点光流与直线光流对应关系的3个重要推论。然后依据点、线光流对应关系,利用图像序列中直线特征上的像素点光流计算直线光流的估计值并根据直线光流阈值筛选图像序列运动直线。最后由筛选出的运动直线及直线光流估计值计算直线的预测坐标并在Hough域内进行跟踪匹配,得到图像序列运动直线跟踪结果。结果 通过合成及真实图像序列实验验证,本文方法能够准确地筛选出图像序列中感兴趣的运动直线,并对运动直线进行稳定地跟踪、匹配,直线跟踪结果未产生干扰直线的误匹配,直线跟踪时间消耗不超过12 s。结论 相对于传统的直线跟踪、匹配方法,本文方法具有较高地直线跟踪精度和较好的鲁棒性,更适用于复杂场景下的运动直线跟踪、匹配问题。     

基于改进体素锥追踪的大规模场景光照计算

针对大规模场景光照渲染计算量大的问题,提出一种基于改进体素锥滤波器追踪的全局光照计算算法。首先,以级联纹理结构改进简单的体素结构,实现快速高效且经各向异性过滤的场景光照信息存储,减少内存消耗;其次,基于法线加权累积计算直接光照衰减,缓解法向一致性问题;最后,基于级联纹理结构对锥波滤器进行改进,采用动态体素查找,避免整个存储结构的遍历,从而实现全局光照的高效计算。实验结果表明,改进算法在降低内存占用、提高渲染速度的同时,保持与经典体素锥追踪算法相近的渲染效果。