结合天空检测与纹理平滑的图像去雾

目的 针对已有图像去雾方法中存在的天空灰暗以及透射率分布与实际情况不一致导致的对比度增强不足等问题,以暗通道先验图像去雾方法为基础,提出结合天空检测与纹理滤波的图像去雾算法。方法 首先,设计了一个基于天空检测的大气光自适应估计策略,以天空区域亮度值较低的像素为依据估计大气光值,能够避免天空色彩失真,获得更明亮且干净的天空恢复结果;其次,对输入图像进行纹理平滑预处理以保持同一平面物体内的像素颜色一致性,并提出一个基于块偏移与导向滤波的透射率精确化计算策略,使透射率估值更符合深度信息的变化趋势,以提升无雾图像的对比度与色彩饱和度;最后,对复原结果进行联合双边滤波后处理,以降低噪声的影响。结果 本文算法得到的大气光估值更为合理,对于不符合暗通道先验的天空区域,能够取得更为自然的天空复原结果;本文算法得到的透射率的变化趋势与实际场景深度之间具有更高的一致性,对于符合暗通道先验的非天空区域,能够取得高对比度与高色彩饱和度的恢复结果。结论 本文算法在大气光与透射率的估值的准确性以及无雾图像的对比度与清晰度增强方面都得到了有效提升,具有较高的鲁棒性,适用于视频监控、交通监管和目标识别等户外获取图像的诸多应用领域。     

结合纹理梯度抑制与L0梯度最小化的纹理滤波

目的 纹理滤波是计算机视觉领域的一个基础应用工具,其目标是抑制图像中不必要的纹理细节和保持图像的主要结构。目前已有的纹理滤波方法多存在强梯度纹理无法被抑制或结构丢失的问题,为此提出一种结合纹理梯度抑制与L₀梯度最小化的纹理滤波算法。方法 首先,提出一种能够区分结构/纹理像素的方向性区间梯度算子,其中采取了局部对比度拉伸和尺度自适应策略,提升了弱梯度结构像素的识别能力。随后,利用区间梯度幅值对原始图像梯度进行抑制,并用抑制后的图像梯度进行图像重建,获得纹理像素梯度小于结构像素梯度的纹理抑制图像。最后,考虑到纹理梯度抑制时会对结构像素的梯度产生一定的衰减作用,本文采用具有梯度提升作用的L₀梯度最小化方法对纹理抑制图像进行滤波,得到纹理抑制结构保持的纹理滤波图像。结果 通过测试马赛克和自然风景等不同类型的图片,并与L₀梯度最小化、滚动引导图像滤波、相对总变分、共现滤波等方法相比较,本文算法能够在抑制强梯度纹理的情况下对图像的主要结构得以保持,并且具有良好的普适性和鲁棒性。同时本文将纹理滤波应用于图像的边缘检测和细节增强,取得了不错的效果提升。结论 本文算法在兼顾强梯度纹理的抑制和结构的保持方面已超越已有的方法,对于图像的目标识别、图像融合、边缘检测等易受强梯度纹理干扰的技术领域,具有较大的应用潜力。     

对比度、颜色一致性和灰度像素保持的消色算法

目的 为了解决目前消色算法中不能同时保持原始图像的对比度,颜色一致性和灰度像素特征的问题,提出一种新的优化算法,最大限度地同时保留这些视觉特性。方法 为了保持原始图像的结构和局部对比度信息,用双高斯模型构建像素对之间的误差能量项;为了保持颜色一致性,采用局部线性嵌入模型构建能量项,确保原始图像中颜色一致的像素在结果图像中也拥有一样的灰度级;为了保持灰度像素特征,先标记出原始图像中的灰度像素,并强制规定这些像素的灰度值是已知的且在消色变换的过程中始终不变,然后用双高斯模型构建出灰度像素与其他像素之间的误差能量项。线性结合这3个能量项,得到目标能量函数,再通过迭代法求解出使总能量值达到最小的灰度值,从而得到了最终的消色结果。结果 实验结果表明,本文算法能够同时较好地保持原始图像中的对比度、颜色一致性和灰度像素特征。结论 本文算法基本符合人类对图像对比度变化的感知程度,而且能够很好地保持细节信息和全局结构,可应用于数字打印、模式识别等方面,具有很大的应用价值。     

判别特征回归的鲁棒目标跟踪

目的 近年来,目标跟踪领域取得了很大进步,但是由于尺度变化,运动,形状畸变或者遮挡等造成的外观变化,仍然是目标跟踪中的一大挑战,因而有效的图像表达方法是提高目标跟踪鲁棒性的一个关键因素。方法 从中层视觉角度出发,首先对训练图像进行超像素分割,将得到特征向量集以及对应的置信值作为输入值,通过特征回归的方法建立目标跟踪中的判别外观模型,将跟踪图像的特征向量输入该模型,得到候选区域的置信值,从而高效地分离前景和背景,确定目标区域。结果 在公开数据集上进行跟踪实验。本文算法能较好地处理目标尺度变化、姿态变化、光照变化、形状畸变、遮挡等外观变化;和主流跟踪算法进行对比,本文算法在跟踪误差方面表现出色,在carScale、subway、tiger1视频中能取得最好结果,平均误差为12像素,3像素和21像素;和同类型的方法相比,本文算法在算法效率上表现出色,所有视频的跟踪效率均高于同类型算法,在carScale视频中的效率,是同类算法效率的32倍。结论 实验结果表明,本文目标跟踪算法具有高效性和鲁棒性,适用于目标发生外观变化时的目标跟踪问题。目前跟踪中只用了单一特征,未来考虑融合多特征来提升算法鲁棒性和准确度。     

融合GF-MSRCR和暗通道先验的图像去雾

目的 针对雾天图像高亮和雾浓区域中容易出现场景透射率值求取不准确,导致复原后的图像细节丢失、出现光晕现象、对比度和色彩难以满足人眼的视觉特性等问题,提出了一种融合引导滤波优化的色彩恢复多尺度视网膜算法（GF-MSRCR）和暗通道先验的图像去雾算法。方法 首先利用加权四叉树方法从最小通道图中快速搜索全局大气光值,再从图像增强角度应用GF-MSRCR算法初步估计场景透射率值,依据暗通道先验原理对最小通道图进行二次估测,根据两次求取结果按一定比例进行像素级图像融合,得到场景透射率估计值;利用变差函数修正估计值,经中值滤波进一步优化得到场景透射率的精确值,最后通过大气散射模型恢复雾天图像,调整对比度和恢复颜色后,得到了轮廓完整且细节清晰的无雾图像。结果 理论分析和实验结果表明,经本文算法去雾处理后的图像信息熵、对比度、平均梯度、结构相似性分别平均提升了7.87%、21.95%、47.73%和15.58%,同时运行时间缩短了53.22%,对近景、含小部分天空区域、含大片天空区域和含白色物体场景的多种类型雾天图像显示出较好的复原效果。结论 融合GF-MSRCR和暗通道先验的图像去雾算法能快速有效保留图像的细节信息、消除光晕,满足了人眼的视觉特性,具有一定的实用性以及普适性。     

改进双边滤波Retinex的多聚焦图像融合

目的 针对传统Retinex算法存在的泛灰、光晕、边界突出以及高曝光区域细节增强不明显的现象,将Retinex和多聚焦融合的思想融合在一起,提出一种基于Retinex的改进双边滤波的多聚焦融合算法。方法 首先根据图像情况在像素级层次将反射图像分解为最优亮暗区域两部分,然后利用线性积分变换和邻近像素最优推荐算法,将原始图像与最优亮区域多聚焦融合得到图像T,再将图像T与最优暗区域重复以上步骤得到图像S,最后利用引导滤波进行边界修复得到最终图像。结果 选择两组图像girl和boat进行实验,与SSR（single scale Retinex）、BSSR（Retinex algorithm based on bilateral filtering）、BIFT（Retinex image enhancement algorithm based on image fusion technology）和RVRG（Retinex variational model based on relative gradient regularization and its application）4种方法进行对比,本文方法在方差和信息熵两方面表现出明显优势。在均值方面,比BIFT和RVRG分别平均提高16.37和20.90;在方差方面,比BIFT和RVRG分别平均提高1.25和4.42;在信息熵方面,比BIFT和RVRG分别平均提高0.1和0.17;在平均梯度方面,比BIFT和RVRG分别平均提高1.21和0.42。对比BIFT和RVRG的实验数据,证明了本文方法的有效性。结论 实验结果表明,相比较其他图像增强算法,本文算法能更有效抑制图像的泛灰、光晕和边界突出现象,图像细节增强效果特别显著。     

变差函数和形态学滤波的图像去雾算法

目的 为解决户外视觉系统在恶劣环境下捕捉图像存在细节模糊、对比度较低等问题,提出一种基于变差函数和形态学滤波的图像去雾算法（简称IDA_VAM）。方法 该算法首先利用变差函数获取较准确的全局环境光值,然后对最小通道图采用多结构元形态学开闭滤波器获取粗略的大气散射图,进而估计大气透射率并进行修正,接着采用双边滤波对其进行平滑操作,最后通过物理模型得到复原图像并进行色调调整,获取明亮、清晰无雾的图像。结果 本文算法与多种图像去雾算法进行对比,在含有雾气的近景图像、远景图像以及有明亮区域的图像均能很好地去除雾气,图像的信息熵值相对提高了38.0%,对比度值相对提高了34.1%,清晰度值相对提高了134.5%,得到较好的复原效果,获取一幅自然明亮的无雾图像。结论 大量仿真实验结果证实,IDA_VAM能够很好地恢复非复杂场景下的近景图像、远景图像以及含有明亮区域图像的色彩和清晰度,获得清晰明亮的无雾图像,细节可见度较高,且算法的时间复杂度与图像像素点个数呈线性关系,具有较好的实时性。     

不规则像素簇显著性检测算法

目的 显著性检测领域的研究重点和难点是检测具有复杂结构信息的显著物体。传统的基于图像块的检测算法,主要根据相对规则的图像块进行检测,计算过程中不能充分利用图像不规则的结构和纹理的信息,对算法精度产生影响。针对上述问题,本文提出一种基于不规则像素簇的显著性检测算法。方法 根据像素点的颜色信息量化颜色空间,同时寻找图像的颜色中心,将每个像素的颜色替代为最近的颜色中心的颜色。然后根据相同颜色标签的连通域形成不规则像素簇,并以连通域的中心为该簇的位置中心,以该连通域对应颜色中心的颜色为该簇整体的颜色。通过像素簇的全局对比度得到对比度先验图,利用目标粗定位法估计显著目标的中心,计算图像的中心先验图。然后将对比度先验图与中心先验图结合得到初始显著图。为了使显著图更加均匀地突出显著目标,利用图模型及形态学变化改善初始显著图效果。结果 将本文算法与5种公认表现最好的算法进行对比,并通过5组图像进行验证,采用客观评价指标精确率—召回率（precision-recall,PR）曲线以及精确率和召回率的调和平均数F-measure进行评价,结果表明本文算法在PR曲线上较其他算法表现良好,在F-measure方面相比其他5种算法均有00.3的提升,且有更佳的视觉效果。结论 本文通过更合理地对像素簇进行划分,并对目标物体进行粗定位,更好地考虑了图像的结构和纹理特征,在显著性检测中有较好的检测效果,普适性强。     

暗通道先验图像去雾的大气光校验和光晕消除

目的 针对暗通道先验图像去雾方法中存在的大气光误判以及光晕效应等问题,提出一种基于大气光校验和光晕消除策略的改进算法。方法 首先,采用基于支持向量机的大气光校验方法对候选大气光的有效性进行判断,剔除太阳光、车灯等高光区域的干扰;然后,采用基于块偏移的精细透射率计算方法获得边缘保持的透射率,极大地抑制了无雾图像中光晕像素的数量;最后,采用基于导向滤波的光晕像素检测和校正方法进一步消除了残留的少量光晕像素。结果 本文算法有效抑制了大气光的误判现象,大大消除了光晕效应,提升了无雾图像的细节可辨认度,最终获得的无雾图像细节丰富、颜色深度感饱满。结论 本文算法在无雾图像的可见度增强等诸多方面超越了已有的方法,在视频监控、交通监管和目标识别等领域具有较大实用价值。     

大气模型与亮度传播图相结合的低照度视频增强算法

目的 为解决低照度视频亮度和对比度低、噪声大等问题,提出一种将Retinex理论和暗通道先验理论相结合的低照度视频快速增强算法。方法 鉴于增强视频时会放大噪声,在增强之前先对视频进行去噪处理,之后结合引导滤波和中值滤波的优势提出综合去噪算法,并将其应用于YCbCr空间。其次提取亮度分量来估计亮度传播图,利用大气模型复原低照度视频。最后综合考虑帧间处理技术,加入场景检测、边缘补偿和帧间补偿。结果 为了验证本文算法的实际效果和有效性,对低照度视频进行增强实验并将本文算法与Retinex增强算法、去雾技术增强算法进行了比较,本文算法有效地提高了低照度视频的亮度和对比度,减小了噪声,增强了视频的细节信息并减轻了视频闪烁现象,从而改善了视频质量。算法处理速率有着非常明显的优势,相比文中其他两种算法的速率提升了将近十倍。结论 本文算法保持了帧间运动的连续性,在保证增强效果的同时提升了处理速率,对细节和边缘轮廓部分的处理非常精细,具有目前同类算法所不能达到的优良效果,适用于视频监控、目标跟踪、智能交通等众多领域,可实现视频的实时增强。     

An efficient motion magnification system for real-time applications

The human eye cannot see subtle motion signals that fall outside human visual limits, due to either limited resolution of intensity variations or lack of sensitivity to lower spatial and temporal frequencies. Yet, these invisible signals can be highly informative when amplified to be observable by a human operator or an automatic machine vision system. Many video magnification techniques have recently been proposed to magnify and reveal these signals in videos and image sequences. Limitations, including noise level, video quality and long execution time, are associated with the existing video magnification techniques. Therefore, there is value in developing a new magnification method where these issues are the main consideration. This study presents a new magnification method that outperforms other magnification techniques in terms of noise removal, video quality at large magnification factor and execution time. The proposed method is compared with four methods, including Eulerian video magnification, phase-based video magnification, Riesz pyramid for fast phase-based video magnification and enhanced Eulerian video magnification. The experimental results demonstrate the superior performance of the proposed magnification method regarding all video quality metrics used. Our method is also 60–70% faster than Eulerian video magnification, whereas other competing methods take longer to execute than Eulerian video magnification.     

Spatio-temporal filtering of thermal video sequences for heart rate estimation

In this paper, a novel method for non-contact measurement of heart rate using thermal imaging was proposed. Thermal videos were recorded from subjects’ faces. The measurements are performed on three different areas: the whole face, the upper half of the face and the supraorbital region. A tracker was used to track these regions to make the algorithm invulnerable to the subject's motion. After tracking, the videos were spatially filtered using a full Laplacian pyramid decomposition to increase the signal to noise ratio; next, the video frames were successively temporally filtered using an ideal bandpass filter for extracting the thermal variations caused by blood circulation. Finally, the heart rate was calculated by using two methods including zero crossing and Fast Fourier Transform. For evaluating the results, the complement of absolute normalized difference (CAND) index was used which was introduced by Pavlidis. This index was 99.42% in the best case and 92.472% in average for 22 subjects. These results showed a growth in CAND index in comparison with previous work. Zerocrossing outperformed FFT because of the nonstationary nature of thermal signals. Another benefit of our method is that, the videos are taken from the face unlike most of the studies that take it from the neck and Carotid. Neck and carotid are less accessible than faces. Finally, the optimum ROI for estimating the heart rate from face was identified.     

Structural similarity-based object tracking in multimodality surveillance videos

This paper addresses the problem of object tracking in video sequences for surveillance applications by using a recently proposed structural similarity-based image distance measure. Multimodality surveillance videos pose specific challenges to tracking algorithms, due to, for example, low or variable light conditions and the presence of spurious or camouflaged objects. These factors often cause undesired luminance and contrast variations in videos produced by infrared sensors (due to varying thermal conditions) and visible sensors (e.g., the object entering shadowy areas). Commonly used colour and edge histogram-based trackers often fail in such conditions. In contrast, the structural similarity measure reflects the distance between two video frames by jointly comparing their luminance, contrast and spatial characteristics and is sensitive to relative rather than absolute changes in the video frame. In this work, we show that the performance of a particle filter tracker is improved significantly when the structural similarity-based distance is applied instead of the conventional Bhattacharyya histogram-based distance. Extensive evaluation of the proposed algorithm is presented together with comparisons with colour, edge and mean-shift trackers using real-world surveillance video sequences from multimodal (infrared and visible) cameras.     

Action recognition by hidden temporal models

We focus on the recognition of human actions in uncontrolled videos that may contain complex temporal structures. It is a difficult problem because of the large intra-class variations in viewpoint, video length, motion pattern, etc. To address these difficulties, we propose a novel system in this paper that represents each action class by hidden temporal models. In this system, we represent the crucial action event per category by a video segment that covers a fixed number of frames and can move temporally within the sequences. To capture the temporal structures, the video segment is described by a temporal pyramid model. To capture large intra-class variations, multiple models are combined using Or operation to represent alternative structures. The index of model and the start frame of segment are both treated as hidden variables. We implement a learning procedure based on the latent SVM method. The proposed approach is tested on two difficult benchmarks: the Olympic Sports and HMDB51 data sets. The experimental results reveal that our system is comparable to the state-of-the-art methods in the literature.     

A Phase‐Based Approach for Animating Images Using Video Examples

We present a novel approach for animating static images that contain objects that move in a subtle, stochastic fashion (e.g. rippling water, swaying trees, or flickering candles). To do this, our algorithm leverages example videos of similar objects, supplied by the user. Unlike previous approaches which estimate motion fields in the example video to transfer motion into the image, a process which is brittle and produces artefacts, we propose an Eulerian phase‐based approach which uses the phase information from the sample video to animate the static image. As is well known, phase variations in a signal relate naturally to the displacement of the signal via the Fourier Shift Theorem. To enable local and spatially varying motion analysis, we analyse phase changes in a complex steerable pyramid of the example video. These phase changes are then transferred to the corresponding spatial sub‐bands of the input image to animate it. We demonstrate that this simple, phase‐based approach for transferring small motion is more effective at animating still images than methods which rely on optical flow.     

基于人眼感知特性的亮度系数压缩方法

在传统视频编码系统中,尽管失真大多由均方误差(MSE)度量,但是基于MSE的失真往往难以衡量不同视频流的主观差异,因此,人眼视觉系统对视频流的感知特性有必要被编码器利用。为了进一步提高编码效率,针对人眼对不同亮度的信号敏感程度不同的特性,提出了一种基于人眼感知特性的亮度系数压缩算法,该算法通过前向量化将人眼不能察觉的冗余信息丢掉来提高编码器压缩效率,并保证了人眼对损失的信息不可见。实验结果表明,采用该算法的AVS参考编码器,其输出码率的下降幅度达到8%～40%,而解码图像的主观观测质量却同未采用该算法的编码器相当。     

结合BiLSTM和注意力机制的视频行人再识别

目的 跨摄像头跨场景的视频行人再识别问题是目前计算机视觉领域的一项重要任务。在现实场景中,光照变化、遮挡、观察点变化以及杂乱的背景等造成行人外观的剧烈变化,增加了行人再识别的难度。为提高视频行人再识别系统在复杂应用场景中的鲁棒性,提出了一种结合双向长短时记忆循环神经网络（BiLSTM）和注意力机制的视频行人再识别算法。方法 首先基于残差网络结构,训练卷积神经网络（CNN）学习空间外观特征,然后使用BiLSTM提取双向时间运动信息,最后通过注意力机制融合学习到的空间外观特征和时间运动信息,以形成一个有判别力的视频层次表征。结果 在两个公开的大规模数据集上与现有的其他方法进行了实验比较。在iLIDS-VID数据集中,与性能第2的方法相比,首位命中率Rank1指标提升了4.5%;在PRID2011数据集中,相比于性能第2的方法,首位命中率Rank1指标提升了3.9%。同时分别在两个数据集中进行了消融实验,实验结果验证了所提出算法的有效性。结论 提出的结合BiLSTM和注意力机制的视频行人再识别算法,能够充分利用视频序列中的信息,学习到更鲁棒的序列特征。实验结果表明,对于不同数据集,均能显著提升识别性能。     

Electronic magnification and perceived contrast of video

Electronic magnification of an image results in a decrease in its perceived contrast. The decrease in perceived contrast could be due to a perceived blur or to limited sampling of the range of contrasts in the original image. We measured the effect on perceived contrast of magnification in two contexts: either a small video was enlarged to fill a larger area or a portion of a larger video was enlarged to fill the same area as the original. Subjects attenuated the source video contrast to match the perceived contrast of the magnified videos, with the effect increasing with magnification and decreasing with viewing distance. These effects are consistent with expectations based on both the contrast statistics of natural images and the contrast sensitivity of the human visual system. We demonstrate that local regions within videos usually have lower physical contrast than the whole and that this difference accounts for a minor part of the perceived differences. Instead, visibility of “missing content” (blur) in a video is misinterpreted as a decrease in contrast. We detail how the effects of magnification on perceived contrast can be measured while avoiding confounding factors.     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。