Scene-adaptive accurate and fast vertical crowd counting via joint using depth and color information

Reliable and real-time crowd counting is one of the most important tasks in intelligent visual surveillance systems. Most previous works only count passing people based on color information. Owing to the restrictions of color information influences themselves for multimedia processing, they will be affected inevitably by the unpredictable complex environments (e.g. illumination, occlusion, and shadow). To overcome this bottleneck, we propose a new algorithm by multimodal joint information processing for crowd counting. In our method, we use color and depth information together with a ordinary depth camera (e.g. Microsoft Kinect). Specifically, we first detect each head of the passing or still person in the surveillance region with adaptive modulation ability to varying scenes on depth information. Then, we track and count each detected head on color information. The characteristic advantage of our algorithm is that it is scene adaptive, which means the algorithm can be applied into all kinds of different scenes directly without additional conditions. Based on the proposed approach, we have built a practical system for robust and fast crowd counting facing complicated scenes. Extensive experimental results show the effectiveness of our proposed method.     

结合色度和纹理不变性的运动阴影检测

目的：在运动检测中,运动物体产生的阴影常常被错误地检测为运动物体本身,为了将阴影从检测结果中消除,本文提出了一种色度不变性和纹理不变性相结合的运动阴影检测方法。方法：首先从阴影的物理模型出发,直接在RGB颜色空间利用色度不变性来获得候选阴影区域,然后根据颜色信息对候选阴影区域进行分割,对每个子区域,利用一种基于局部二值模式的指标来度量其与对应背景区域的纹理相似程度,进而判断该子区域是否是阴影,从而得到最终的检测结果。结果：在公开测试集上的实验结果表明我们的方法可以有效地检测出运动阴影,相对于几种常用的阴影检测算法具有一定的优势。结论：本文将像素级水平和区域级水平阴影检测方法结合起来,提出了一种结合色度不变性和纹理不变性的运动阴影检测方法。实验结果表明,在多类复杂场景中,本文方法都能有效地将运动阴影检测出来,具有较强的鲁棒性。     

Transferring priors from virtual data for crowd counting in real world

In recent years, crowd counting has increasingly drawn attention due to its widespread applications in the field of computer vision. Most of the existing methods rely on datasets with scarce labeled images to train networks. They are prone to suffer from the over-fitting problem. Further, these existing datasets usually just give manually labeled annotations related to the head center position. This kind of annotation provides limited information. In this paper, we propose to exploit virtual synthetic crowd scenes to improve the performance of the counting network in the real world. Since we can obtain people masks easily in a synthetic dataset, we first learn to distinguish people from the background via a segmentation network using the synthetic data. Then we transfer the learned segmentation priors from synthetic data to real-world data. Finally, we train a density estimation network on real-world data by utilizing the obtained people masks. Our experiments on two crowd counting datasets demonstrate the effectiveness of the proposed method.     

Moving object detection by mobile Stereo Omni-directional System (SOS) using spherical depth image

Moving object detection with a mobile image sensor is an important task for mobile surveillance systems running in real environments. In this paper, we propose a novel method to effectively solve this problem by using a Stereo Omni-directional System (SOS), which can obtain both color and depth images of the environment in real time with a complete spherical field of view. Taking advantage of the SOS that the frame-out problem never occurs, we develop a method to detect the regions of moving objects stably under arbitrary movement and pose change of the SOS, by using the spherical depth image sequence obtained by the SOS. The method first predicts the depth image for the current time from that obtained at the previous time and the ego-motion of the SOS, and then detects moving objects by comparing the predicted depth image with the actual one obtained at the current time.     

一种基于多分量信息融合的人脸检测方法

人脸检测是全自动人脸识别系统和许多监视系统的基础,在许多领域有着广泛的应用。文章提出了一种基于多分量信息融合的人脸检测方法。首先进行彩色空间的变换,检测出图像中的肤色区域;建立眼睛颜色模型,并根据眼睛﹑嘴在不同分量上的分布特征,将它们提取出来;最后融合眼睛﹑嘴候选区域的信息,利用特征不变的方法进行人脸的确定。实验结果表明,该方法能够快速有效地检测出人脸,并能够确定眼﹑嘴的位置。     

融合双层信息的显著性检测

目的 针对已有工作在颜色及结构显著性描述方面的缺陷,提出一种新的图像显著性检测方法。方法 本文方法在不同的图像区域表达上从颜色与空间结构角度计算图像的显著性,充分考虑图像的特征与像素聚类方式之间的适应性。首先,根据颜色复杂度、边缘与连通性等信息,将图像从像素空间映射到双层区域表示空间。然后,根据两个层次空间的特性,与每个图像区域的边界特性,计算图像的结构和颜色显著度。最后,由于不同图像表示中的显著性信息存在互补性,将所有这些信息进行融合得到最终的显著性图。结果 在公认的MSRA-1000数据集上验证本文方法并与目前国际上流行的方法进行对比。实验结果表明,本文方法在精确率、召回率以及绝对误差(分别为75.03%、89.39%、85.61%)等方面要优于当前前沿的方法。结论 提出了一种融合双层信息的显著性检测算法。根据图像本身信息控制区域数目构建图像双层表示,提高了方法的普适性;利用图像不同层次的特性从不同角度计算显著性,增强了方法鲁棒性。     

基于运动目标分类的双向人流量统计算法

提出了一种在智能视频监控中基于运动目标分类的双向人流量统计算法.本文首先对运动目标进行检测和跟踪,根据检测出的运动目标团块经过预设计数线时的特征信息,把目标划分为非行人、单行人和多行人.对于多行人的情况,利用HOG和SVM对目标团块中的头肩进行检测,判断出多目标团块包含的行人数目.在人流量的统计中,借助于运动目标方向信息和目标团块所包含的行人数目信息,对经过场景预设计数线的行人进行进出双向的统计.本文算在建筑物通道口环境下的人流量统计中取得了较好的效果.     

彩色序列图像中移动目标定位与区域提取

提出一种基于彩色序列图像提取移动目标区域的新方法。首先采用时态差分法进行运动目标定位,对彩色序列图像进行差分;然后通过选择阈值将彩色差分图像转化为二值图像;为了克服背景扰动和摄像头抖动,采用了对称差分算法,使得运动目标的定位更为准确。最后在对称差分的基础上,通过投影提取移动目标区域,为了消除扰动造成的影响,采用了杂块去除和区域合并方法。实验结果表明所提方法能有效快速地提取出移动目标。     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

聚焦性检测与彩色信息引导的光场图像深度提取

目的 光场相机可以通过一次拍摄,获取立体空间中的4D光场数据,渲染出焦点堆栈图像,然后采用聚焦性检测函数从中提取深度信息。然而,不同聚焦性检测函数响应特性不同,不能适应于所有的场景,且现有多数方法提取的深度信息散焦误差较大,鲁棒性较差。针对该问题,提出一种新的基于光场聚焦性检测函数的深度提取方法,获取高精度的深度信息。方法 设计加窗的梯度均方差聚焦性检测函数,提取焦点堆栈图像中的深度信息;利用全聚焦彩色图像和散焦函数标记图像中的散焦区域,使用邻域搜索算法修正散焦误差。最后利用马尔可夫随机场(MRF)将修正后的拉普拉斯算子提取的深度图与梯度均方差函数得到的深度图融合,得到高精确度的深度图像。结果 在Lytro数据集和自行采集的测试数据上,相比于其他先进的算法,本文方法提取的深度信息噪声较少。精确度平均提高约9.29%,均方误差平均降低约0.056。结论 本文方法提取的深度信息颗粒噪声更少;结合彩色信息引导,有效修正了散焦误差。对于平滑区域较多的场景,深度提取效果较好。     

YUV颜色空间和图论切割的阴影去除算法

针对智能视频监控系统中阴影常由于其自身的属性而被错误地检测成前景目标的问题,提出了一种YUV颜色空间和图切割算法相结合检测阴影的新方法.首先,在获取的前景运动区域中综合考虑YUV颜色空间的亮度和色度信息来检测阴影区域并融合形态学滤波等操作得到确定的阴影和目标种子点,然后进一步通过图切割算法获得阴影与目标的优化分割,以提高阴影区域的检测精度.实验证明,该方法能有效地检测并去除视频监控场景中运动物体所携带的阴影.     

图像特征抽取的MDNIB2DPCA方法

在多方向二维主成分分析法MD2DPCA和无迭代双边二维主成分分析（NIB2DPCA）的基础上,提出了多方向无迭代双边二维主成分分析（MDNIB2DPCA）的特征抽取新方法。该方法可以对图像矩阵在多个方向上进行特征抽取,与MD2DPCA方法相比也提高了特征抽取速度。在灰度人脸图像库上的对比实验表明,所提的方法可以提高灰度图像识别率两个百分点以上;进一步地,在基于NIB2DPCA的彩色图像识别方法的基础上,提出了将所提的MDNIB2DPCA替换NIB2DPCA的彩色图像处理的新方法。在彩色人脸库上的对比实验表明,所提方法的识别正确率也可提高约一个百分点。     

Multi-cue based moving hand segmentation for gesture recognition

This paper proposes a novel moving hand segmentation approach using skin color, grayscale, depth, and motion cues for gesture recognition. The proposed approach does not depend on unreasonable restrictions, and it can solve the problem of hand-over-face occlusion. First, an online updated skin color histogram (OUSCH) model is built to robustly represent skin color; second, according to the variance information of grayscale and depth optical flow, a motion region of interest (MRoI) is adaptively extracted to locate the moving body part (MBP) and reduce the impact of noise; then, Harris-Affine corners that satisfy skin color and adaptive motion constraints are adopted as skin seed points in the MRoI; next, the skin seed points are grown to obtain a candidate hand region utilizing skin color, depth and motion criteria; finally, boundary depth gradient, skeleton extraction, and shortest path search are employed to segment the moving hand region from the candidate hand region. Experimental results demonstrate that the proposed approach can accurately segment moving hand regions under different situations, especially when the face is occluded by a hand. Furthermore, this approach achieves higher segmentation accuracy than other state-of-the-art approaches.     

RGB-D结构相似性度量下的多边自适应深度图像超分辨率重建

目的 深度相机能够对场景的深度信息进行实时动态捕捉,但捕获的深度图像分辨率低且容易形成空洞。利用高分辨率彩色图像作为引导,是深度图超分辨率重建的重要方式。现有方法对彩色边缘与深度不连续区域的不一致性问题难以有效解决,在深度图超分辨率重建中引入了纹理复制伪影。针对这一问题,本文提出了一种鲁棒的彩色图像引导的深度图超分辨率重建算法。方法 首先,利用彩色图像边缘与深度图像边缘的结构相关性,提出RGB-D结构相似性度量,检测彩色图像与深度图像共有的边缘不连续区域,并利用RGB-D结构相似性度量自适应选取估计像素点邻域的最优图像块。接着,通过提出的定向非局部均值权重,在图像块区域内建立多边引导下的深度估计,解决彩色边缘和深度不连续区域的结构不一致性。最后,利用RGB-D结构相似性度量与图像平滑性之间的对应关系,对多边引导权重的参数进行自适应调节,实现鲁棒的深度图超分辨率重建。结果 在Middlebury合成数据集、ToF和Kinect数据集以及本文自建数据集上的实验结果表明,相比其他先进方法,本文方法能够有效抑制纹理复制伪影。在Middlebury、ToF和Kinect数据集上,本文方法相较于次优算法,平均绝对偏差平均降低约63.51%、39.47 %和7.04 %。结论 对于合成数据集以及真实场景的深度数据集,本文方法均能有效处理存在于彩色边缘和深度不连续区域的不一致性问题,更好地保留深度边缘的不连续性。     

纹理边缘引导的深度图像超分辨率重建

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像,但由于内部硬件的限制和外界因素的干扰,获取的深度图像存在分辨率低、边缘不准确的问题,无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样,并提取初始化深度图像的边缘;进一步利用高分辨率彩色图像和深度图像的相似性,采用基于结构化学习的边缘检测方法提取深度图的正确边缘;最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域,采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验,与8种最新的深度图像超分辨率重建算法作比较,用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时,能有效修正上采样后深度图像的边缘,使深度边缘与纹理边缘对齐,也能抑制上采样算法带来的边缘模糊现象;3维点云效果显示,本文算法能准确区分场景中的前景和背景,应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题,该算法结合同场景彩色图像与深度图像的相似性,利用纹理边缘引导深度图像的超分辨率重建,可以得到较好的重建结果。     

利用彩色空间肤色模型实现快速人脸检测

本文采用在彩色空间建立肤色高斯模型的方法进行人脸区域与非人脸区域的大致分离,然后在分离结果中根据每一个8连通区域的形态特点和人脸的几何特征,去除误检出的非人脸区域.本文中彩色空间选用HSI和YCbCr彩色空间,相较于RGB彩色空间,这两种彩色空间都可以将亮度信息与色彩信息分离,减小了亮度不同所造成的影响.该方法具有操作简单,计算量小,快速、不易受表情姿态影响等优点.实验结果表明该方法可以作为特征提取前,提高图像处理效率和准确度的图像预处理操作.     

利用彩色空间肤色模型实现快速人脸检测

本文采用在彩色空间建立肤色高斯模型的方法进行人脸区域与非人脸区域的大致分离,然后在分离结果中根据每一个8连通区域的形态特点和人脸的几何特征,去除误检出的非人脸区域。本文中彩色空间选用HSI和YCbCr彩色空间,相较于RGB彩色空间,这两种彩色空间都可以将亮度信息与色彩信息分离,减小了亮度不同所造成的影响。该方法具有操作简单,计算量小,快速、不易受表情姿态影响等优点。实验结果表明该方法可以作为特征提取前,提高图像处理效率和准确度的图像预处理操作。     

基于彩色图像分割的飞机机头定位方法

为了防止停在机库内的飞机被其他移动的飞机相撞，提出丁一种基于彩色图像分割技术的飞机机头定位方法，将该方法用于智能化飞机机库安全监控系统中，以实现飞机防撞报警功能。首先将摄像机拍摄的RGB图像转换为HSI图像，根据饱和度和色度的双阈值分割方法，初始分割出红色机头部分；对于初始分割结果，再通过形态学腐蚀、膨胀处理以及面积阚值分割手段来自动确定机头顶点位置，设置出安全防护区。经过现场实验表明，该方法可较好地确定飞机的机头位置，因而在一定程度上提高了传统监控系统的智能性。     

融合多特征的运动一致性图像分割

目的:在彩色图像分割中,光流法能够得到运动区域,但难以获得运动目标准确的分割边界,而常用的算法往往会产生过分割。为了克服光流法的不足,在保留显著性区域的同时抑制过分割,从而获得具有运动一致性区域的分割结果,提出融合多特征的运动一致性图像分割算法。方法:首先通过Mean Shift算法获取图像的初始分割,然后利用空域信息（包括颜色、边缘和区域面积）对视觉感知上具有相似性的区域进行合并,再利用时域信息进行运动一致性区域合并,最终得到分割结果。结果:实验结果表明通过结合时空信息,该方法能够有效抑制过分割,不仅弥补了光流场不能准确提取目标边缘的不足,而且提高了分割目标的完整性。结论:与两种流行的彩色图像分割算法相比,所提方法获得了更加理想的结果。     

Depth incorporating with color improves salient object detection

Detecting salient objects in challenging images attracts increasing attention as many applications require more robust method to deal with complex images from the Internet. Prior methods produce poor saliency maps in challenging cases mainly due to the complex patterns in the background and internal color edges in the foreground. The former problem may introduce noises into saliency maps and the later forms the difficulty in determining object boundaries. Observing that depth map can supply layering information and more reliable boundary, we improve salient object detection by integrating two features: color information and depth information which are calculated from stereo images. The two features collaborate in a two-stage framework. In the object location stage, depth mainly helps to produce a noise-filtered salient patch, which indicates the location of the object. In the object boundary inference stage, boundary information is encoded in a graph using both depth and color information, and then we employ the random walk to infer more reliable boundaries and obtain the final saliency map. We also build a data set containing 100+ stereo pairs to test the effectiveness of our method. Experiments show that our depth-plus-color based method significantly improves salient object detection compared with previous color-based methods.