基于全景视觉的监控系统设计

设计了一个基于全景视觉的多摄像机监控网络。全景相机视野广,可以实现大范围的目标检测与跟踪。云台摄像机视角具有一定的自由度,可以捕捉目标的高分辨率图像。将全景相机与云台相机相互配合,通过多传感器的数据融合,分层次的跟踪算法及多相机调度算法,实现了大范围的多个运动目标的检测与跟踪,并能捕获目标的清晰图像。实验验证了该系统的有效性和合理性。     

基于TMS320C6701的嵌入式智能视觉监控系统设计与实现

为了使视觉监控系统具有自主能力,本文设计了一种基于嵌入式高速DSP处理器TMS320C6701的运动目标自动跟踪系统,通过对摄像机获取的序列图像进行自动分析,实现对动态场景中目标的定位、识别和跟踪,并在此基础上分析和判断目标的行为。首先介绍了系统的硬件和软件设计,然后运用差分图像法,通过阈值图像分割来检测运动目标,并采用形心跟踪算法来自动跟踪目标。实验结果表明该系统取得了较好的跟踪效果。     

多场景视频监控中的人物连续跟踪

针对多场景监控,提出一种能在非重叠的多摄像机之间,实时地检测与被跟踪行人（目标）的视频监控系统。该系统分别对每个摄像机视频进行背景建模、前景检测以及运动目标的特征提取,当目标离开摄像机视域的时候,根据已知的拓扑关系向相关摄像机发布监控任务,当有目标进入处于有效监控状态的摄像机视域时,进行目标匹配,从而实现在多摄像机系统中对行人目标的持续跟踪。实验表明,该系统在非重叠摄像机场景中能实现实时的、鲁棒的目标跟踪。     

基于教室监控视频的学生位置检测和人脸图像捕获算法

实现一个基于课堂监控视频的学生位置检测和学生人脸图像获取系统。本系统由一个定焦全景摄像机和一个PTZ(平移(Pan)、倾斜(Tilt)、变焦(Zoom))摄像机组成。首先利用全景摄像机获得教室全景图像，针对实际课堂环境中的光线突变，提出基于帧间差的异常光线排除算法，实现异常光线监测和动态空教室图像检测与存储；使用HR网络结构对全景图像进行人脸检测，得到人脸检测框集合；针对非约束环境中学生因姿势变化和人脸遮挡、全景图像分辨率低等因素引起人脸信息缺失而导致人脸检测漏检问题，提出基于人体头肩特征的加权运动目标检测算法，得到目标检测框，提高人脸信息缺失的学生位置检测率；针对多种检测框的大量冗余，提出多种检测框加权融合算法，有效减少检测框的重复，得到学生人物检测框集合。然后，将学生人物检测框包含的位置信息传递至PTZ摄像机控制子系统，使PTZ逐个聚焦目标学生，捕获到清晰的学生人脸图像，为后续的人脸识别提供高质量的图像。     

相机运动条件下的行人检测与跟踪

行人检测与跟踪在司机辅助安全系统和视频监控等领域具有重要的地位.针对目前存在的关键问题,如人体运动,相机运动,背景及形状、角度等变化对检测及跟踪带来的干扰,提出了一种将运动信息与形状信息相结合的行人检测方法,准确检测运动摄像机拍摄的直立运动人体;使用了基于小面积目标的跟踪算法进行人体跟踪;利用实际拍摄的视频序列进行算法验证.实验结果表明,混合检测算法速度快,准确率高;基于小面积的跟踪算法能够鲁棒的跟踪检测到的运动人体.     

一种面向停车场场景的运动目标检测与跟踪方法

针对采用固定相机的停车场场景监控视频中可能出现运动目标较长时间停留的情况,提出一种帧间差(Frame difference)和运行期均值(Running average)相结合的运动目标检测方法,然后在卡尔曼滤波以及运动目标直方图和轮廓信息的辅助下实现运动目标的跟踪.实验结果表明,该方法可以在满足实时监控的需求下较好的检测与跟踪停车场场景中的运动目标.     

基于在线特征选择的实时多姿态人脸跟踪

针对复杂条件下的人脸跟踪问题, 将显著区域跟踪算法和基于 Adaboost 的人脸检测算法相结合, 研发了一个实时多姿态人脸跟踪系统. 系统采用数据关联结果, 自动选择和切换检测器与跟踪器, 并通过引入环境信息增强跟踪算法的稳定性. 实验表明, 系统可在目标姿态变化、摄像机运动等复杂条件下进行自动人脸检测与跟踪, 对 320x240 的图像序列处理速度达到 10-12帧/秒.     

室内视频监控中行人目标检测与跟踪方法

为了有效检测和跟踪室内环境下视频监控中的行人目标,本文提出了一种新的行人检测与跟踪算法。检测阶段采用隔帧差分图像法以及自适应闽值分割技术快速检测运动行人;跟踪阶段采用卡尔曼滤波对目标位置进行预测,并利用最小外接矩形框优化匹配搜索。实现运动行人连续跟踪。通过单人、多人交互两组视频序列对算法进行了验证,试验结果表明。本文算法能够较好地处理室内静止背景下单人、多人跟踪,并对目标遮挡有一定的鲁棒性。     

基于主动视觉的运动目标检测跟踪方法

研究主动视觉运动目标检测跟踪系统。针对图像目标跟踪多为非连续动态过程,准确性差,通过混合高斯法建立背景模型,采用背景差分法,利用最大类间方差算法确定阈值,检测分割出运动目标,提出一种结合SURF算法的带宽自适应均值漂移跟踪算法实现目标跟踪,使用线程并行控制摄像机运动,确保跟踪目标在图像序列中的合适尺寸。实验表明,改进系统能够实现对场景中运动目标的准确检测,稳定跟踪,并能到达实时应用的要求。     

基于深度学习的运动目标交接算法

针对多摄像机非重叠视域下存在的运动目标不连续性和不确定性的问题,提出一种基于深度学习的运动行人目标的交接算法.首先基于深度卷积神经网络构建人脸特征提取模型,对人脸特征提取模型进行训练,获得精确的人脸特征.然后比较两种常用的相似度度量方法,选择其中一种更适合的相似度度量方法,以完成最优的人脸匹配过程,提高人脸匹配的准确率.最后通过对不同摄像机下的人脸进行特征匹配找到最匹配的人脸,实现运动目标的交接.实验表明,深度神经网络可以减少运动目标丢失的概率,准确地提取到运动目标的人脸特征,有效完成多摄像机下运动目标的交接跟踪任务.     

Surveillance camera scheduling: a virtual vision approach

We present a surveillance system, comprising wide field-of-view (FOV) passive cameras and pan/tilt/zoom (PTZ) active cameras, which automatically captures high-resolution videos of pedestrians as they move through a designated area. A wide-FOV static camera can track multiple pedestrians, while any PTZ active camera can capture high-quality videos of one pedestrian at a time. We formulate the multi-camera control strategy as an online scheduling problem and propose a solution that combines the information gathered by the wide-FOV cameras with weighted round-robin scheduling to guide the available PTZ cameras, such that each pedestrian is observed by at least one PTZ camera while in the designated area. A centerpiece of our work is the development and testing of experimental surveillance systems within a visually and behaviorally realistic virtual environment simulator. The simulator is valuable as our research would be more or less infeasible in the real world given the impediments to deploying and experimenting with appropriately complex camera sensor networks in large public spaces. In particular, we demonstrate our surveillance system in a virtual train station environment populated by autonomous, lifelike virtual pedestrians, wherein easily reconfigurable virtual cameras generate synthetic video feeds. The video streams emulate those generated by real surveillance cameras monitoring richly populated public spaces.A preliminary version of this paper appeared as [1].     

结合对象分割的运动行人检测

目标检测大量应用于监控系统的行人检测以及人脸识别,是当前深度学习的研究热点.监督学习利用人工标注大量数据集训练出针对特定场景的行人检测器.但是人工标注方法费时费力,本文针对监督学习需要人工标注数据集的缺点,研究了一种半自动标注行人的方法.针对静止的单目摄像机拍摄的监控视频,利用光流信息提供的初始前景可能性,以及跨越时间的视觉相似性来迭代地更新初始的前景可能性,分割出运动的行人,根据分割的前景对象,提出了一种半自动标注行人的方法.实验结果显示,本文的方法可以为行人检测系统提供大量数据集,且效率上明显优于传统人工标注的方法.     

The Big Data Analysis on the Camera-based Face Image in Surveillance Cameras*

In the Big-Data era, currently how to automatically realize acquisition, refining and fast retrieval of the target information in a surveillance video has become an urgent demand in the public security video surveillance field. This paper proposes a new gun-dome camera cooperative system, which solves the above problem partly. The system adopts a master-slave static panorama-variable view dualcamera cooperative video-monitoring system. In this dual-camera system the gun camera static camera） with a wide viewing -angle lenses is in charge of the pedestrian detection and the dome camera can maneuver its focus and cradle orientation to get the clear and enlarged face images. In the proposed architecture, Deformable Part Model (DPM) method realizes real-time detection of pedestrians. The look-up table method is proved feasible in a dual-camera cooperative calibration procedure, while the depth information of the moving target changes slightly. As respect to the face detection, the deep learning architecture is exploited and proves its effectiveness. Moreover, we utilize the Haar-Like feature and LQV classifier to execute the frontal face image capture. The experimental results show the effectiveness and efficiency of the dual-camera system in close-up face image acquisition.     

基于计算机视觉的行人检测技术的发展

智能车辆作为智能交通系统的关键技术,是许多高新技术综合集成的载体。智能车辆的一个非常重要的研究课题就是在城市道路交通环境下如何避免行人被车辆碰撞。总结了基于计算机视觉的行人检测的现有的主要技术,针对摄像机在交通视频监控系统中的静止情况,以及在智能车辆上的运动情况下的行人检测算法及其性能进行了评述和比较,并分析了当前行人检测技术的研究现状,指出了存在的问题和研究前景。     

基于多任务CNN的监控视频中异常行人快速检测

在近年来社会公共安全受到广泛关注的情况下,如何利用监控视频对异常行人进行监督,预防危险事件的发生成为了一个热门课题.异常行人是指与普通行人在外观上有明显异常性区别的人,例如用头盔大面积遮挡面部或低头躲避摄像头,考虑到异常行人的特征主要集中在头面部,本文提出一种基于多任务卷积神经网络和单类支持向量机的针对头面部特征的异常行人快速检测方法.首先进行头面部区域的检测,然后使用多任务卷积神经网络提取头面部区域的特征,之后使用单类支持向量机判断是正常行人还是异常行人.此外,本文还针对卷积神经网络设计了一种卷积核拆分方法,加快了特征提取的速度,最终实验表明,本文提出的算法能够快速有效的检测出监控视频中的异常行人.     

一种用于视频监控的双摄像头系统实现

提出了一种新颖的用于视频监控的双摄像头系统,在此系统中全景摄像机与PTZ摄像机(云台摄像机)结合在一起,既能对大范围内的目标进行检测与跟踪又能对目标的详细图像进行捕捉。在全景摄像机获取的图像中进行运动检测,获取运动物体位置信息后利用PTZ摄像机对其进行检测分析,以实现二者的数据融合。设计了全景摄像机的反射镜面,对该双摄像头系统进行了标定,在实验室环境下的进行实验验证了系统的性能。     

基于运动目标分类的双向人流量统计算法

提出了一种在智能视频监控中基于运动目标分类的双向人流量统计算法.本文首先对运动目标进行检测和跟踪,根据检测出的运动目标团块经过预设计数线时的特征信息,把目标划分为非行人、单行人和多行人.对于多行人的情况,利用HOG和SVM对目标团块中的头肩进行检测,判断出多目标团块包含的行人数目.在人流量的统计中,借助于运动目标方向信息和目标团块所包含的行人数目信息,对经过场景预设计数线的行人进行进出双向的统计.本文算在建筑物通道口环境下的人流量统计中取得了较好的效果.     

Panoramic Gaussian Mixture Model and large-scale range background substraction method for PTZ camera-based surveillance systems

In this paper, we present a novel approach for constructing a large-scale range panoramic background model that provides fast registration of the observed frame and localizes the foreground targets with arbitrary camera direction and scale in a Pan–tilt–zoom (PTZ) camera-based surveillance system. Our method consists of three stages. (1) In the first stage, a panoramic Gaussian mixture model (PGMM) of the PTZ camera’s field of view is generated off-line for later use in on-line foreground detection. (2) In the second stage, a multi-layered correspondence ensemble is generated off-line from frames captured at different scales which is used by the correspondence propagation method to register observed frames online to the PGMM. (3) In the third stage, foreground is detected and the PGMM is updated. The proposed method has the capacity to deal with the PTZ camera’s ability to cover a wide field of view (FOV) and large-scale range. We demonstrate the advantages of the proposed PGMM background subtraction method by incorporating it with a tracking system for surveillance applications.     

采用截面流量统计的高密度人群行人计数

利用摄像头实现行人计数在智能视频监控领域有着重要的价值,但是行人互相遮挡、噪声、摄像机透视效果和图像背景等问题影响了人群计数的准确性.针对高密度人群场景的行人计数准确率的问题,提出了基于截面流量统计的行人计数方法,该方法基于梯度运动历史图像检测前景,并用有效运动图像改进了基于特征提取的行人计数方法,结合运动速度提取方法实现了行人计数.实验结果表明,提出的计数方法在高密度人群场景中具有较高的准确率和实时性,是一种针对高密度人群有效的行人计数方法.