基于深度神经网络的行人头部检测

行人检测已成为安防、智能视频监控、景区人流量统计所依赖的核心技术,最新目标检测方法包括快速的区域卷积神经网络Fast RCNN、单发多重检测器 SSD、部分形变模型DPM等,皆为对行人整体的检测。在大场景下,行人姿态各异,物体间遮挡频繁,只有通过对行人身体部分位置建模,抓住人的局部特征,才能实现准确的定位。利用Faster RCNN深度网络原型,针对行人头部建立检测模型,同时提取行人不同方向的头部特征,并加入空间金字塔池化层,保证检测速率,有效解决大场景下行人的部分遮挡问题,同时清晰地显示人群大致流动方向,相比普通的人头估计,更有利于人流量统计。     

改进特征与GPU加速的行人检测

目的 目前行人检测存在特征维度高、检测耗时的问题,行人图像易受到光照、背景、遮挡等影响,给实际行人检测造成了一定困难。为了提高检测准确性,减少检测耗时,针对以上问题,提出一种改进特征与GPU （graphic processing unit）加速的行人检测算法。方法 首先,采用多尺度无缩放思想,通过canny算子对所有样本进行预处理,减少背景干扰与统一归格化的形变影响。然后,针对实际视频中的遮挡问题,把图像分成头部、左臂、上身、右臂、左腿、右腿6个区域。接着选取比LBP （local binary patterns）特征鲁棒性更好的SILTP （scale invariant local ternary pattern）特征作为纹理特征,在GPU空间中并行提取;同时,分别提取6个区域的HOG （histogram of oriented gradient）特征值,结合行人轮廓在6个区域上的梯度方向分布特性,对其进行加权。最后,将提取的全部特征输出到CPU （central processing unit）,利用支持向量机（SVM）分类器实现行人检测。结果 在INRIA、NICTA数据集上进行实验,INRIA数据集上检测率达到99.80%,NICTA数据集上检测率达到99.91%,并且INRIA数据集上检测时间加速比达到12.19,NICTA数据集上达到13.49,相对传统HOG、LBP算法,检测率、时间比实现提高。结论 提出的改进HOG-SILTP特征与GPU加速的行人检测算法,能够有效表达行人信息,改善传统特征提取方式带来的耗时与形变影响,对环境变化、遮挡具有较强的鲁棒性。该算法在检测率、检测时间方面均有提高,能够实现有效、快速的行人检测,具有实际意义。     

基于部位检测和子结构组合的行人检测方法

提出了一种基于部位检测和子结构组合的、可用于辅助驾驶或视频监控系统中行人检测的方法.首先使用头部分类器在整幅图像中检测,得到感兴趣区域;然后在每个感兴趣区域内使用头部、躯干、腿部以及左臂和右臂5个人体部位检测器分别检测并使用基于子结构的检测组合方法对部位检测结果进行组合,以得到最终结果.在不同数据库上的实验结果表明,本方法可以有效地用于移动或静止摄像机所拍摄的视频图像中的多姿态及部分遮挡的行人检测.     

基于多任务CNN的监控视频中异常行人快速检测

在近年来社会公共安全受到广泛关注的情况下,如何利用监控视频对异常行人进行监督,预防危险事件的发生成为了一个热门课题.异常行人是指与普通行人在外观上有明显异常性区别的人,例如用头盔大面积遮挡面部或低头躲避摄像头,考虑到异常行人的特征主要集中在头面部,本文提出一种基于多任务卷积神经网络和单类支持向量机的针对头面部特征的异常行人快速检测方法.首先进行头面部区域的检测,然后使用多任务卷积神经网络提取头面部区域的特征,之后使用单类支持向量机判断是正常行人还是异常行人.此外,本文还针对卷积神经网络设计了一种卷积核拆分方法,加快了特征提取的速度,最终实验表明,本文提出的算法能够快速有效的检测出监控视频中的异常行人.     

基于Codebook背景建模的视频行人检测

针对视频序列,Codebook背景建模算法能检测出其中的运动物体,但却无法识别行人.而大部分基于支持向量机(SVM)训练的行人分类器,需要通过滑动窗口遍历图像检测行人.为加快行人检测的速度,提出将传统的行人分类器融入到Codebook背景建模算法中,通过背景建模算法为行人检测提供候选区域,减少搜索范围,降低了行人误检率;并根据行人的特点,构建临时块模型定期将满足条件的前景区域更新到背景模型中,解决了Codebook背景建模算法不能应对光照突变的问题.实验结果表明:所提算法能应对光照突变所带来的干扰,实现视频行人实时检测.     

An Obstacle Detection Method for Visually Impaired Persons by Ground Plane Removal Using Speeded-Up Robust Features and Gray Level Co-Occurrence Matrix

Rapid boost in the density of the pedestrians and vehicles on the roads have made the life of visually impaired people very difficult. In this direction, we present the design of a smart phone based cost-effective system to guide visually impaired people to walk safely on the roads by detecting obstacles in real-time scenarios. Monocular vision based method is used to capture the video and then frames are extracted out of it after removing the blurriness caused by the motion of camera. For each frame, a computationally simple approach based on the ground plane is proposed for detecting and removing the ground plane. After removing ground plane, features like Speeded-Up Robust Features (SURF) of the non-ground area are computed and compared with features of obstacles. An active contour model is used to segment the area of non-ground image whose SURF features are matched with obstacle features. This area is referred as Region of Interest (ROI). To check whether ROI belongs to an obstacle or not, Gray Level Co-occurrence matrix (GLCM) features are calculated and passed onto a classification model. Classification results show that this system is efficiently able to detect the obstacles that are known to the system in near real-time.     

Fast background subtraction using static and dynamic gates

Background subtraction is usually one of the first steps carried out in motion detection using static video cameras. This paper presents a new fast model for background subtraction that processes only some pixels of each image. This model achieves a significant reduction in computation time that can be used for subsequent image analysis. Some regions of interest (ROI) are located where movement can start. If no movement is present in the image, only pixels of these ROIs are processed. Once a moving object is detected, a new ROI that follows it is created. Thus, motion detection and parameter updates are executed only in the relevant areas instead of in the whole image. The proposed model has three main advantages: the computational time can be reduced drastically, motion detection performance is improved, and it can be combined with most of the existing background subtraction techniques. These features make it specially suitable for security applications.     

Associated evolution of a support vector machine-based classifier for pedestrian detection

Support vector machine (SVM) has become a dominant classification technique used in pedestrian detection systems. In such systems, classifiers are used to detect pedestrians in some input frames. The performance of a SVM classifier is mainly influenced by two factors: the selected features and the parameters of the kernel function. These two factors are highly related and therefore, it is desirable that the two factors can be analyzed simultaneously, which are usually not the case in the previous work.In this paper, we propose an evolutionary method to simultaneously optimize the feature set and the parameters for the SVM classifier. Specifically, adaptive genetic operators were designed to be suitable for the feature selection and parameter tuning. The proposed method is used to train a SVM classifier for pedestrian detection. Experiments in real city traffic scenes show that the proposed approach leads to higher detection accuracy and shorter detection time.     

Automatic detection of pedestrians from stereo camera images

We propose a technique for detecting pedestrians by employing stereo camera images and based on probabilistic voting. From a disparity map, each pixel on the image is voted on a depth map employing a 2-D Gaussian distribution. The region having the peak value in the vote is chosen as the foot of an object. The object is specified by a rectangle on the right image, which is referred to as the region of interest (ROI). This ROI is described by HOG features, and is judged by SVM if it contains a person. With an ROI containing a person, a Kalman filter is applied to track the person through successive image frames. The performance of the detection of people was evaluated by employing ground truth data. The ratio of people detected to the ground truth data, called the recall rate, was 80%. This is a satisfactory result.     

改进YOLOv5的油田作业现场安全着装小目标检测

针对油田作业现场监控视频中的工人安全着装小目标检测效果较差的问题, 提出了改进YOLOv5的油田场景规范化着装检测方法Cascade-YOLOv5 (C-YOLOv5). 首先搭建YOLO-people与YOLO-dress级联的小目标检测网络, 定位行人目标, 然后裁剪出行人区域并进行尺度变换, 最后对行人进行安全着...     

多尺度特征融合重建的行人检测方法

行人在众多场景中都存在多尺度变化问题,严重影响检测器的精度,为此设计卷积特征重建和通道注意力两种模块来增强对多尺度行人的检测效果。以原始输入的多尺度特征为基础融合重建多个特征金字塔,然后融合多个特征金字塔中的相同尺度特征,并学习每层特征的通道注意力权值来增加有效通道层权重,由此得到的特征才用于最后的检测。将这两种模块集成到RFBnet模型中,并改进模型损失函数用以优化对遮挡行人的检测效果。在Caltech-USA、INRIA和ETH三个数据集上的测试结果表明,新方法的准确率高于RFBnet和MS-CNN等一些多尺度方法,在不同尺度行人的测试子集上达到了最优的检测效果。     

双摄像机协同人脸鹰眼检测与定位方法

现代视频监控系统需要获取大范围场景中感兴趣目标的清晰图像,这在目标距离较远并且不断移动时单纯采用摄像机调焦方式通常有一定的困难。为了获取宽范围监控场景中远距离行人的主要面部特征,采用广角静止—窄视场运动双摄像机协同工作方式可以同时获得远距离目标的全局和细节信息。首先采用改进的Codebook背景减法从广角摄像机中检测运动目标,然后指引运动摄像机近距离跟踪观察;若行人停止运动,则利用运动摄像机对其进行放大,然后从中检测人脸,并将人脸置于视野中心放大得到清晰图像。当行人再次运动时,广角相机将初始位置再次传递给运动摄像机,由其再对行人进行跟踪。通过实验室内和室外真实场景的实验表明,广角相机的检测算法具有一定的鲁棒性,运动相机能跟踪放大行人人脸图像,算法运行速度满足实时性要求。     

Privacy enabled video surveillance using a two state Markov tracking algorithm

Nowadays video surveillance systems are widely deployed in many public places. However, the widespread use of video surveillance violates the privacy rights of the people. Many authors have addressed the privacy issues from various points of view. In this paper we propose a novel, on-demand selectively revocable, privacy preserving mechanism. The surveillance video can be tuned to view with complete privacy or by revoking the privacy of any subset of pedestrians while ensuring complete privacy to the remaining pedestrians. We achieve this by tracking the pedestrians using a novel Markov chain algorithm with two hidden states, detecting the head contour of the tracked pedestrians and obscuring their faces using an encryption mechanism. The detected pedestrian face/head is obscured by encrypting with a unique key derived from a master key for the privacy preservation purpose. The performance evaluations on many challenging surveillance scenarios show that the proposed mechanism can effectively and robustly track as well as identify multiple pedestrians and obscure/unobscure their faces/head in real time.     

Motion-based skin region of interest detection with a real-time connected component labeling algorithm

This paper presents a motion-based skin Region of Interest (ROI) detection method using a real-time connected component labeling algorithm to provide real-time and adaptive skin ROI detection in video images. Skin pixel segmentation in video images is a pre-processing step for face and hand gesture recognition, and motion is a cue for detecting foreground objects. We define skin ROIs as pixels of skin-like color where motion takes place. In the skin color estimation phase, RGB color histograms are utilized to define the skin color distribution and specify the threshold to segment skin-like regions. A parallel computed connected component labeling algorithm is also proposed to group the segmentation results into several clusters. If a cluster covers any motion pixel, this cluster is identified as a skin ROI. The method’s results for real images are shown, and its speed is evaluated for various parameters. This technology is compatible with monitoring systems, scene understanding, and natural user interfaces.     

基于情景记忆的运动小目标行人检测神经网络

从视觉场景中可靠地检测小目标行人对象是构建未来人工智能视觉系统的重要基础。由于运动小目标的视感尺寸小且纹理特征模糊,导致现有的传统行人目标检测方法难以应对。针对该问题,基于蝗虫视觉系统的神经结构特性,借助人类大脑内侧颞叶（MTL）情景记忆认知机理,提出一种适用于运动小目标行人检测的人工视觉神经网络（STPDNN）模型。所提出的神经网络包括两部分：突触前和突触后子网络。其中,突触前网络模拟蝗虫视觉系统加工处理视觉信号的神经机理,获得表征目标对象低阶特征的视觉运动线索;突触后网络从低阶视觉信号中提取出行人目标的情景记忆高阶信息,以实现对运动目标的偏好性响应。系统性的实验结果表明,提出的STPDNN可有效检测视觉场景中的运动小目标行人对象。该研究工作涉及生物视神经机理启发的行人目标动态视觉信息加工处理,可为智能视频监控中的行人检测识别与运动行为分析提供新思想、新方法。     

融合自编码器和one-class SVM的异常事件检测

目的 在自动化和智能化的现代生产制造过程中,视频异常事件检测技术扮演着越来越重要的角色,但由于实际生产制造中异常事件的复杂性及无关生产背景的干扰,使其成为一项非常具有挑战性的任务。很多传统方法采用手工设计的低级特征对视频的局部区域进行特征提取,然而此特征很难同时表示运动与外观特征。此外,一些基于深度学习的视频异常事件检测方法直接通过自编码器的重构误差大小来判定测试样本是否为正常或异常事件,然而实际情况往往会出现一些原本为异常的测试样本经过自编码得到的重构误差也小于设定阈值,从而将其错误地判定为正常事件,出现异常事件漏检的情形。针对此不足,本文提出一种融合自编码器和one-class支持向量机（support vector machine,SVM）的异常事件检测模型。方法 通过高斯混合模型（Gaussian mixture model,GMM）提取固定大小的时空兴趣块（region of interest,ROI）;通过预训练的3维卷积神经网络（3D convolutional neural network,C3D）对ROI进行高层次的特征提取;利用提取的高维特征训练一个堆叠的降噪自编码器,通过比较重构误差与设定阈值的大小,将测试样本判定为正常、异常和可疑3种情况之一;对自编码器降维后的特征训练一个one-class SVM模型,用于对可疑测试样本进行二次检测,进一步排除异常事件。结果 本文对实际生产制造环境下的机器人工作场景进行实验,采用AUC （area under ROC）和等错误率（equal error rate,EER）两个常用指标进行评估。在设定合适的误差阈值时,结果显示受试者工作特征（receiver operating characteristic,ROC）曲线下AUC达到91.7%,EER为13.8%。同时,在公共数据特征集USCD （University of California,San Diego） Ped1和USCD Ped2上进行了模型评估,并与一些常用方法进行了比较,在USCD Ped1数据集中,相比于性能第2的方法,AUC在帧级别和像素级别分别提高了2.6%和22.3%;在USCD Ped2数据集中,相比于性能第2的方法,AUC在帧级别提高了6.7%,从而验证了所提检测方法的有效性与准确性。结论 本文提出的视频异常事件检测模型,结合了传统模型与深度学习模型,使视频异常事件检测结果更加准确。     

Anchor-free的尺度自适应行人检测算法

Anchor作为行人检测算法中的初始框,可以解决行人平移问题和缓解行人尺度变化问题,目前的行人检测算法通常都基于anchor.然而,使用anchor就需要精心调整对检测性能影响非常大的anchor超参数,如anchor的尺度和高宽比等.为避免这一问题,提出一种基于anchor-free损失函数的行人检测算法,并通过融合特征金字塔网络(FPN)所有检测分支的特征,使anchor-free行人检测算法在训练过程中不需要为FPN的每个检测分支设置有效的训练尺度范围.另外,还提出一个尺度注意力(scale attention,SA)模块,用于融合FPN所有检测分支特征的过程,使网络在检测某个尺度的行人时,能够自适应地为行人所对应的不同尺度的感兴趣区域(ROI)特征赋予合适的权重.实验结果显示,所提出的行人检测算法不仅可以实现anchor-free,从而避免anchor的超参数调整问题,而且在性能上优于其他行人检测算法,在CityPersons数据集上取得了目前最好的效果9.19%MR^-2.     

时空图卷积网络在人体异常行为识别中的应用

在监控场景下,由于监控资源短缺,行人异常行为容易发生漏检。针对该问题,提出了一种视频监控场景下的人体异常行为识别的方法,辅助监控人员及时发现异常。使用OpenPose对图像中行人进行人体骨架提取。针对图卷积网络对关节点特征聚合方式单一的问题,融合了基于图注意力网络（graph attention network,GAT）的图注意力机制。在改进后的图卷积网络的基础上,利用时空图卷积神经网络（spatial temporal graph convolutional networks,ST-GCN）,对行人关节点信息进行异常行为识别。实验结果表明,提出的识别算法对定义的行为识别准确率达85.48%,能够准确地识别监控视频中行人的异常行为。     

融合包注意力机制的监控视频异常行为检测EI北大核心CSCD

针对监控视频中行人非正常行走状态的异常现象,提出了一个端到端的异常行为检测网络,以视频包为输入,输出异常得分.时空编码器提取视频包时空特征后,利用基于隐向量的注意力机制对包级特征进行加权处理,最后用包级池化映射出视频包得分.本文整合了4个常用的异常行为检测数据集,在整合数据集上进行算法测试并与其他异常检测算法进行对比.多项客观指标结果显示,本文算法在异常事件检测方面有着显著的优势.     

应用Camshift跟踪算法提高视频中人脸检测速度

在OpenCV中提供的CascadeClassifier级联分类器利用Haar特征进行人脸检测时,检测速度很慢无法满足视频对实时性的要求,而且光照的影响也很大.基于这两点提出一种新的人脸检测算法,采用Camshift目标跟踪与人脸检测相结合提高检测速度并利用直方图均衡化减弱光照的影响.该算法首先把CascadeClassifier级联分类器方法检测到的人脸区域设为ROI区域,对ROI区域操作并用Camshift算法进行目标跟踪,其次要定时进行一次人脸检测用来更新ROI区域保证跟踪的准确性.经过实验结果分析表明：利用改进后的算法,人脸检测的速度有明显提高（约为40%）,并且减小了光照的影响.