基于Faster RCNN的穿越围栏违规行为检测

安全围栏在电力施工现场扮演着重要的角色,但穿越围栏的违规行为普遍存在,给施工现场造成了极大的安全隐患.为了实现智能化监管,本文利用目标检测算法,结合帧差法的思想提出了一种基于Faster RCNN的穿越围栏违规行为检测方法.该方法通过读取视频监控信息,利用目标检测方法获取围栏的位置信息以及人体关键点的信息,通过帧差判断...     

视觉关注转移的事件检测算法

智能监控系统已广泛应用于银行、超市、公交车等公共场合,监控视频的事件检测已经成为智能监控中的关键技术.提出了一种基于视觉关注转移的事件检测方法,该方法首先分别通过对视频帧进行动态和静态受关注模型的提取得到视觉关注显著图,然后根据视觉关注显著图的时域特性形成视觉关注节奏曲线,根据视觉关注节奏的变化强度选取关键帧,以关键帧形式表示受关注事件的发生.实验结果表明,算法提取的关键帧可以准确地标示监控视频中特征事件的发生,并且可以做到实时地检测事件.     

基于改进的SECOND网络与MobileNet V2网络的视频监控与追踪技术实现

为提高作业现场视频监控水平,提出一种基于深度学习的视频监控与追踪方法。该方法通过采用Res2SENet网络作为SECOND网络的卷积模块,并使用可变形卷积替代SECOND网络的标准卷积,以实现SECOND网络的改进。首先,基于改进的SECOND网络对目标进行检测,实现作业现场视频监控目标检测;然后,通过采用空洞卷积替代MobileNet V2网络的普通卷积,并使用改进后的MobileNet V2网络作为目标追踪算法,实现作业现场视频监控目标检测与跟踪;最后,在典型的包含大量激光点云图像的KITTI数据集上进行测试。结果表明,该方法利用改进SECOND网络对作业现场视频监控三维目标检测的平均精度和检测时间分别为81.62%和0.048 s,相较于标准SECOND网络、特征金字塔网络(Feature Pyramid Network,FPN)、F-PointNet网络,改进SECOND网络具有明显优势;利用改进的MobileNet V2网络对作业现场视频监控三维目标跟踪的准确度、精确度和跟踪数分别为81.62%、80.55%和57.30%,丢失数和跟踪轨迹中行人ID瞬间转换次数分别为11.08%和22%,具有较快的运行速度,为39 f/s,相较于MobileNet V2网络、马尔可夫决策过程(Markov Decision Process,MDP)网络、平滑支持向量机(Smooth Support Vector Machine,SSVM)网络,改进的MobileNet V2网络在各项指标上均具有一定优势,可以满足作业现场视频监控目标的检测与实时跟踪需求。     

局部与全局相融合的孪生低照度视频增强网络

在低照度环境下拍摄到的视频往往有对比度低、噪点多、细节不清晰等问题, 严重影响后续的目标检测、分割等计算机视觉任务. 现有的低照度视频增强方法大都是基于卷积神经网络构建的, 由于卷积无法充分利用像素之间的长程依赖关系, 生成的视频往往会有部分区域细节丢失、颜色失真的问题. 针对上述问题, 提出了一种局部与全局相融合的孪生低照度视频增强网络模型, 通过基于可变形卷积的局部特征提取模块来获取视频帧的局部特征, 并且设计了一个轻量级自注意力模块来捕获视频帧的全局特征, 最后通过特征融合模块对提取到的局部特征和全局特征进行融合, 指导模型能生成颜色更真实、更具细节的增强视频. 实验结果表明, 本方法能有效提高低照度视频的亮度, 生成颜色和细节都更丰富的视频, 并且在峰值信噪比和结构相似性等评价指标中也都优于近几年提出的方法.     

基于多级时空域3D卷积的换脸视频检测方法

近年来,视频换脸技术发展迅速。该技术可被用于伪造视频来影响政治行动和获得不当利益,从而给社会带来严重危害,目前已经引起了各国政府和舆论的广泛关注。本文通过分析现有的主流视频换脸生成技术和检测技术,指出当前主流的生成方法在时域和空域中均具有伪造痕迹和生成损失。而当前基于神经网络检测合成人脸视频的算法大部分方法只考虑了空域的单幅图像特征,并且在实际检测中有明显的过拟合问题。针对目前检测方法的不足,本文提出一种高效的基于时空域结合的检测算法。该方法同时对视频换脸生成结果在空域与时域中的伪造痕迹进行捕捉,其中,针对单帧的空域特征设计了全卷积网络模块,该模块采用3D卷积结构,能够精确地提取视频帧阵列中每帧的伪造痕迹;针对帧阵列的时域特征设计了卷积长短时记忆网络模块,该模块能够检测伪造视频帧之间的时序伪造痕迹;最后,根据特征分类设计特征网络金字塔网络结构,该结构能够融合不同尺寸的时空域特征,通过多尺度融合来提高分类效果,并减少过拟合现象。与现有方法相比,该方法在训练中的收敛效果和分类效果方面有明显优势。除此之外,我们在保证检测准确率的前提下采用较少的参数,相比现有结构而言训练效率更高。     

基于改进型时间分段网络的视频异常检测

视频异常检测是计算机视觉领域的一个重要研究课题,广泛应用于道路监控、异常事件监测等方面。考虑到异常行为的外观、运动特征与正常行为存在明显差异,提出一种改进型时间分段网络,利用该网络学习视频中的外观和运动信息,从而对视频异常行为进行预测。为了提取更多的视频信息,将RGB图和RGB帧差图相融合作为输入,以提取RGB图中的外观信息并通过RGB帧差图获得更有效的运动特征。将卷积注意力机制模块加入到时间分段网络模型中,从空间和通道2个不同的维度学习注意力图,利用学习到的注意力权重区分异常和正常的视频片段,同时运用焦点损失函数降低大量简单负样本在训练过程中所占的权重,使得模型更专注于难分类的样本,从而解决视频异常检测中正负样本比例不平衡的问题。实验结果表明,改进型时间分段网络在UCF-Crime和CUHK Avenue数据集上的AUC值分别达到77.6%和83.3%,检测性能优于基准方法TSN（RGB流）以及ISTL、3D-ConvAE等方法。     

基于自注意力机制的视频行为分析

视频行为识别是智能视频分析的重要组成部分.传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点.针对two-stream系列的深度卷积网络,时间网络的输入是直接以相邻两帧的光流场作为输入,其中也包含了镜头移动、背景运动等无关的运动特征的问题,在视频时序上仅通过分块取样固定长度的帧,其...     

基于深度学习的视频多对象视觉检测和追踪方法

为更好提升视频中的多对象视觉检测和追踪的有效性,提出一种用于视觉对象检测的深度卷积神经网络架构,考虑时域信息和空域信息的基础上直接以视频作为输入,通过引入粒化层,确保更好地定位含有检测对象的前景区域;提出一种对象追踪方法,由于只涉及同一类对象内的逐帧关联,该方法在减少运行时间的同时增加追踪精度。在不同对象检测和追踪的基准集上与不同检测方法和追踪方法的各种评价指标对比验证了该方法的有效性。     

基于卷积神经网络的目标识别算法研究

随着时代的快速发展,对于监控视频处理,传统人工处理方式已不能满足社会实际发展需求。智能监控依靠目标检测实现监控,目标识别成为计算机视觉领域的重要研究方向,主要从图像或者视频中检测某一类别的目标。基于此,分析卷积神经网络目标识别算法,研究目标检测算法存在的问题,并提出相应对策,有效提高检测算法的有效性和精确度,从而推动智能视频监控的快速发展和广泛应用。     

一种基于2D时空信息提取的行为识别算法

基于计算机视觉的人体行为识别技术是当前的研究热点，其在行为检测、视频监控等领域都有着广泛的应用价值。传统的行为识别方法，计算比较繁琐，时效性不高。深度学习的发展极大提高了行为识别算法准确性，但是此类方法和图像处理领域相比，效果上存在一定的差距。设计了一种基于DenseNet的新颖的行为识别算法，该算法以DenseNet做为网络的架构，通过2D卷积操作进行时空信息的学习，在视频中选取用于表征行为的帧，并将这些帧按时空次序组织到RGB空间上，传入网络中进行训练。在UCF101数据集上进行了大量实验，实验准确率可以达到94.46%。     

Novel automatic video cut detection technique using Gabor filtering

Video shot transition identification constitutes an important computer vision research field, being applied, as an essential step, in many other digital video analysis domains: video scene detection, video compression, video indexing, video content retrieval and video object tracking. This paper approaches the video cut transition detection domain, providing a novel feature-based automatic identification method. We propose a feature extraction technique that uses 2D Gabor filtering, computing tridimensional image feature vectors for the video frames. Most shot cut detection techniques use a thresholding operation to discriminate between the inter-frame difference metric values and thus identify the video break points. Our identification approach is not threshold-based, using an automatic unsupervised distance classification procedure instead of a threshold. Thus, we provide a region-growing based classification approach, that proves to be very efficient in clustering the distances between feature vectors of consecutive frames. The two resulted distance classes determine a satisfactory video shot detection.     

Video-based Approach to Human Animation

A method based on computer vision technologies is presented to determine the 3-D spatial locations of joints or feature points of a human body from human motion video. The proposed method first applies the geometric projection theory to obtain a set of feasible postures in some key frames according to predefined 2D video features and 3D-model features correspondence. Next it makes use of the available skeleton controlled human model to get a feasible posture for each key frame. The method is applied to a series of video images to animate artificial 3D human models.     

Robust semi-automatic head pose labeling for real-world face video sequences

Automatic head pose estimation from real-world video sequences is of great interest to the computer vision community since pose provides prior knowledge for tasks, such as face detection and classification. However, developing pose estimation algorithms requires large, labeled real-world video databases on which computer vision systems can be trained and tested. Manual labeling of each frame is tedious, time consuming, and often difficult due to the high uncertainty in head pose angle estimate, particularly in unconstrained environments that include arbitrary facial expression, occlusion, illumination etc. To overcome these difficulties, a semi-automatic framework is proposed for labeling temporal head pose in real-world video sequences. The proposed multi-stage labeling framework first detects a subset of frames with distinct head poses over a video sequence, which is then manually labeled by the expert to obtain the ground truth for those frames. The proposed framework provides a continuous head pose label and corresponding confidence value over the pose angles. Next, the interpolation scheme over a video sequence estimates i) labels for the frames without manual labels and ii) corresponding confidence values for interpolated labels. This confidence value permits an automatic head pose estimation framework to determine the subset of frames to be used for further processing, depending on the labeling accuracy required. The experiments performed on an in-house, labeled, large, real-world face video database (which will be made publicly available) show that the proposed framework achieves 96.98 % labeling accuracy when manual labeling is only performed on 30 % of the video frames.     

油田作业现场云端智能监控系统

随着数字化油田建设步伐的不断加快,云端智能视频监控在油田作业现场的应用成为一个热点问题.油田作业现场现有的视频监控系统,架构上存在客户端部署困难、系统拓展性差等缺陷,智能检测上主要依靠视频监控被动监视的方式来应对现场存在的安全隐患,对于监控日志数据不能有效的存档管理以及进行综合分析.本文首先针对油田作业现场实际需求,考...     

基于纹理和灰度差分相结合的运动检测

运动目标检测在智能监控系统和交通检测系统中发挥着极其重要的作用,是视觉系统中的一个重要研究课题。文章提出了一种新的思路,利用图像的纹理信息,并结合图像的灰度差分,对运动图像进行分割,从而检测出运动目标。     

基于融合特征的视频关键帧提取方法

当前对视频的分析通常是基于视频帧,但视频帧通常存在大量冗余,所以关键帧的提取至关重要.现有的传统手工提取方法通常存在漏帧,冗余帧等现象.随着深度学习的发展,相对传统手工提取方法,深度卷积网络可以大大提高对图像特征的提取能力.因此本文提出使用深度卷积网络提取视频帧深度特征与传统方法提取手工特征相结合的方法提取关键帧.首先使用卷积神经网络对视频帧进行深度特征提取,然后基于传统手工方法提取内容特征,最后融合内容特征和深度特征提取关键帧.由实验结果可得本文方法相对以往关键帧提取方法有更好的表现.     

悬浮抱杆组塔工艺承力检测系统设计与应用

电力铁塔组立是危险系数极高的工作。为了保障施工安全，施工前有安全作业理论验算和严格的施工流程步骤管理，施工中有各种规章制度约束并采用视频监控等方式进行监督。但上述方式缺乏直接的力检测手段，为解决此难题，提出一种适用于内悬浮外(内)拉线组塔工艺承力系统的力检测方案，检测其吊装过程中抱杆系统的受力情况。以实际应用为目标，针对抱杆系统开发出卸扣力传感器、钢丝绳张力传感器和抱杆姿态仪等设备，详细说明了各传感器的安装位置，结合ZigBee无线通信技术，配合上位机软件，实现对组塔吊装过程的实时监控和预测预警。通过现场试用，表明该检测系统测量精确、安装方便，能满足现场检测要求。     

基于5G+AI的智慧工地安全监督平台创新实践

在核电厂数字化转型以及智慧化发展的趋势下,工程建造领域开展智慧化项目实施的需求愈发强烈。文章介绍了智慧工地平台再田湾核电站的建设背景,以及所使用的关键技术例如5G+MEC无线网络技术和边缘计算技术、北斗+蓝牙定位技术、以及视频监控和AI智能分析等手段等,对项目功能架构和美。文章从主要功能门口入手,介绍了智慧工地平台的功能架构。项目实现工程建设区域的5G无线网络全覆盖、实时视频监控、实现对工程安全监管行为的AI实时分析和预警、施工现场人员和车辆实时定位和报警、与施工现场的广播系统联动、实现施工现场的实时环境监测、实现工程现场的门禁控制和人员实时管理。文字分析了应用效果以及相关运营管理制度。通过平台的实施实现自应速度和事件的处置速度,变被动式管理为主动式智能化管理,有效提高施工现场的管理水平和管理效率。