连续图卷积视频烟雾检测模型

目的 视频烟雾检测在火灾预警中起到重要作用,目前基于视频的烟雾检测方法主要利用结构化模型提取烟雾区域的静态和动态特征,在时间和空间上对烟雾信息作同等或相似处理,忽略了视频数据在时间线上的连续性和特征的非结构化关系。图卷积网络（GCN）与神经常微分方程（ODE）在非欧氏结构与连续模型处理上具有突出优势,因此将二者结合提出了一种基于视频流和连续时间域的图烟雾检测模型。方法 目前主流的视频烟雾检测模型仍以离散模型为基础,以规则形式提取数据特征,利用ODE网络构建连续时间模型,捕捉视频帧间的隐藏信息,将原本固定时间跨度的视频帧作为连续时间轴上的样本点,充分利用模型的预测功能,补充帧间丢失信息并对未来帧进行一定程度的模拟预测,生成视频帧的特征并交给图卷积网络对其重新建模,最后使用全监督和弱监督两种方法对特征进行分类。结果 分别在2个视频和4个图像数据集上进行训练与测试,并与最新的主流深度方法进行了比较,在KMU （Korea Maritime University）视频数据集中,相比于性能第2的模型,平均正样本正确率（ATPR值）提高了0.6%;在2个图像数据集中,相比于性能第2的模型,正确率分别提高了0.21%和0.06%,检测率分别提升了0.54%和0.28%,在视频单帧图像集上正确率高于第2名0.88%。同时也在Bilkent数据集中进行了对比实验,以验证连续隐态模型在烟雾动态和起烟点预测上的有效性,对比实验结果表明所提连续模型能够有效预测烟雾动态并推测烟雾起烟点位置。结论 提出的连续图卷积模型,综合了结构化与非结构化模型的优势,能够获得烟雾动态信息,有效推测烟雾起烟点位置,使烟雾检测结果更加准确。     

时空双路3D残差卷积网络的视频烟雾检测

现有的视频烟雾检测方法大多通过运动检测提取疑似烟区,并依据经验手工设计提取烟雾特征,在复杂场景中检测准确率不高。针对以上问题,提出了一种基于时空双路3D残差卷积网络的视频烟雾检测方法,基于混合高斯背景模型与原始视频帧的小波低频分量差进行疑似烟区提取,其次构造时空双路3D残差卷积神经网络,并引入注意力机制加权融合烟雾时空域特征,实现端对端的烟雾识别。实验结果表明,该方法可以得到更为完整的疑似烟区,尤其对于过于稀薄和浓厚的烟雾分割效果较好,且相比于传统的烟雾检测方法和2D的烟雾检测卷积网络,在烟雾检测准确率上得到了提高。     

融合非局部神经网络的行为检测模型

针对在视频行为检测中卷积神经网络(CNN)对时域信息理解能力不足的问题,提出了一种融合非局部神经网络的行为检测模型.模型采用一种双分支的CNN结构,分别提取视频的空间特征和运动特征.将视频单帧和视频连续帧序列作为网络输入,空间网络对视频当前帧进行2D CNN特征提取,时空网络采用融合非局部模块的3D CNN来捕获视频帧...     

光流与纹理特征融合的人脸活体检测算法

针对照片与视频重放这一常见人脸识别欺诈手段,利用人脸攻击图像的语义信息提出一种基于光流与纹理特征融合的人脸活体检测算法:采集连续两帧待检测人脸图像,通过光流法及人脸检测方法生成人脸区域光流场变化图,将其与原始RGB图像输入至2通道卷积神经网络提取并融合得到人脸动-静态特征,基于融合特征实现真实人脸与欺诈人脸分类.此外,...     

基于运动筛选和3D卷积的视频早期烟雾检测

To solve the problem of high false alarm and high missed detection in the complex environment of early smoke detection based on video, a method based on motion extraction of suspected areas is proposed and a multi-scale 3D convolutional neural network with input of 6 frames（6M3DC） is designed for video smoke detection. Firstly, the motion regions are obtained through the background difference model after average filtering and the positions of the block in which the motion regions are located are calculated, and then the motion blocks are extracted by color judgment and mean HASH algorithm and the nonconforming blocks are updated to the background image. Finally, by combining the suspected blocks of the same region of 6 consecutive frames as the input for the 3D convolutional neural network for detection, blocks detected as smoke are marked and non-smoke blocks are updated to the background image. The experimental results show that the algorithm is adaptive to slow moving smoke and can detect smoke in complex environment.     

An effective algorithm to detect both smoke and flame using color and wavelet analysis

Fire detection is an important task in many applications. Smoke and flame are two essential symbols of fire in images. In this paper, we propose an algorithm to detect smoke and flame simultaneously for color dynamic video sequences obtained from a stationary camera in open space. Motion is a common feature of smoke and flame and usually has been used at the beginning for extraction from a current frame of candidate areas. The adaptive background subtraction has been utilized at a stage of moving detection. In addition, the optical flow-based movement estimation has been applied to identify a chaotic motion. With the spatial and temporal wavelet analysis, Weber contrast analysis and color segmentation, we achieved moving blobs classification. Real video surveillance sequences from publicly available datasets have been used for smoke detection with the utilization of our algorithm. We also have conducted a set of experiments. Experiments results have shown that our algorithm can achieve higher detection rate of 87% for smoke and 92% for flame.     

基于稠密光流和边缘特征的烟雾检测算法

为了克服传统火灾烟雾检测技术的缺陷,提高视频烟雾检测算法的检测率,通过观察烟雾运动的特性,提出一种基于稠密光流和边缘特征的烟雾检测算法。该算法首先利用混合高斯背景建模和帧差相结合的方法提取运动区域,然后将此运动区域池化为上、中、下三部分,并在每个池化区域提取光流矢量特征和边缘方向直方图。考虑到烟雾运动在时域中的连续相关性,提取相邻三帧的烟雾特征向量以提高算法的鲁棒性。最后使用支持向量机进行训练和烟雾检测。实验结果表明,该算法在测试视频集上准确率超过94%,与现有方法相比,能更好地适应实际应用中复杂的环境条件。     

基于深度时空卷积神经网络的人群异常行为检测和定位

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

融合自编码器和one-class SVM的异常事件检测

目的 在自动化和智能化的现代生产制造过程中,视频异常事件检测技术扮演着越来越重要的角色,但由于实际生产制造中异常事件的复杂性及无关生产背景的干扰,使其成为一项非常具有挑战性的任务。很多传统方法采用手工设计的低级特征对视频的局部区域进行特征提取,然而此特征很难同时表示运动与外观特征。此外,一些基于深度学习的视频异常事件检测方法直接通过自编码器的重构误差大小来判定测试样本是否为正常或异常事件,然而实际情况往往会出现一些原本为异常的测试样本经过自编码得到的重构误差也小于设定阈值,从而将其错误地判定为正常事件,出现异常事件漏检的情形。针对此不足,本文提出一种融合自编码器和one-class支持向量机（support vector machine,SVM）的异常事件检测模型。方法 通过高斯混合模型（Gaussian mixture model,GMM）提取固定大小的时空兴趣块（region of interest,ROI）;通过预训练的3维卷积神经网络（3D convolutional neural network,C3D）对ROI进行高层次的特征提取;利用提取的高维特征训练一个堆叠的降噪自编码器,通过比较重构误差与设定阈值的大小,将测试样本判定为正常、异常和可疑3种情况之一;对自编码器降维后的特征训练一个one-class SVM模型,用于对可疑测试样本进行二次检测,进一步排除异常事件。结果 本文对实际生产制造环境下的机器人工作场景进行实验,采用AUC （area under ROC）和等错误率（equal error rate,EER）两个常用指标进行评估。在设定合适的误差阈值时,结果显示受试者工作特征（receiver operating characteristic,ROC）曲线下AUC达到91.7%,EER为13.8%。同时,在公共数据特征集USCD （University of California,San Diego） Ped1和USCD Ped2上进行了模型评估,并与一些常用方法进行了比较,在USCD Ped1数据集中,相比于性能第2的方法,AUC在帧级别和像素级别分别提高了2.6%和22.3%;在USCD Ped2数据集中,相比于性能第2的方法,AUC在帧级别提高了6.7%,从而验证了所提检测方法的有效性与准确性。结论 本文提出的视频异常事件检测模型,结合了传统模型与深度学习模型,使视频异常事件检测结果更加准确。     

时间压缩轨迹特征识别的火灾烟雾检测

目的 检测烟雾可以预警火灾。视频监控烟雾比传统的单点探测器监控范围更广、反应更灵敏,对环境和安装的要求也更低。但是目前的烟雾检测算法,无论是利用烟雾的色彩、纹理等静态特征和飘动、形状变化或者频域变化等动态特征的传统方法,还是采用卷积神经网络、循环神经网络等深度学习的方法,准确率和敏感性都不高。方法 本文着眼于烟雾的升腾特性,根据烟雾运动轨迹的右倾直线特性、连续流线型特性、低频特性、烟源固定特性和比例特性,采用切片的方式用卷积神经网络（CNN）抽取时间压缩轨迹的动态特征,用循环神经网络（RNN）抽取长程的时间关联关系,采用分块的方式提高空间分辨能力,能准确、迅速地识别烟雾轨迹并发出火灾预警。结果 对比CNN、C3D （3d convolutional networks）、traj+SVM （trajectory by support vector machine）、traj+RNNs （trajectory by recurrent neural network）和本文方法traj+CNN+RNNs （trajectory by convolutional neural networks and recurrent neural network）以验证效果。CNN和C3D先卷积抽取特征,后分类。traj+SVM采用SVM辨识视频时间压缩图像中的烟雾轨迹,traj+RNNs采用RNNs分辨烟雾轨迹,traj+CNN+RNNs结合CNN和RNNs识别轨迹。实验表明,与traj+SVM相比,traj+CNN+RNNs准确率提高了35.2%,真负率提高15.6%。但是深度学习的方法往往计算消耗很大,traj+CNN+RNNs占用内存2.31 GB,网络权重261 MB,前向分析时帧率49帧/s,而traj+SVM帧率为178帧/s。但与CNN、C3D相比,本文方法较轻较快。为了进一步验证方法的有效性,采用一般方法难以识别的数据进一步测试对比这5个方法。实验结果表明,基于轨迹的方法仍然取得较好的效果,traj+CNN+RNNs的准确率、真正率、真负率和帧率还能达到0.853、0.847、0.872和52帧/s,但是CNN、C3D的准确率下降到0.585、0.716。结论 从视频的时间压缩轨迹可以辨认出烟雾的轨迹,即便是早期的弱小烟雾也能准确识别,因此traj+CNN+RNNs辨识轨迹的方法有助于预警早期火灾。本文方法能够在较少的资源耗费下大幅度提高烟雾检测的准确性和敏感性。     

基于卷积神经网络的视频流隐藏信息检测方法

为解决现有视频流隐藏信息检测中,人工检测特征设计难度不断加大的问题,提出一种基于卷积神经网络的视频流隐藏信息检测方法。在神经网络中构建残差学习单元,避免深层次卷积神经网络在训练时的梯度消失,利用深层神经网络自动从数据中挖掘检测特征,在此基础上引入量化截断操作,增加检测模型多样性,提升检测性能。使用FFmpeg与x264编码标准CIF序列生成的视频进行实验,实验结果表明,该方法相比现有方法具有更高的检测准确率。     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

Unsupervised Video Hashing via Deep Neural Network

Hashing is a common solution for content-based multimedia retrieval by encoding high-dimensional feature vectors into short binary codes. Previous works mainly focus on image hashing problem. However, these methods can not be directly used for video hashing, as videos contain not only spatial structure within each frame, but also temporal correlation between successive frames. Several researchers proposed to handle this by encoding the extracted key frames, but these frame-based methods are time-consuming in real applications. Other researchers proposed to characterize the video by averaging the spatial features of frames and then the existing hashing methods can be adopted. Unfortunately, the sort of “video” features does not take the correlation between frames into consideration and may lead to the loss of the temporal information. Therefore, in this paper, we propose a novel unsupervised video hashing framework via deep neural network, which performs video hashing by incorporating the temporal structure as well as the conventional spatial structure. Specially, the spatial features of videos are obtained by utilizing convolutional neural network, and the temporal features are established via long-short term memory. After that, the time series pooling strategy is employed to obtain the single feature vector for each video. The obtained spatio-temporal feature can be applied to many existing unsupervised hashing methods. Experimental results on two real datasets indicate that by employing the spatio-temporal features, our hashing method significantly improves the performance of existing methods which only deploy the spatial features, and meanwhile obtains higher mean average precision compared with the state-of-the-art video hashing methods.     

多关键帧特征交互的人脸篡改视频检测

目的深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁。目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题。针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架。方法从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决。结果所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79%以上;在Celeb-DF数据集的识别准确率达到了99.61%。在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性。结论本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积...     

融入时序和速度信息的自适应更新目标跟踪

目的 针对目标跟踪算法在现实场景的遮挡、光照变化和尺度变化等问题,提出一种融入时序信息和速度信息的多特征融合自适应模型更新目标跟踪算法。方法 通过提取目标的分级深度特征和手工设计方向梯度直方图（histogram of oriented gradients,HOG）特征,以全深度特征组合和深层深度特征与手工设计特征组合的方式构造两个融合特征器,提高在复杂场景下跟踪的稳健性;对融合特征进行可信度计算,选择最可靠融合特征对当前帧目标进行跟踪;在跟踪质量不可靠时,对目标表征模型进行更新,加入时间上下文信息和当前鲁棒表征信息,通过多峰值判定和运动速度判定选择最优目标预测位置作为最终结果。结果 在OTB（object tracking benchmark）2013和OTB2015数据库上进行大量测试,与其他7个算法相比,本文算法总体效果取得最优,且在不同复杂环境下也取得了优秀的跟踪效果,在OTB13和OTB15数据库中,跟踪精度分别为89.3%和83.3%,成功率分别为87%和78.3%。结论 本文算法利用深度特征与手工设计特征进行融合,对跟踪结果进行多峰值分析和运动速度判定,跟踪结果不佳时自适应更新特征进行重跟踪。实验结果表明,本文算法可以有效处理光照变化、背景杂波和遮挡等复杂因素的干扰,有效提升了跟踪质量。     

Robust Visual Tracking Based on Convolutional Features with Illumination and Occlusion Handing

视觉追踪是在计算机视觉的一个重要区域。怎么处理照明和吸藏问题是一个挑战性的问题。这份报纸论述一篇小说和有效追踪算法处理如此的问题。一方面,一起始的外观总是有的目标清除轮廓,它对照明变化光不变、柔韧。在另一方面,特征在追踪起一个重要作用,在哪个之中 convolutional 特征显示出有利性能。因此,我们采用卷的轮廓特征代表目标外观。一般来说,一阶的衍生物边坡度操作员在由卷检测轮廓是有效的他们与图象。特别, Prewitt 操作员对水平、垂直的边更敏感,当 Sobel 操作员对斜边更敏感时。内在地, Prewitt 和 Sobel 与对方一起是补足的。技术上说,这份报纸设计二组 Prewitt 和 Sobel 边察觉者提取一套完全的 convolutional 特征,它包括水平、垂直、斜的边特征。在第一个框架,轮廓特征从目标被提取构造起始的外观模型。在有这些轮廓特征的试验性的图象的分析以后,明亮的部分经常提供更有用的信息描述目标特征,这能被发现。因此,我们建议一个方法比较候选人样品和我们仅仅使用明亮的象素的训练模型的类似,它使我们的追踪者有能力处理部分吸藏问题。在得到新目标以后,变化以便改编外观,我们建议相应联机策略逐渐地更新我们的模型。convolutional 特征由井综合的 Prewitt 和 Sobel 边察觉者提取了的实验表演能是足够有效的学习柔韧的外观模型。九个挑战性的序列上的众多的试验性的结果证明我们的建议途径与最先进的追踪者比较很有效、柔韧。     

基于RGB和关节点数据融合模型的双人交互行为识别

基于RGB视频序列的双人交互行为识别已经取得了重大进展,但因缺乏深度信息,对于复杂的交互动作识别不够准确。深度传感器（如微软Kinect）能够有效提高全身各关节点的跟踪精度,得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性,提出一种基于RGB和关节点数据双流信息融合的卷积神经网络（CNN）结构模型。首先,利用Vibe算法获得RGB视频在时间域的感兴趣区域,之后提取关键帧映射到RGB空间,以得到表示视频信息的时空图,并把图送入CNN提取特征;然后,在每帧关节点序列中构建矢量,以提取余弦距离（CD）和归一化幅值（NM）特征,将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接,馈送入CNN学习更高级的时序特征;最后,将两种信息源的softmax识别概率矩阵进行融合,得到最终的识别结果。实验结果表明,将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果,在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率,证明了提出的模型对双人交互行为识别的有效性。     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

基于多特征融合的烟雾检测

针对传统火灾探测技术的应用弱点,研究基于视频的火灾烟雾探测方法。首先, 根据烟雾的颜色特征,提取视频序列中的疑烟区域。然后,在疑烟区域中提取烟雾的3 个动态 特征--扩散特征、轮廓不规则特征和使背景模糊特征。最后,利用BP 神经网络对这些动态特 征进行融合判定。实验结果表明,基于多特征融合的烟雾检测方法能够准确、实时、有效地识 别视频中的烟雾。