基于HSV颜色空间特征的视频烟雾检测

由于烟雾具有形状不规则、扩散缓慢的特性,导致传统烟雾识别方法对烟雾检测存在一定的缺陷,如烟雾检测准确率低、烟雾警报响应时间长等问题。为了满足野外空旷场景下烟雾检测的准确性和实时性,提出了基于HSV(Hue, Saturation, Brightness,色调,饱和,明亮)颜色空间特征和卷积神经将网络相结合的视频烟雾检测的识别方法。通过将烟雾图像的RGB颜色空间特征映射到HSV颜色空间特征后提取烟雾候选区域,提取到的烟雾候选区域经过高斯混合模型进行运动判断,然后将符合运动特征的烟雾候选区域图像送入到训练好的卷积神经网络中进行烟雾识别。针对传统烟雾检测效率问题,设计了卷积神经网络conv-12用于烟雾识别。实验结果表明,基于HSV颜色空间特征和卷积神经网络conv-12相结合的视频烟雾识别方法对视频烟雾检测的准确率为96.45%,烟雾检测率为93.3%,烟雾报警平均响应时间为0.9 s。相较于其他方法,在烟雾检测准确率、烟雾检测率、烟雾警报响应时间都有一定的提升。     

时空域深度卷积神经网络及其在行为识别上的应用

近年来深度卷积神经网络在静态图像识别上取得了较大进展,但在行为视频上建模运动信息的能力较弱。但是,运动信息是行为识别区别于静态图像识别的关键。基于滤波器响应积提出了时空域深度卷积神经网络。该网络先将相邻帧对应的卷积核分为两组,近似地形成傅里叶基函数对,后续的乘法层将不同帧产生的响应两两相乘后再输入加法层求和,从而将相邻帧映射到变换矩阵的特征值对应的不变子空间上,依靠相邻帧在不变子空间上的旋转角度检测它们之间的运动特征。理论分析证明,网络既对运动敏感,又对内容敏感。实验表明,该网络能对行为视频做出更准确的分类,并与近年出现的其他6种算法进行比较,结果体现了本算法的优越性。     

城镇森林交界域视频烟雾检测算法

针对城镇森林交界域火灾烟雾视频检测准确率低问题,提出一种融合多项图像特征和深度学习的视频烟雾检测算法。通过Vi Be方法提取前景变化区域,根据烟雾模糊特征和角点信息排除部分纹理细节较明显的区域。在此基础上,以颜色特征为判据进一步缩小检测范围,使用累积帧差法排除运动刚体的干扰,利用深度学习模型识别目标是否为烟雾。采用级联分类器的方式设计整体算法,并使用并行计算技术进行实现。实验结果和工程案例表明,该算法能够实现城镇森林交界域火灾早期烟雾的精准识别。     

时空渐进式学习的视频显著性目标检测

视频显著性目标检测需要同时结合空间信息和时间信息,连续地定位视频序列中与运动相关的显著性目标,其核心问题在于如何高效地刻画运动目标的时空特征.现有的视频显著性目标检测算法大多使用光流,ConvLSTM以及3D卷积等提取时域特征,缺乏对时间信息的连续学习能力.为此,设计了一种鲁棒的时空渐进式学习网络(spatial-temporal progressive learning network, STPLNet),以完成对视频序列中显著性目标的高效定位.在空间域中使用一种U型结构对各视频帧进行编码解码,在时间域中通过学习视频序列中帧间运动目标的主体部分和形变区域特征,渐进地对运动目标特征进行编码,能够捕捉到目标的时间相关性特征和运动趋向性.在4个公开数据集上与13个主流的视频显著性目标检测算法进行一系列对比实验,所提出的模型在多个指标(max F, S-measure (S), MAE)上达到了最优结果,同时在运行速度上具有较好的实时性.     

基于集成学习双流神经网络的实时面部篡改视频检测模型

恶意面部篡改对社会安全和稳定存在负面影响，对面部篡改后的视频图像进行准确的检测是一个十分重要的课题。为了解决视频检测模型实时性较差的问题，提出一种基于集成学习双流循环神经网络的面部篡改视频检测模型，并引入集成学习中的投票机制。首先，接收少量连续的序列帧，通过卷积神经网络进行空间特征的提取，同时引入中心差分卷积进行空间域的篡改伪影增强。然后，将连续的序列帧进行差分，以增强时间域上的篡改伪影，同时通过卷积神经网络进行时间特征的提取。随后，将空间域和时间域的双流特征向量进行拼接，通过循环神经网络进行特征提取。在循环神经网络特征提取过程中，逐帧的特征信息被保留下来作为后续辅助帧级分类器的输入，同时循环神经网络的最终输出作为视频级判别器的输入。最后，引入集成模型的投票机制整合多个辅助帧级判别器和视频级判别器的输出，并通过引入权重超参数γ来平衡辅助帧级判别器和视频级判别器的重要程度，帮助模型提高检测准确率。在FaceForensics++数据集上，与主流检测模型进行对比，所提模型平均准确率提升了0.4%和1.0%。同时，所提模型可以仅使用较少连续帧进行篡改检测，提高了模型的实时性。     

时空双路3D残差卷积网络的视频烟雾检测

现有的视频烟雾检测方法大多通过运动检测提取疑似烟区,并依据经验手工设计提取烟雾特征,在复杂场景中检测准确率不高。针对以上问题,提出了一种基于时空双路3D残差卷积网络的视频烟雾检测方法,基于混合高斯背景模型与原始视频帧的小波低频分量差进行疑似烟区提取,其次构造时空双路3D残差卷积神经网络,并引入注意力机制加权融合烟雾时空域特征,实现端对端的烟雾识别。实验结果表明,该方法可以得到更为完整的疑似烟区,尤其对于过于稀薄和浓厚的烟雾分割效果较好,且相比于传统的烟雾检测方法和2D的烟雾检测卷积网络,在烟雾检测准确率上得到了提高。     

面向视频中人体行为识别的复合型深度神经网络

在视频人体行为识别研究中三维卷积神经网络和双流卷积神经网络均存在不足.针对此种情况,文中提出结合双流网络架构和三维网络架构的复合型深度神经网络.在双流架构的时间流子网络和空间流子网络部分均采用改进的R(2+1)D卷积神经网络,分别从视频的RGB图像序列和光流图像序列中学习行为表示和分类方法,并融合时间流子网络、空间流子网络的分类结果.进一步地,在网络训练过程中,提出基于梯度中心化算法改进的带动量的随机梯度下降算法,在不改变网络结构的情况下提高网络的泛化性能.实验表明,文中网络在UCF101、HMDB51数据集上均获得较高的识别精度.     

基于YUV颜色空间和多特征融合的视频烟雾检测

针对基于视频的烟雾检测方法在复杂环境中存在高误报、高漏报问题,提出了一种基于YUV颜色空间和多特征融 合的视频烟雾检测算法。首先通过高斯混合模型检测运动区域,然后应用YUV颜色空间烟雾像素过滤方法确定疑似烟雾区域,进一步将疑似区域块分割后使用离散小波变换和均匀局部二值模式提取烟雾纹理特征,最后多特征融合并通过Real AdaBoost分类器进行火灾识别分类。实验结果表明,高斯混合模型能够有效检测运动区域,运动区域YUV颜色空间过滤可以滤除大量非烟雾像素区域,选取的烟雾特征及分类方法具有更高的识别精度,多个场景视频测试表明所提出的视频烟雾检测算法相比同类算法具有识别准确度更高、误报率更低,从而更符合不同的应用场景。     

基于稠密光流和边缘特征的烟雾检测算法

为了克服传统火灾烟雾检测技术的缺陷,提高视频烟雾检测算法的检测率,通过观察烟雾运动的特性,提出一种基于稠密光流和边缘特征的烟雾检测算法。该算法首先利用混合高斯背景建模和帧差相结合的方法提取运动区域,然后将此运动区域池化为上、中、下三部分,并在每个池化区域提取光流矢量特征和边缘方向直方图。考虑到烟雾运动在时域中的连续相关性,提取相邻三帧的烟雾特征向量以提高算法的鲁棒性。最后使用支持向量机进行训练和烟雾检测。实验结果表明,该算法在测试视频集上准确率超过94%,与现有方法相比,能更好地适应实际应用中复杂的环境条件。     

基于复数卷积循环神经网络的语音增强

基于神经网络的语音增强任务中相位估计不准确会导致增强语音质量差,针对这一问题,提出了一种基于复数卷积循环神经网络的语音增强算法,在复数域实现语音幅度和相位的同时增强,以提高增强语音的质量。使用基于复数卷积网络的编码器在复数域提取语音局部特征,再利用复数卷积循环网络对语音的长时信息进行建模,最后使用复数卷积上采样解码器计算语音复数时频掩蔽,实现语音幅度与相位增强。在公开数据集上的实验结果表明,使用所提方法得到的增强语音在语音质量和信噪比提升中均优于主流方法,验证了该网络模型在语音增强任务中的有效性。