基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

基于长短期存储的聚合增强型煤矸石视频识别模型

采用煤矸石图像识别技术进行煤矸石识别会错过一些关键目标的识别。视频目标识别模型比图像目标识别模型更贴近煤矸石识别分选场景需求,对视频数据中的煤矸石特征可以进行更广泛、更有深度的提取。但目前煤矸石视频目标识别技术未考虑视频帧重复性、帧间相似性、关键帧偶然性对模型性能的影响。针对上述问题,提出了一种基于长短期存储（LSS）的聚合增强型煤矸石视频识别模型。首先,采用关键帧与非关键帧对海量信息进行初筛。对煤矸石视频帧序列进行多帧聚合,通过时空关系网络（TRN）将关键帧与相邻帧特征信息相聚合,建立长期视频帧和短期视频帧,在不丢失关键特征信息的同时减少模型计算量。然后,采用语义相似性权重、可学习权重和感兴趣区域（ROI）相似性权重融合的注意力机制,对长期视频帧、短期视频帧与关键帧之间的特征进行权重再分配。最后,设计用于存储增强的LSS模块,对长期视频帧与短期视频帧进行有效特征存储,并在关键帧识别时加以融合,增强关键帧特征的表征能力,以实现煤矸石识别。基于枣泉选煤厂自建煤矸石视频数据集对该模型进行实验验证,结果表明：相较于记忆增强全局-局部聚合（MEGA）网络、基于流引导的特征聚合视频目标检测（FG...     

基于深度学习的视频语义分割综述

目前对视频语义分割的研究主要分为两方面,一是如何利用视频帧之间的时序信息提高图像分割的精度;二是如何利用视频帧之间的相似性确定关键帧,减少计算量,提升模型的运行速度.在提升分割精度方面一般设计新的模块,将新模块与现有的CNNs结合;在减少计算量方面,利用帧序列的低层特征相关性选择关键帧,同时减少操作时间.本文首先介绍视频语义分割的发展背景与操作数据集Cityscapes、CamVid;其次,介绍现有的视频语义分割方法;最后总结当前视频语义分割的发展情况,并对未来的发展给出一些展望和建议.     

光流估计下的移动端实时人脸检测

为了提高移动设备人脸检测准确率,提出一种应用于移动设备的实时人脸检测算法。通过改进Viola-Jones方法进行人脸区域快速分割,在不损失速度的情况下提高分割精度;同时应用了光流估计方法将卷积神经网络子网络在离散关键帧上的特征提取结果传播至非关键帧,提高神经网络实际检测运行效率。实验使用YouTube视频人脸数据库、自建20人各1 min正位人脸视频数据库和实际检测项目在不同分辨率下进行,实验结果表明运行速度在2.35帧/秒~22.25帧/秒,达到了一般人脸检测水平;人脸检测在10%误检率下召回率由Viola-Jones的65.93%提高到82.5%~90.8%,接近卷积神经网络检测精度,满足了移动设备实时人脸检测的速度和精度要求。     

煤矿井下巷道变形巡检视频异常检测方法

采用智能视频巡检技术进行煤矿井下巷道变形检测时,常用的背景差分算法因要求输入图像具有良好的时空连续性而无法满足巡检视频背景建模要求。根据煤矿井下巷道变形巡检机器人匀速、定向运动及周期性采集视频数据的特点,提出一种巡检视频异常检测方法:结合巡检机器人定位信息对巡检视频分段并提取相应关键帧,采用均值哈希算法建立背景模型,对背景模型中图像进行特征跟踪以实现校正,之后将背景模型与关键帧进行差分运算,生成二值掩膜并进行去噪及连通处理后,输出异常检测结果并更新关键帧。实验结果表明,该方法在一定条件下可较准确地定位关键帧并检测出异常目标,检测速度约为50帧/s。     

视频目标分割中帧间相似性传播的研究

目前视频目标分割算法多是基于匹配和传播策略分割目标,常常以掩模或者光流的方式利用前一帧的信息,探索了新的帧间特征传播方式,利用短时匹配模块提取前一帧信息并传播给当前帧,提出一种面向视频序列数据的目标分割模型。通过长时匹配模块和短时匹配模块分别与第一帧和前一帧做相关操作进行像素级匹配,得到的全局相似性图和局部相似性图,以及前一帧的掩模和当前帧的特征图,经过两个优化网络后通过分割网络得到分割结果。在视频目标分割公开数据集上的实验表明,所提出方法在单目标和多目标上分别取得了86.5%和77.4%的区域相似度和轮廓精度均值,每秒可计算21帧。提出的短时匹配模块比仅使用掩模更有利于提取前一帧的信息,通过长时匹配模块和短时匹配模块的结合,不使用在线微调即可实现高效的视频目标分割,适合应用于移动机器人视觉感知。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

基于运动目标特征的关键帧提取算法

针对运动类视频特征不易提取且其关键帧结果中易产生较多漏检帧的问题,提出基于运动目标特征的关键帧提取算法。该算法在强调运动目标特征的同时弱化背景特征,从而防止由于运动目标过小而背景占据视频画面主要内容所导致的漏检和冗余现象。根据视频帧熵值将颜色变化明显的帧作为部分关键帧,对颜色未发生突变的帧根据运动物体的尺度不变特征变换（SIFT）获得帧内运动目标的特征点;最后分别根据帧熵值及运动物体SIFT点分布提取视频关键帧。实验表明该算法所得关键帧结果集不仅漏检率较低且能够准确地表达原视频内容。     

基于互信息熵的全景视频关键帧数据实时提取系统设计

摘要：关键帧数据提取可以降低全景视频检索中产生的数据量,为了提高全景视频镜头边缘的检测与关键帧的提取的处理能力,提出基于互信息熵的全景视频关键帧数据实时提取系统设计。根据全景视频关键帧数据提取系统的硬件结构,分析视频播放器和镜头边缘检测器的工作原理;在系统的软件设计中,将待检测的两帧图像随机划分为子图像块,通过计算子图像块之间的互信息熵,获取全景视频图像的突变帧,将关键图像帧的特征差值曲线作为全景视频关键帧的时序特征,完成全景视频中关键帧数据的特征匹配,选择一个能够体现全景视频图像属性的特征,描述视频中的主要信息,利用数值化分析的方式,将全景视频帧的特征转换成数组形式的特征向量,通过计算互信息熵值,提取全景视频关键帧数。系统测试结果表明,文中系统将关键帧数据提取的查全率和查准率分别提高到95%和98%以上。能够准确提取出全景监控视频的关键帧数据,具有更好的全景视频处理能力。     

基于改进光流法的旋转运动背景下对地运动目标实时检测

针对战机对地侦查视频图像中地面旋转运动背景下运动目标检测高虚警、低实时性的问题,提出了一种基于改进光流法的旋转运动背景下对地运动目标实时检测算法。首先提取图像的特征点,在特征点处计算光流运动矢量,并通过光流矢量场估算背景运动矢量。根据战机飞行高度自适应计算目标像素尺寸,网格化分块待检测图像;然后将各个特征点光流矢量与背景运动矢量相比较,获得备选目标特征点。最后统计分块备选目标特征点密度,判断目标位置区域。对2组实验视频中央360像素×432像素区域进行目标检测实验,结果表明该算法能够准确地检测出地面运动目标,虚警率低。平均每帧检测耗时分别为29.460 ms和31.505 ms,满足战机对地运动目标检测的实时性。     

面向多目标跟踪系统的专用循环目标检测器

多目标跟踪技术在视频分析、信号处理等领域有着广泛的应用。在现代多目标跟踪系统通常遵循的“按检测跟踪”模式中,目标检测器的性能决定了多目标跟踪任务的跟踪精度和速度。为提高多目标跟踪系统跟踪性能,提出了面向多目标跟踪系统的专用循环目标检测器,它利用视频帧序列间高度相似性的特点,依据先前帧的目标位置信息和当前帧相对于先前帧的变化得分图来选取候选框,解决了传统二阶段目标检测器中使用候选框推荐网络带来的参数量和计算量大的问题,同时融合了目标外观特征提取分支,进一步减少了多目标跟踪系统整体运行时间。实验表明,专用循环目标检测器及其他最先进的检测器分别应用于多目标跟踪系统,采用专用循环目标检测器时能够在保证多目标跟踪系统跟踪精度的情况下提升跟踪速度。     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

一种快速的视频刚体运动目标检测算法

检测速度慢、准确度低是传统视频运动目标检测方法普遍存在的问题,为克服以上缺点,结合帧间差分和变分水平集方法提出一种新的运动目标检测算法。通过改进的帧差法快速初始化运动区域,并将其作为初始水平代入无需重新初始化的水平集演化方程进行演化,利用强度和光流信息控制水平集演化最终停止在目标边界处。实验结果表明,该算法具有检测速度快、准确性高的特点,是一种有效的视频刚体运动目标检测方法。     

Key Frame Extraction of Surveillance Video based on Moving Object Detection and Image Similarity

For the traditional method to extract the surveillance video key frame, there are problems of redundant information, substandard representative content and other issues. A key frame extraction method based on motion target detection and image similarity is proposed in this paper. This method first uses the ViBe algorithm fusing the inter-frame difference method to divide the original video into several segments containing the moving object. Then, the global similarity of the video frame is obtained by using the peak signal to noise ratio, the local similarity is obtained through the SURF feature point, and the comprehensive similarity of the video image is obtained by weighted fusion of them. Finally, the key frames are extracted from the critical video sequence by adaptive selection threshold. The experimental results show that the method can effectively extract the video key frame, reduce the redundant information of the video data, and express the main content of the video concisely. Moreover, the complexity of the algorithm is not high, so it is suitable for the key frame extraction of the surveillance video.     

Video super-resolution reconstruction method based on deep Back projection and motion feature fusion

How to effectively utilize inter-frame redundancies is the key to improve the accuracy and speed of video super-resolution reconstruction methods. Previous methods usually process every frame in the whole video in the same way, and do not make full use of redundant information between frames, resulting in low accuracy or long reconstruction time. In this paper, we propose the idea of reconstructing key frames and non-key frames respectively, and give a video super-resolution reconstruction method based on deep back projection and motion feature fusion. Key-frame reconstruction subnet can obtain key frame features and reconstruction results with high accuracy. For non-key frames, key frame features can be reused by fusing them and motion features, so as to obtain accurate non-key frame features and reconstruction results quickly. Experiments on several public datasets show that the proposed method performs better than the state-of-the-art methods, and has good robustness.

     

基于谱残差和聚类法的运动目标检测研究

传统基于特征点匹配的目标检测算法目标识别率低、误检率较高是因为特征点匹配不准确、目标轮廓不连续。针对这一问题,分别引入谱残差算法和k means聚类算法,并加以改进,提出一种基于谱残差算法和k means聚类算法的运动目标检测算法。具体方法是：首先,每隔两帧提取加速鲁棒特征SURF并对图像配准,再对帧差结果采用谱残差算法提取视觉显著性特征,去除因匹配不准确造成的噪点和伪运动目标;其次,形态学处理之后引入改进后的k means聚类算法,对不连续的轮廓进行聚类;最后形成完整的目标。实验显示,本文算法目标识别率达到90.61%,误检率达到21.25%,分别优于传统基于SURF特征的运动目标检测算法66.60%的识别率、31.91%的误检率和基于新的局部不变性特征ORB匹配的目标检测算法87.573%的识别率、26.80%的误检率。虽然该算法平均运行时间为18 fps,但仍可以满足视频流畅的需求,因此动态背景下该算法可做为一种有效的运动目标检测算法使用。     

基于关键点估计的抓取检测算法

抓取是机器人在服务与工业领域中进行人机协调的重要能力,得到一个准确的抓取检测结果是机械臂能否完成抓取任务的关键.为了提高抓取检测的准确率以及实时性,提出了一种由CenterNet改进的基于关键点估计的抓取检测算法.在网络的特征提取层使用了特征融合方法融合不同的特征图,减少特征的丢失;增加了角度预测分支用来预测抓取角度;...