应用GMM的快速火焰检测

基于视频图像的火焰检测是火灾预防研究的重要内容。为提高检测效率,首先使用具有自适应背景变化的 高斯混合模型(GMM)来检测场景中的运动物体。然后针对运动物体,提取颜色特征和面积变化特征。最后,根据得 到的特征来识别场景中是否有火焰发生。该方法不仅可有效检测到视频中的火焰帧,还避免了非火焰场景中对计算时 间的浪费。     

基于视听与字幕特征融合的暴力场景检测方法

在暴力场景检测任务中,现有的方法着重于对音频或视频的单模态特征进行研究。近年来,虽然基于视听融合的双模态特征已被应用于暴力场景检测并取得了不错的效果,但该方法仍然忽视了媒体中字幕所包含的信息。针对这种情况,提出一种融合视听与字幕信息多模态特征的分类模型用于暴力场景检测。通过基于可训练COPE特征提取的方法提取音频特征,并与基于CNN-LSTM的视觉特征和基于CNN-RNN的字幕特征进行融合。在公开暴力数据集上进行测试,实验表明提出的方法相比于现有方法取得了更高的mAP值,在暴力场景检测任务中表现较好。     

基于运动显著性的移动镜头下的运动目标检测

针对移动镜头下的运动目标检测中的背景建模复杂、计算量大等问题,提出一种基于运动显著性的移动镜头下的运动目标检测方法,在避免复杂的背景建模的同时实现准确的运动目标检测。该方法通过模拟人类视觉系统的注意机制,分析相机平动时场景中背景和前景的运动特点,计算视频场景的显著性,实现动态场景中运动目标检测。首先,采用光流法提取目标的运动特征,用二维高斯卷积方法抑制背景的运动纹理;然后采用直方图统计衡量运动特征的全局显著性,根据得到的运动显著图提取前景与背景的颜色信息;最后,结合贝叶斯方法对运动显著图进行处理,得到显著运动目标。通用数据库视频上的实验结果表明,所提方法能够在抑制背景运动噪声的同时,突出并准确地检测出场景中的运动目标。     

视频群体行为识别综述

群体行为识别是指给定一个包含多人场景的视频,模型需要识别出视频中多个人物正在共同完成的群体行为.群体行为识别是视频理解中的一个重要问题,可以被应用在运动比赛视频分析、监控视频识别、社交行为理解等现实场景中.多人场景视频较为复杂,时间和空间上的信息十分丰富,对模型提取关键信息的能力要求更高.模型只有高效地建模场景中的层次化关系,并为人物群体提取有区分性的时空特征,才能准确地识别出群体行为.由于其广泛的应用需求,群体行为识别问题受到了研究人员的广泛关注.对近几年来群体行为识别问题上的大量研究工作进行了深入分析,总结出了群体行为识别研究所面临的主要挑战,系统地归纳出了6种类型的群体行为识别方法,包含传统非深度学习识别方法以及基于深度学习技术的识别方法,并对未来研究的可能方向进行了展望.     

特征采样运动信息增强的动作识别方法

基于深度模型的视频动作识别通常先对输入视频进行采样,然后对获得的视频帧进行特征表达,输出动作类别,因此视频帧采样方法对动作识别的效果有直接的影响。为了在采样到关键有效的特征同时,并增强视频运动信息,提出了一种基于特征级采样策略的局部—全局运动信息增强的动作识别网络（local-global motion enhancement network,LGMeNet）。首先,利用特征级采样模块对输入数据进行相同运动信息间隔均匀取帧;其次,局部运动特征提取模块使用相似性函数计算单帧短期运动特征;最后,全局运动特征提取模块利用LSTM网络计算多尺度长期运动特征。通过实验评估,LGMeNet在UCF101和Something-SomethingV1数据集上分别取得了97.7%和56.9%的精确度。结果表明,采用LGMeNet能够有效提升动作识别的效果,对进一步改进相关领域的研究具有重要意义。     

基于Python智能机器人多渠道知识库推送仿真

机器人知识推送是智能化发展的必然产物,当前相关研究成果存在召回率和推送结果用户满意度较低的问题,提出基于Python的智能机器人多渠道知识库推送方法。利用离线和在线的方式对访问和浏览信息进行识别,离线信息识别中,对采集到的信息结构进行分析,检测出信息的特征,动态添加字符串,将得到的特征与关键词知识库中的数据特征进行配准,判断出是否识别关键词;在线信息识别中,基于Python语言,分别结合百度云识别和云聊天以及百度云语音三个体系,实现信息的在线识别。利用信息语义相似度给出知识库推送的详细过程,对义项之间的相似程度进行计算,获取关键字或关键词的相似程度,将相似度比设定阈值大的信息保存起来,将此类信息推送给使用者。实验结果表明,上述方法查全率和用户满意度均较高,是一种可行性很强的知识库推送方法。     

鲁棒的镜头边界检测与基于运动信息的视频摘要生成

根据基于内容的视频索引与检索等应用的需求,提出一种视频摘要生成方法.首先进行鲁棒的镜头边界检测,基于颜色直方图计算相邻帧间距离来进行初步检测,并通过分析帧间运动向量去除由相机运动引起的误检测;然后根据镜头的运动指示图将镜头分为静态镜头、包含对象运动的镜头和包含显著相机运动的镜头;最后提出镜头间基于多实例表示的距离度量方法以及聚类算法的初始化方法,采用核K-均值算法对每类镜头进行聚类,抽取每类中最靠近类簇中心的镜头作为关键镜头,将关键镜头按时间序组合起来形成视频摘要.与已有方法相比,文中方法能进行更鲁棒的镜头边界检测,识别镜头中的运动信息,并对镜头分类后进行分别处理,从而增强视频摘要的信息概括能力.     

基于特征传播的时域分割网络行为识别

为了高效、准确地获得视频中的行为类别和运动信息,减少计算的复杂度,文中提出一种融合特征传播和时域分割网络的视频行为识别算法.首先将视频分为3个小片段,分别从相应片段中提取关键帧,从而实现对长时间视频的建模;然后设计一个包含特征传播表观信息流和FlowNet运动信息流的改进时域分割网络(P-TSN),分别以RGB关键帧、RGB非关键帧、光流图为输入提取视频的表观信息流和运动信息流;最后将改进时域分割网络的BN-Inception描述子进行平均加权融合后送入Softmax层进行行为识别.在UCF101和HMDB51这2个数据集上分别取得了94.6%和69.4%的识别准确率,表明该算法能够有效地获得视频中空域表观信息和时域运动信息,提高了视频行为识别的准确率.     

基于递归对齐网络的黑白老卡通高清重制

黑白老卡通视频在数字化的过程中会出现诸如划痕、脏点、模糊和分辨率过低等复合问题,老卡通视频增强是视频增强的一类特殊子问题,当前尚缺乏针对性算法,因此提出一种多帧联合的递归对齐增强网络解决老卡通中的复合问题。首先通过递归结构传递重建历史中的长时域信息对划痕与脏点进行修复,解决了连续性划痕与脏点的处理难题。然后在递归单元中通过基于可变形卷积的对齐模块进行相邻帧特征对齐,改善了网络在卡通大幅度运动场景中提取和补充帧间细节的能力。在递归单元末端设计了级联金字塔结构的多尺度重建模块促进特征聚合,以充分挖掘重建所需的时间和空间细节信息。实验使用峰值信噪比等客观评估标准,在降质数据集和真实老卡通数据集上进行实验测试,并与其他主流方法进行对比。实验结果表明,该方法相比于其他主流视频增强方法有较为明显提升,同时在真实黑白老卡通上可获取高视觉质量的重建结果。     

基于视频的人体行走参数测量方法及应用

针对现有的人体行走参数测量方法复杂度高、效率低等问题,提出了一种基于视频的人体行走 参数测量方法。利用监督学习的方法对视频中的运动目标进行姿态估计,逐帧识别骨骼关节点。然后根据头部 和脚部特征点,结合场景标定获取的像素距离与实际距离的转换关系,实现行走身高测量;根据关节特征点, 利用余弦公式计算关节活动度;根据脚部特征点,提出了一种结合前后极点帧差和像素差判断行走步长和步速 的方法。最后提出了一种基于 Unity3D 的虚拟人随动控制方法,能够在虚拟场景中进行运动仿真,便于实时监 控和分析视频中的人体异常行为并做出预警。实验表明该方法具有操作简单、准确度高和实时性强等优点。     

动态背景体育运动视频合成对比*

针对在同一场景下获取的体育运动视频,提出了一种基于全局运动补偿及运动前景区域信息的体育运动视频合成方法。首先,对待合成视频,通过全局运动估计与补偿,将相邻帧在空间上对齐到当前帧。通过计算帧差,得到当前帧中的运动前景区域信息。然后根据两段待合成视频之间背景的相似性,计算并修正全局运动参数,确定待合成对应帧之间的位置关系。最后,依据已经获得的运动前景区域信息,生成合成帧。实验结果表明,该方法可自动合成在同一场景中获得的有相似动态背景的体育视频,保持了前景与背景的清晰度,能清晰地显示运动员动作的差异。     

基于纹理信息的室内场景语义标注学习方法

针对目前室内场景视频中关键物体的检测、跟踪及信息编辑等方面主要是采用人工处理方式,存在效率低、精度不高等问题,提出了一种基于纹理信息的室内场景语义标注学习方法。首先,采用光流方法获取视频帧间的运动信息,利用关键帧标注和帧间运动信息进行非关键帧的标注初始化;然后,利用非关键帧的图像纹理信息约束及其初始化标注构建能量方程;最后,利用图割方法优化得到该能量方程的解,即为非关键帧语义标注。标注的准确率和视觉效果的实验结果表明,与运动估计法和基于模型的学习法相比较,所提基于纹理信息的室内场景语义标注学习法具有较好的效果。该方法可以为服务机器人、智能家居、应急响应等低时延决策系统提供参考。     

基于运动模式分析的异常行为检测

提出了一种基于运动模式分析的无监督方法用于对视频中的异常行为进行检测。为了有效描述视频场景中的各种目标信息，对每个前景像素点提取了时空描述符，再结合块区域信息并通过词袋模型生成视觉单词，对视频进行表示。提出了一种稀疏主题模型，用以获取视频中的运动主题。通过该模型可以查找出视频中典型的运动模式，并可以此对各视频文件进行编码。通过分析重构精度和运动模式组成对测试视频文件进行检测，判断其中是否包含异常行为。实验在QMUL数据集上进行，实验结果证明了所提方法的有效性。     

视频图像中的实时人脸检测方法

给出了一种视频图像中的实时人脸检测方法，该方法综合了彩色视频图像的运动信息和颜色信息，可以快速地对图像中的人脸区域进行定位。算法通过对视频图像序列中每连续3帧图像进行对称差分，提取出运动区域；然后基于肤色聚类模型，再对运动区域进行肤色检测，经过候选人脸验证，最终定位图像中的人脸。实验表明，提出的方法检测速度快，实现简单、高效，满足实时系统的要求。     

一种动态场景下基于时空信息的视频对象提取算法

在实际应用中,许多视频序列具有运动背景,使得从其中提取视频对象变得复杂,为此提出了一种基于运动估计和图形金字塔的动态场景下的视频对象提取算法。该算法首先引入了相位相关法求取运动向量,因避免了视频序列中光照变化的影响,故可提高效率和稳健性;接着再根据参数模型进行全局运动估计来得到最终运动模板;然后利用图形金字塔算法对当前模板内图像区域进行空间分割,最终提取出语义视频对象。与现有算法相比,对于从具有动态场景的视频流中提取运动对象的情况,由于使用该算法能有效地避开精准背景补偿,因而不仅节省了计算量,而且提取出来的语义对象精度较高。实验表明,无论是对动态场景中刚性还是非刚性运动物体的分割,该算法都具有较好的效果。     

Dust particle detection in traffic surveillance video using motion singularity analysis

Dust particle detection in video aims to automatically determine whether the video is degraded by dust particle or not. Dust particles are usually stuck on the camera lends and typically temporally static in the images of a video sequence captured from a dynamic scene. The moving objects in the scene can be occluded by the dusts; consequently, the motion information of moving objects tends to yield singularity. Motivated by this, a dust detection approach is proposed in this paper by exploiting motion singularity analysis in the video. First, the optical model of dust particle is theoretically studied in by simulating optical density of artifacts produced by dust particles. Then, the optical flow is exploited to perform motion singularity analysis for blind dust detection in the video without the need for ground truth dust-free video. More specifically, a singularity model of optical flow is proposed in this paper using the direction of the motion flow field, instead of the amplitude of the motion flow field. The proposed motion singularity model is further incorporated into a temporal voting mechanism to develop an automatic dust particle detection in the video. Experiments are conducted using both artificially-simulated dust-degraded video and real-world dust-degraded video to demonstrate that the proposed approach outperforms conventional approaches to achieve more accurate dust detection.     

飞机复杂机构虚拟培训场景运动建模方法

针对含有飞机复杂机构的虚拟培训场景建模过程复杂、生成的场景帧率低、交互性差等问题,提出一种虚拟场景建模方法。首先,对原动件在其运动范围内进行运动状态采样;然后利用机构仿真平台进行运动学建模与解算,获取所有零件的运动状态作为机构的运动状态库,并对运动状态库进行压缩;最后,在虚拟现实引擎中将库文件与经过材质编辑的网格模型融合,采用索引、插值替代实时解算,以获取零件的位置姿态数据,生成虚拟场景。使用起落架收放机构与后缘襟翼收放机构进行实验,结果表明,该方法可以实现真实感强、交互性好的飞机复杂机构虚拟培训场景运动建模。     

未标定视频下的动态人体身高测量

针对视频下的动态人体身高测量过程中,依赖三维场景的结构化信息,或者需要事先对相机进行标定的情况,提出了一种视觉测量算法对未标定视频中的行人身高进行测量。该方法首先利用帧差法提取每帧图像中的人体区域信息,然后由该区域的主轴方向确定人体的头顶点和垂足点,再由头顶点和垂足点形成的两个平行虚拟平面确定水平消失线、由主轴方向确定竖直消失点,最后根据射影变换的交比不变量来确定人体的身高。该方法以人在正常行走过程中身高基本保持不变为合理假设,并且充分利用了视频中的人体运动信息。实验结果表明,测量结果的平均相对误差低于2.2%,能够满足人体身高测量的精度需要。