时空视觉选择性注意机制的视频火焰检测

引入计算视觉领域中的显著性思想,结合自上而下的视觉注意模型,构建了基于时空视觉选择性注意机制的视频火焰检测模型.该模型用HSV空间的V分量表示火焰的亮度显著性,用RGB空间火焰R和B分量的关系表示火焰的颜色显著性,用局部二值模式的3种形式组合成的特征向量之间的距离表示火焰的纹理显著性;为降低模型时间、空间的复杂度,采用主成分分析对局部二值模式特征向量降维,用改进的基于火焰颜色的累积差分表示火焰的运动显著性.最后经加权线性组合各静态、动态特征图,得到当前视频帧的综合显著图.对Bilkent大学火焰视频库中全部的13段火焰视频和通过互联网获得的2段非火焰视频进行实验的结果表明,与其他流行模型相比,该模型可以更准确地检测出视频序列中的火焰区域.     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

基于视觉注意机制的目标跟踪方法

提出一种基于视觉注意机制的运动目标跟踪方法。该方法借鉴人类的视觉注意机制的研究成果,建立视觉注意机制的计算模型,计算视频中各部分内容的视觉显著性。结合视觉显著性计算结果,提取视频图像中的显著性目标。利用颜色分布模型作为目标的特征表示模型,与视频中各显著目标进行特征匹配,实现目标的跟踪。在多个视频序列中进行实验,并给出相应的实验结果及分析。实验结果表明,提出的目标检测与跟踪算法是正确有效的。     

显著性目标检测中的视觉特征及融合

显著性目标检测,在包括图像/视频分割、目标识别等在内的许多计算机视觉问题中是极为重要的一步,有着十分广泛的应用前景。从显著性检测模型过去近10年的发展历程可以清楚看到,多数检测方法是采用视觉特征来检测的,视觉特征决定了显著性检测模型的性能和效果。各类显著性检测模型的根本差异之一就是所选用的视觉特征不同。首次较为全面地回顾和总结常用的颜色、纹理、背景等视觉特征,对它们进行了分类、比较和分析。先从各种颜色特征中挑选较好的特征进行融合,然后将颜色特征与其他特征进行比较,并从中选择较优的特征进行融合。在具有挑战性的公开数据集ESSCD、DUT-OMON上进行了实验,从PR曲线、F-Measure方法、MAE绝对误差三个方面进行了定量比较,检测出的综合效果优于其他算法。通过对不同视觉特征的比较和融合,表明颜色、纹理、边框连接性、Objectness这四种特征在显著性目标检测中是非常有效的。     

视觉注意机制下结合语义特征的行人检测

目的 为研究多场景下的行人检测,提出一种视觉注意机制下基于语义特征的行人检测方法。方法 首先,在初级视觉特征基础上,结合行人肤色的语义特征,通过将自下而上的数据驱动型视觉注意与自上而下的任务驱动型视觉注意有机结合,建立空域静态视觉注意模型;然后,结合运动信息的语义特征,采用运动矢量熵值计算运动显著性,建立时域动态视觉注意模型;在此基础上,以特征权重融合的方式,构建时空域融合的视觉注意模型,由此得到视觉显著图,并通过视觉注意焦点的选择完成行人检测。结果 选用标准库和实拍视频,在Matlab R2012a平台上,进行实验验证。与其他视觉注意模型进行对比仿真,本文方法具有良好的行人检测效果,在实验视频上的行人检测正确率达93%。结论 本文方法在不同的场景下具有良好的鲁棒性能,能够用于提高现有视频监控系统的智能化性能。     

基于视频的火焰检测算法综述

近年来,随着计算机视觉技术和数字图像处理技术的不断发展,基于视频分析的火焰检测技术获得越来越多的关注。鉴于基于视频的火焰检测对消防安全、人民生命和国家财产安全等具有重要的实际研究意义,以及其理论基础和影响因素的多样性,本文对目前已有的基于视频的火焰检测算法所涉及的关键技术进行了综述。首先介绍了目前基于视频的火焰检测技术的处理流程,即预处理、特征提取、分类识别;其次着重分析火焰的特征,包括基于单帧的静态特征和基于多帧的动态特征,同时列举了典型的火焰特征提取算法;然后重点总结多特征融合策略和用于火焰识别的常用分类器以及深度学习识别方法;最后对基于视频的火焰检测技术的研究难点和未来发展进行了较为详细的分析探讨。     

基于视觉信息补偿的多流音视显著性检测

音视显著性检测方法采用的双流网络结构,在音视信号不一致时,双流网络的音频信息对视频信息产生负面影响,削弱物体的视觉特征;另外,传统融合方式忽视了特征属性的重要程度。针对双流网络的问题进行研究,提出了一种基于视觉信息补偿的多流音视显著性算法（MSAVIC）。首先,在双流网络的基础上增加单独的视频编码分支,保留视频信号中完整的物体外观和运动信息。其次,利用特征融合策略将视频编码特征与音视频显著性特征相结合,增强视觉信息的表达,实现音视不一致情况下对视觉信息的补偿。理论分析和实验结果表明,MSAVIC在四个数据集上超过其他方法2%左右,在显著性检测方面具有较好的效果。     

脉冲视觉研究进展

视频是视觉信息处理的基础概念,传统视频的帧率只有几十Hz,不能记录光的高速变化过程,成为限制机器视觉速度的天花板,其根本原因在于视频概念脱胎于胶片成像,未能发挥电子和数字技术的潜力。脉冲视觉模型通过感光器件捕获光子,累积能量达到约定阈值时产生脉冲,形成脉冲的时间越长,表明收到的光信号越弱,反之光信号越强,据此可估计任意时刻的光强,从而实现连续成像。采用普通器件,研制了比影视视频快千倍的超高速成像芯片和相机,进而基于脉冲神经网络实现了超高速目标检测、跟踪和识别,打破了机器视觉提速依赖算力线性增长的传统范式。本文从脉冲视觉模型表达视觉信息的生物学基础和物理原理出发,介绍了脉冲视觉原理的软件模拟器及其模拟真实世界光子传播的计算过程,描述了基于脉冲视觉原理的高灵敏光电传感器件及芯片的工作机理和结构设计、基于脉冲视觉的影像重建原理以及脉冲视觉信号与普通图像信号融合的计算摄像算法与计算摄像系统,介绍了基于脉冲神经网络的超高速运动目标检测、跟踪与识别,通过对比国际国内相关研究内容和发展现状,展望了脉冲视觉的发展与演进方向。脉冲视觉芯片和系统在工业(高铁、电力和轮机等不停机监测,智能制造高速监视等)、民用(高速相机、智能交通、辅助驾驶、司法取证和体育判罚等)以及国防(高速对抗)等领域都具有巨大应用潜力,是未来值得重点关注和研究的一个重要方向。     

结合立体视觉舒适度的立体图像显著性检测

针对先前的立体图像显著性检测模型未充分考虑立体视觉舒适度和视差图分布特征对显著区域检测的影响,提出了一种结合立体视觉舒适度因子的显著性计算模型.该模型在彩色图像显著性提取中,首先利用SLIC算法对输入图像进行超像素分割,随后进行颜色相似区域合并后再进行二维图像显著性计算;在深度显著性计算中,首先对视差图进行预处理;然后基于区域对比度进行显著性计算;最后,结合立体视觉舒适度因子对二维显著图和深度显著图进行融合,得到立体图像显著图.在不同类型立体图像上的实验结果表明,该模型获得了85%的准确率和78%的召回率,优于现有常用的显著性检测模型,并与人眼立体视觉注意力机制保持良好的一致性.     

多特征融合的火焰检测算法

视频火焰检测是复杂场景下预防火灾的重要方法。为了提高火焰的检测效率和鲁棒性,基于RGB和HSI颜色空间改进了火焰的颜色特征模型,有效地提取了疑似火焰区域;实验对比分析了火焰不同的形状结构特征,及其特征组合对火焰检测有效性的影响,提出了一种融合圆形度、矩形度和重心高度系数的火焰检测算法,然后将融合后的火焰特征输入支持向量机(SVM)中进行分类。在Bilkent大学火灾视频库上的实验结果表明,该方法高效、快速,且能适用于多种场景。     

Video fire detection – Review

This is a review article describing the recent developments in Video based Fire Detection (VFD). Video surveillance cameras and computer vision methods are widely used in many security applications. It is also possible to use security cameras and special purpose infrared surveillance cameras for fire detection. This requires intelligent video processing techniques for detection and analysis of uncontrolled fire behavior. VFD may help reduce the detection time compared to the currently available sensors in both indoors and outdoors because cameras can monitor “volumes” and do not have transport delay that the traditional “point” sensors suffer from. It is possible to cover an area of 100 km² using a single pan-tilt-zoom camera placed on a hilltop for wildfire detection. Another benefit of the VFD systems is that they can provide crucial information about the size and growth of the fire, direction of smoke propagation.     

网络化防空火控系统中的航迹融合

网络化防空火控系统是网络化作战形式不断发展的产物.本文以网络化防空作战为背景,针对网络化防空火控系统的体系结构及航迹融合问题进行了研究.将网络化控制系统的方法引入防空火控系统的研究中,提出了一种网络化防空火控系统的体系结构.为了保证系统在该体系结构下更好地工作,对航迹融合方法进行了研究.提出并构建了基于联邦Kalman滤波技术的航迹融合方法,其滤波结构适应于灵活开放的体系结构,同时子滤波器可以根据网络传输状态,处理数据丢包和时延的情况.试验结果表明,融合后的数据精度得到了提高.该方法为网络化防空火控系统的设计与实现奠定了良好的基础.     

多模式汉语连续语音识别中视觉特征的提取和应用

本文对在汉语多模式汉语语音识别系统中利用视觉特征进行了研究,给出了基于多流隐马尔科夫模型(Multi-stream HMM, MSHMM)的听视觉融合方案,并对有关视觉特征的两项关键技术:嘴唇定位和视觉特征提取进行了详细讨论。首先,我们研究了基于模板匹配的嘴唇跟踪方法;然后研究了基于线性变换的低级视觉特征,并与基于动态形状模型的特征作了比较;实验结果表明,引入视觉信息后无噪环境下语音识别声学层首选错误率相对下降36.09%,在噪声环境下的鲁棒性也有明显提高。     

基于Multi-Agent的分布式智能视觉监控系统研究

90年代以来,随着计算机技术的发展,对于Agent的研究已经成为分布式人工智能领域的一个热点,基于Multi-Agent的分布式智能系统已成功地应用于众多领域。该文将Multi-Agent技术应用于智能视觉监控领域,以开发智能视觉监控的分布式Multi-Agent系统,提出了系统的基本框架和系统实现途径及方法,其中着重研究了基于Multi-Agent理论的视觉监控系统模型、组织活动,以及多Agent之间的协调合作问题。该分布式系统的研究,为实际应用系统的研制开发提供了理论指导和方法依据。     

改进YOLOv5s的小目标烟雾火焰检测算法

针对复杂环境中,烟雾火焰检测存在精度低,小目标检测困难等问题,提出一种改进的基于YOLOv5s的小目标烟雾火焰检测算法。基于公开数据集自建了9 981张不相似的烟雾火焰图像数据集,解决现有数据集的限制,提高了模型的训练效率与泛化能力;在网络中添加3-D注意力机制SimAM,增加算法的特征提取能力,而且没有增加额外的参数;修改网络中的Neck结构,将三尺度检测改为四尺度检测,并结合了加权双向特征金字塔网络（BiFPN）结构,对特征融合过程进行修改,提高小目标的检测能力与特征融合能力;通过遗传算法来优化网络中的部分超参数,进一步模型的检测能力。实验结果表明,改进后的算法比原始YOLOv5s算法平均检测精度提高了7.2%,同时对小目标检测精度更高,误检漏检等情况减少。     

基于色彩和闪频特征的视频火焰检测

基于视频图像的火焰检测是火灾预防的一个重要研究方向。为了提高火焰的检测率,利用RGB和HSI色彩空间中的颜色信息,建立了一种新的火焰色彩模型,应用该模型提取疑似火焰区域。提出了一种基于累积差分RGB三通道的火焰闪频特征抽取方法,并用逻辑回归（logistic regression,LR）对火焰的闪频特征进行分析,得到了优化的权重和偏斜率,建立了火焰闪频特征值的概率模型。最后将概率模型应用于火焰检测。实验结果表明,该算法对火焰区域检测效果好,适用范围广,且能检测出较小的火焰区域。     

Abnormal visual event detection based on multi-instance learning and autoregressive integrated moving average model in edge-based Smart City surveillance

The abnormal visual event detection is an important subject in Smart City surveillance where a lot of data can be processed locally in edge computing environment. Real-time and detection effectiveness are critical in such an edge environment. In this paper, we propose an abnormal event detection approach based on multi-instance learning and autoregressive integrated moving average model for video surveillance of crowded scenes in urban public places, focusing on real-time and detection effectiveness. We propose an unsupervised method for abnormal event detection by combining multi-instance visual feature selection and the autoregressive integrated moving average model. In the proposed method, each video clip is modeled as a visual feature bag containing several subvideo clips, each of which is regarded as an instance. The time-transform characteristics of the optical flow characteristics within each subvideo clip are considered as a visual feature instance, and time-series modeling is carried out for multiple visual feature instances related to all subvideo clips in a surveillance video clip. The abnormal events in each surveillance video clip are detected using the multi-instance fusion method. This approach is verified on publically available urban surveillance video datasets and compared with state-of-the-art alternatives. Experimental results demonstrate that the proposed method has better abnormal event detection performance for crowded scene of urban public places with an edge environment.     

森林场景可视化和林火模拟仿真技术研究综述

森林是生态环境系统的重要组成部分。随着气候变暖,恶劣气候气象条件造成全球森林火灾频繁发生,给国民经济和消防救援带来巨大挑战,森林火灾已成为全球主要的自然灾害。因此,森林场景可视化建模、3维场景仿真、林火模拟仿真、火场复现、预测和灾害评估成为林业虚拟仿真研究热点。本文对树木形态结构建模技术、森林场景大规模重建和实时渲染、森林场景可视化、林火模型和林火模拟仿真等前沿技术和算法进行综述。对相关的林木、植被的形态结构表达和真实感可视化建模方法进行归纳分类,并对不同可视化方法的算法优劣、复杂度、实时渲染效率和适用场景进行讨论。基于规则的林木建模方法和基于林分特征的真实场景重建方法对大规模森林场景重建技术进行分类,基于物理模型、经验模型和半经验模型对森林火灾的林火模型、单木林火、多木林火模拟和蔓延进行总结,对影响林火蔓延的不同环境气象因子（如地形地貌、湿度、可燃物等）和森林分布对林火发生、扩散和蔓延的影响进行分析,对不同算法的优劣进行对比、分析和讨论,对森林场景可视化和林火模拟仿真技术未来的发展方向、存在问题和挑战进行展望。本文为基于森林真实场景的森林火灾模拟仿真和数字孪生沉浸式互动模拟系统的构建提供了理论方法基础,该平台可以实现森林场景快速构建、不同火源林火模拟、火场蔓延模拟仿真以及不同气象影响条件的火场预测,可对森林火场救援指挥、火场灾害评估和火场复原提供可视化决策支持。     

Video object matching across multiple non-overlapping camera views based on multi-feature fusion and incremental learning

Matching objects across multiple cameras with non-overlapping views is a necessary but difficult task in the wide area video surveillance. Owing to the lack of spatio-temporal information, only the visual information can be used in some scenarios, especially when the cameras are widely separated. This paper proposes a novel framework based on multi-feature fusion and incremental learning to match the objects across disjoint views in the absence of space–time cues. We first develop a competitive major feature histogram fusion representation (CMFH¹) to formulate the appearance model for characterizing the potentially matching objects. The appearances of the objects can change over time and hence the models should be continuously updated. We then adopt an improved incremental general multicategory support vector machine algorithm (IGMSVM²) to update the appearance models online and match the objects based on a classification method. Only a small amount of samples are needed for building an accurate classification model in our method. Several tests are performed on CAVIAR, ISCAPS and VIPeR databases where the objects change significantly due to variations in the viewpoint, illumination and poses. Experimental results demonstrate the advantages of the proposed methodology in terms of computational efficiency, computation storage, and matching accuracy over that of other state-of-the-art classification-based matching approaches. The system developed in this research can be used in real-time video surveillance applications.