视频监控与3DGIS的集成与应用

结合Skyline软件中的Video On Terrain技术提出了一种3DGIS与视频监控系统相集成的三维地面影像视频监控新方案,设计了3DGIS视频监控系统的软硬件框架和数据库,讨论了视频数据传输和编码、视频监控报警流程以及网络分析等关键技术,详细介绍了三维场景的创建过程,最后实现了视频监控与3DGIS集成的原型系统,并分析了系统集成的优势。     

基于3DGIS技术的数字矿山基础信息平台及其应用

在分析阐述3DGIS技术的发展与现状及数字矿山基础信息的产生、内容、获取、层次划分、使用途径的基础上,提出了以基于3DGIS技术的数字矿山应用框架为核心内容的数字矿山基础信息平台的架构思想,简要介绍了基于3DGIS技术的数字矿山基础信息平台的产品构成和主要功能,并以应用开发案例说明了基于数字矿山基础信息平台进行专业应用二次开发的方法。     

基于MCU大型远程视频会议系统设计与实现

本文提出并实现了一个依托IP数据网,依据H.323标准协议,基于MCU与视频会议终端、录播系统、音频调度系统等设备融合,实现适于大型企业高清远程视频会议系统。对系统设计与实施过程中的技术架构、关键技术及特点进行分析。解决多人多点实时异地的语音、视频、图像、文字等信息的传递和交流,为企业大大节省商旅支出,使交流更透明,更完整。     

3D GIS环境下监控摄像头空间布局设计

安防监控系统中,传统方法令摄像头的空间布局很难取得最优效果。在3DGIS环境下,提出一种视频监控系统中摄像头空间布局的方法,基于特尔斐法提取建筑布局、景观效果、安全等级、区域出入口范围、可持续发展5个影响因子,并在此基础上确定监控点选址的基本原则和评价体系,通过综合多因子评价,结合摄像头成像模型与3DGIS的分析功能,建立一个通用的监控摄像头空间布局优化方案。应用案例表明该方法可快速、有效地实现监控点的空间布局。     

我国煤矿数字化矿山发展现状及关键技术探讨

文章介绍了数字矿山的概念和发展目标,分析了目前我国煤矿数字矿山的发展现状,提出了以基于3DGIS技术的数字矿山基础信息平台为核心内容的数字矿山建设框架,简要介绍了实现数字矿山需要研究的信息规范和接口标准、设备智能化、高速传输网络、多源异构数据的集成共享、3DGIS平台、三维建模算法、基础数据专业化分析处理、业务应用系统开发等关键技术,对我国煤矿数字矿山的发展具有一定的指导意义。     

FPGA在视频拼接中的应用与实现

针对大场景视频拼接技术在汽车环视系统等领域的应用需求,并为了适应嵌入式系统快速发展的要求,提出了基于FPGA片上可编程系统(system on a programmable chip,SOPC)技术来实现多个摄像头视频数据的传输和拼接的大视场视频解决方案.系统的硬件平台的构建以Xilinx软核处理器Microblaze为核心,主要完成了视频数据的采集、存储、处理以及传输等工作,图像拼接部分采用频域相位相关算法,对待拼接图像进行配准,并通过融合算法得到具有360°全景视频信息的大视场图像.通过实验对系统进行测试,验证了系统的可行性.     

一种智能视频监控系统及其信息融合处理

本文是基于一种网络传感器与视频监控系统集成的研究,结合神经网络技术和专家系统对摄像机图像信息和传感器信息进行信息融合,赋予监控系统一定的智能性,提高了系统信息的丰富性、准确性和信息存储的效率.     

多尺度输入3D卷积融合双流模型的行为识别方法

基于视频的行为识别技术在计算机视觉领域有广泛的应用.针对当前存在的网络模型不能有效结合视频数据中的时空信息,并且缺乏对不同尺度数据之间的融合信息进行考虑等问题,提出一种结合双流网络以及3D卷积神经网络的多尺度输入3D卷积融合双流模型.首先利用2D残差网以及多尺度输入3D卷积融合网络获取视频中的时空维度信息;然后将2层网络得到的实验结果进行决策相加,有效地提升网络对视频中时空特征提取的能力;最后通过在多尺度输入3D卷积融合网络对不同尺度的数据进行不同策略的融合,提高了网络对不同尺度数据的泛化能力.实验结果表明,文中模型在数据集UCF-101以及HMDB-51的识别准确率分别为90.5%与66.3%;相比于其他方法,该模型能取得更高的识别精度,体现出文中方法的优越性与鲁棒性.     

基于多模态元数据的VideoGIS解决方案

提出视频GIS的概念模型与实施方案,分析了一个基于实时可定位信息自动融合与多模态元数据提取技术的视频GIS原型系统--Videocls.讨论了该系统的目标及体系结构,描述了其中涉及的关键技术思想,并对进一步的研究方向作了展望.     

PTZ摄像机视频与三维模型的配准技术研究

针对基于投影纹理映射的虚实融合系统,提出了一种PTZ摄像机视频与三维模型实时配准的技术.选取PTZ摄像机若干特定姿态的子图像组成一张全景图像,进行最优匹配图像的搜索,用SURF图像配准的方法对实时视频图像进行透视变换,利用最优匹配图像的三维投影信息将实时视频图像精确投影到三维模型中.实验结果表明,该算法具有较高的准确性,适用于虚实融合系统中PTZ摄像机视频的三维配准.     

基于多视频的虚实融合系统

提出了一种基于多视频的虚实融合可视化系统的构建方法,旨在将真实世界中的图像和视频融合到虚拟场景中,用视频图像中的纹理和动态信息去丰富虚拟场景,提高虚拟环境的真实性,得到一种增强的虚拟环境.利用无人机采集图像来重建虚拟场景,并借助图像特征点的匹配来实现视频图像的注册.然后利用投影纹理映射技术,将图像投影到虚拟场景中.视频中的动态物体由于在虚拟环境中缺失对应的三维模型,直接投影,当视点发生变化时会产生畸变.首先检测和追踪这些物体,然后尝试使用多种显示方式来解决畸变问题.此外,系统还考虑有重叠区域的多视频之间的融合.实验结果表明,所构造的虚实融合环境是十分有益的.     

Video tampering dataset development in temporal domain for video forgery authentication

Videos are tampered by the forgers to modify or remove their content for malicious purpose. Many video authentication algorithms are developed to detect this tampering. At present, very few standard and diversified tampered video dataset is publicly available for reliable verification and authentication of forensic algorithms. In this paper, we propose the development of total 210 videos for Temporal Domain Tampered Video Dataset (TDTVD) using Frame Deletion, Frame Duplication and Frame Insertion. Out of total 210 videos, 120 videos are developed based on Event/Object/Person (EOP) removal or modification and remaining 90 videos are created based on Smart Tampering (ST) or Multiple Tampering. 16 original videos from SULFA and 24 original videos from YouTube (VTD Dataset) are used to develop different tampered videos. EOP based videos include 40 videos for each tampering type of frame deletion, frame insertion and frame duplication. ST based tampered video contains multiple tampering in a single video. Multiple tampering is developed in three categories (1) 10-frames tampered (frame deletion, frame duplication or frame insertion) at 3-different locations (2) 20-frames tampered at 3- different locations and (3) 30-frames tampered at 3-different locations in the video. Proposed TDTVD dataset includes all temporal domain tampering and also includes multiple tampering videos. The resultant tampered videos have video length ranging from 6 s to 18 s with resolution 320X240 or 640X360 pixels. The database is comprised of static and dynamic videos with various activities, like traffic, sports, news, a ball rolling, airport, garden, highways, zoom in zoom out etc. This entire dataset is publicly accessible for researchers, and this will be especially valuable to test their algorithms on this vast dataset. The detailed ground truth information like tampering type, frames tampered, location of tampering is also given for each developed tampered video to support verifying tampering detection algorithms. The dataset is compared with state of the art and validated with two video tampering detection methods.

     

基于异构信息双向传播的网络视频分类方法

针对以往大多数网络视频分类研究只将文本和视觉特征进行简单融合的问题,提出了基于异构信息双向传播的网络视频分类方法。首先基于K均值方法将视频关键帧聚类成多个簇,在帧层次上对视频数据进行建模;将每个簇中代表性关键帧的文本信息传播至该簇作为其文本解释,完成从文本至视觉模态的传播;对每个关键帧,将其对应簇的文本解释传播至该关键帧,完成从视觉至文本模态的传播;最后基于支持向量机(SVM)对网络视频进行分类。在信息的双重传播中两类异构数据得到了密切的融合。实验结果表明该方法有效地提高了网络视频分类的准确率。     

多特征融合的行为识别模型

目的 视频行为识别和理解是智能监控、人机交互和虚拟现实等诸多应用中的一项基础技术,由于视频时空结构的复杂性,以及视频内容的多样性,当前行为识别仍面临如何高效提取视频的时域表示、如何高效提取视频特征并在时间轴上建模的难点问题。针对这些难点,提出了一种多特征融合的行为识别模型。方法 首先,提取视频中高频信息和低频信息,采用本文提出的两帧融合算法和三帧融合算法压缩原始数据,保留原始视频绝大多数信息,增强原始数据集,更好地表达原始行为信息。其次,设计双路特征提取网络,一路将融合数据正向输入网络提取细节特征,另一路将融合数据逆向输入网络提取整体特征,接着将两路特征加权融合,每一路特征提取网络均使用通用视频描述符——3D ConvNets （3D convolutional neural networks）结构。然后,采用BiConvLSTM （bidirectional convolutional long short-term memory network）网络对融合特征进一步提取局部信息并在时间轴上建模,解决视频序列中某些行为间隔相对较长的问题。最后,利用Softmax最大化似然函数分类行为动作。结果 为了验证本文算法的有效性,在公开的行为识别数据集UCF101和HMDB51上,采用5折交叉验证的方式进行整体测试与分析,然后针对每类行为动作进行比较统计。结果表明,本文算法在两个验证集上的平均准确率分别为96.47%和80.03%。结论 通过与目前主流行为识别模型比较,本文提出的多特征模型获得了最高的识别精度,具有通用、紧凑、简单和高效的特点。     

Video recommendation over multiple information sources

Video recommendation is an important tool to help people access interesting videos. In this paper, we propose a universal scheme to integrate rich information for personalized video recommendation. Our approach regards video recommendation as a ranking task. First, it generates multiple ranking lists by exploring different information sources. In particular, one novel source user’s relationship strength is inferred through the online social network and applied to recommend videos. Second, based on multiple ranking lists, a multi-task rank aggregation approach is proposed to integrate these ranking lists to generate a final result for video recommendation. It is shown that our scheme is flexible that can easily incorporate other methods by adding their generated ranking lists into our multi-task rank aggregation approach. We conduct experiments on a large dataset with 76 users and more than 11,000 videos. The experimental results demonstrate the feasibility and effectiveness of our approach.     

一种基于多模态感知的双声道音频生成方法

现有多数视频只包含单声道音频,缺乏双声道音频所带来的立体感。针对这一问题,本文提出了一种基于多模态感知的双声道音频生成方法,其在分析视频中视觉信息的基础上,将视频的空间信息与音频内容融合,自动为原始单声道音频添加空间化特征,生成更接近真实听觉体验的双声道音频。我们首先采用一种改进的音频视频融合分析网络,以编码器-解码器的结构,对单声道视频进行编码,接着对视频特征和音频特征进行多尺度融合,并对视频及音频信息进行协同分析,使得双声道音频拥有了原始单声道音频所没有的空间信息,最终生成得到视频对应的双声道音频。在公开数据集上的实验结果表明,本方法取得了优于现有模型的双声道音频生成效果,在STFT距离以及ENV距离两项指标上均取得提升。     

基于注意力融合网络的视频超分辨率重建

基于深度学习的视频超分辨率方法主要关注视频帧内和帧间的时空关系,但以往的方法在视频帧的特征对齐和融合方面存在运动信息估计不精确、特征融合不充分等问题。针对这些问题,采用反向投影原理并结合多种注意力机制和融合策略构建了一个基于注意力融合网络（AFN）的视频超分辨率模型。首先,在特征提取阶段,为了处理相邻帧和参考帧之间的多种运动,采用反向投影结构来获取运动信息的误差反馈;然后,使用时间、空间和通道注意力融合模块来进行多维度的特征挖掘和融合;最后,在重建阶段,将得到的高维特征经过卷积重建出高分辨率的视频帧。通过学习视频帧内和帧间特征的不同权重,充分挖掘了视频帧之间的相关关系,并利用迭代网络结构采取渐进的方式由粗到精地处理提取到的特征。在两个公开的基准数据集上的实验结果表明,AFN能够有效处理包含多种运动和遮挡的视频,与一些主流方法相比在量化指标上提升较大,如对于4倍重建任务,AFN产生的视频帧的峰值信噪比（PSNR）在Vid4数据集上比帧循环视频超分辨率网络（FRVSR）产生的视频帧的PSNR提高了13.2%,在SPMCS数据集上比动态上采样滤波视频超分辨率网络（VSR-DUF）产生的视频帧的PSNR提高了15.3%。     

VRML数据模型的三维可视化研究

为了把虚拟现实技术应用到三维地理信息系统-3DGIS软件中，本在分析虚拟现实建模语言(Virtual Reality Modeling Language)数据结构的基础上，采用面向对象的方法创建VRML结构类，并借助OpenGL在3DGIS软件开发中实现了VRML数据模型的读取和三维可视化，以及漫游路线回放等交互操作功能。     

Video motion stitching using trajectory and position similarities

Stitching motions in multiple videos into a single video scene is a challenging task in current video fusion and mosaicing research and film production. In this paper, we present a novel method of video motion stitching based on the similarities of trajectory and position of foreground objects. First, multiple video sequences are registered in a common reference frame, whereby we estimate the static and dynamic backgrounds, with the former responsible for distinguishing the foreground from the background and the static region from the dynamic region, and the latter functioning in mosaicing the warped input video sequences into a panoramic video. Accordingly, the motion similarity is calculated by reference to trajectory and position similarity, whereby the corresponding motion parts are extracted from multiple video sequences. Finally, using the corresponding motion parts, the foregrounds of different videos and dynamic backgrounds are fused into a single video scene through Poisson editing, with the motions involved being stitched together. Our major contributions are a framework of multiple video mosaicing based on motion similarity and a method of calculating motion similarity from the trajectory similarity and the position similarity. Experiments on everyday videos show that the agreement of trajectory and position similarities with the real motion similarity plays a decisive role in determining whether two motions can be stitched. We acquire satisfactory results for motion stitching and video mosaicing.     

基于文本扩展模型的网络视频聚类方法

随着视频分享网站的兴起和快速发展,互联网上的视频数量呈爆炸式增长,对视频的组织及分类成为视频有效使用的基础。视频聚类技术由于只需要考虑视频数据内在的簇结构、不需要人工干预,越来越受到人们的青睐。现有的视频聚类方法有基于视频关键帧视觉相似性的方法、基于视频标题文本聚类的方法、文本和视觉多模态融合的方法。基于视频标题文本聚类的视频聚类方法由于其简便性与高效性而被企业界广泛使用,但视频标题由于其短文本的语义稀疏特性,聚类效果欠佳。为此,本文面向社会媒体视频,提出了一种社会媒体平台上视频相关多源文本融合的视频聚类方法,以克服由于视频标题的短文本带来的语义稀疏问题。不同文本聚类算法上的实验结果证明了多源文本数据融合方法的有效性。