基于相机溯源的潜在不良视频通话预警

目前主流的不良视频检测大多基于视频内容分析,属于计算密集型任务,不利于巨量视频通话流的实时检测。为此,本文试图从新的视角来阻断潜在不良视频的传播,即实时视频流相机溯源。和传统检测内容的方法不同,本文试图通过检测产生不良视频的相机源来阻断潜在不良视频的传播,即一旦发现某个正在视频通话的手机产生过不良视频,就发出安全警告进行阻断。该思路的基本假设是拍摄过不良视频的手机拥有者有更大概率利用同一部手机拍摄不良视频。该思路的核心问题是寻找一种实时、可靠的相机溯源方法。为此,本文主要聚焦以下三方面工作:建立了一个包含100部视频的数据库用于算法评估,数据库中的视频来自25部不同型号、不同品牌的相机,每一部视频注明了相机来源;建立了一种简单、有效的视频相机溯源机制,实现相机的在线实时溯源;提出了一种多相机指纹特征集成决策模型,实现可靠的相机溯源。实验结果显示,所提相机溯源机制能满足相机溯源的实时性要求,并且所提多相机指纹特征集成决策模型显著优于现有的单一模型,对于安卓手机,其视频相机溯源准确率达到98.161%,验证了该思路的可行性。     

基于图像的自动驾驶3D目标检测综述——基准、制约因素和误差分析

从高分辨率图像中获取周边目标的精准3D位置和尺寸信息是实现自动驾驶控制和行为决策的基础,因此基于图像的3D目标检测是自动驾驶领域中的研究热点。已有学者对该领域方法论及成果进行了比较详细的综述,但对于导致现有方法检测精度不尽如意的制约因素未能进行深入系统的分析。考虑自动驾驶领域在工程应用方面的要求高,且现有方法以数据驱动类型为主,本文从常用数据集和评价基准、数据影响、方法论的制约因素和误差等角度,对学术界和产业界在3D目标检测方面的研究成果及行业应用进行较为系统的阐述。首先,从学术界探索成果以及自动驾驶行业的应用角度进行概要介绍。然后,从数据采集设备、数据精度和标注信息3方面详细分析总结了KITTI等4个通用数据集,并对这些数据集提出的主要评价指标进行对比分析。接着,从数据和方法论方面分析制约算法性能的主要因素及由此造成的误差影响。在数据方面,制约因素主要是数据精度、样本差异、标注数据量和标注规范;在方法论方面,制约因素主要包括先验几何关系、深度预测误差和数据模态等。最后,对国内外研究现状进行总结,并在数据集、评价指标和目标深度预测等方面提出了未来需要重点关注的研究方向。     

图像指代分割研究综述

图像指代分割作为计算机视觉与自然语言处理交叉领域的热点问题,其目的是根据自然语言描述在图像中分割出相应的目标区域。随着相关深度学习技术的成熟和大规模数据集的出现,这项任务引起了研究者的广泛关注。本文对图像指代分割算法的发展进行了梳理和分析。首先根据多模态信息的编码解码方式,将现有图像指代分割算法分成基于多模态信息融合和基于多尺度信息融合两类进行了系统阐述,重点介绍了基于CNN-LSTM框架的方法、结构复杂的模块化方法和基于图的方法;然后,对用于图像指代分割任务的典型数据集和主流评价指标进行了总结与统计;之后,通过实验综合比较了现有的图像指代分割模型之间的性能差异并进一步验证了各种模型的优缺点。最后,对这一领域现有方法中存在的问题进行讨论分析,并对未来的发展方向进行了展望,表明了针对复杂的指代描述,需要通过多步、显式的推理步骤来解决图像指代分割问题。      

面向压缩图像复原的网络增强训练方法

高质量的数据是深度卷积神经网络成功的关键因素之一。在计算机视觉领域,常用图像数据集通常以JPEG格式存储。这种有损压缩技术不可避免地会导致原始数据信息的丢失,进而造成利用压缩数据训练的卷积神经网络的性能降低。因此,为了增强卷积神经网络的性能,本文提出了一种面向压缩图像复原的增强训练方法,通过复原压缩图像实现卷积神经网络的性能增强。该方法具体为一个包含复原模块和任务模块的联合增强框架。复原模块致力于恢复有损压缩技术造成的信息丢失;任务模块专注于基于任务需求增强压缩图像。两个模块联合训练,使得压缩图像的复原增强更具有目的性。本文通过图像分类任务的实验表明,与压缩图像相比,该方法能有效地复原压缩图像,增强卷积神经网络的性能。此外,该方法中两个模块间的低耦合性和可替代性保证了该方法的适用性。      

基于多证据融合的视频排序方法

 在视频检索中,通过对用户行为特性的分析发现,用户通常只关注排在最前面的返回结果,而很少有耐心将所有的返回结果浏览一遍.因此,对于一个搜索引擎来说,能否将最相关的结果排在最前面是至关重要的.为了实现这一目标,本文提出了一种基于多证据融合的视频排序方法.该方法利用Dempster Shafer证据推理理论来协同地融合多方证据,进而推断出最相关的视频镜头.如果多方证据一致,则证明某个视频镜头是相关的,此镜头被认为是最相关的镜头,并被排在返回列表的最前列.相反,如果多方证据产生冲突,那么此镜头就将被排在后面.实验结果表明,利用建议的多证据融合排序算法,搜索引擎的搜索质量,特别是排在前列的搜索结果的准确性,有了明显的改善.     

面向智慧城市的交通视频结构化分析前沿进展

随着智慧城市建设的不断深入,大量的传感器设备铺置在城市公路和轨道等交通场景,为多维度全方位感知城市交通状态构建了广泛的感知网络,产生了海量的交通视频数据。海量交通视频数据是城市管理的数据宝藏,理解与分析这些数据是智慧城市建设的关键。面对高度冗余的交通视频数据,如何高效准确地挖掘和提取结构化信息,实现对重点目标（如人、车、物）的快速检测、识别与检索,是交通视频处理的核心问题——交通视频结构化分析。交通视频结构化分析包括车辆视频结构化分析、人员结构化分析及其行为分析。其中,车辆结构化作为一个复杂的多步骤任务,主要由车辆的检测、车辆的属性（车牌、车型和颜色）识别以及车辆的检索和重识别等子任务构成。人脸结构化和行人结构化是交通视频中行人结构化智能分析中的两个重要研究方向,主要分析人脸或者行人的一些表观属性。行人行为分析是指对行人在复杂交通环境下做出的动作进行识别和预测。本文从交通视频中的车辆、行人及其行为分析等方面,阐述交通视频结构化分析领域的研究热点及前沿进展,汇总比较国内外的相关成果,并对交通视频结构化分析领域的研究进行总结分析与展望。