采用分裂Bregman的遥感影像亮度不均变分校正

目的 遥感影像成像过程由于受到传感器自身以及其他一些外部环境因素的影响,往往会呈现出整体的亮度不均,导致遥感影像解译和制图精度的降低。因此,需要对遥感影像进行亮度不均匀校正,提高影像的质量。方法 感知驱动的亮度不均变分校正方法,是一种新型的单幅遥感影像亮度不均校正方法,它受人眼视觉系统特性的启发,能够在有效校正影像整体亮度的同时增强局部对比度。本文用分裂Bregman迭代实现了对感知驱动亮度不均变分校正模型的最优化求解,在实现对影像整体亮度不均校正的同时,大幅提高了计算效率。结果 模拟实验和真实实验结果均表明,采用分裂Bregman的亮度不均变分校正模型需要较少的计算时间,从效率上比采用最速下降法的校正模型提高了约67倍。结论 分裂Bregman方法能够有效求解感知驱动亮度不均变分模型,在保证校正结果整体亮度均匀,局部对比度增强的前提下,大大提高运算效率。     

多投影显示墙的全局颜色校正

画面校正是实现无缝多投影显示墙系统的关键环节,针对此,提出了一种基于参数估计和统计思想的全局颜色校正方法.首先根据采样点的粗略分布建立亮度响应曲线的经验参数模型,并通过采样数据来确定该曲线的参数;然后依据亮度响应曲线,引入统计算法来调整投影仪输入,从而实现视觉上无缝的多投影拼接显示.最后在2×2和3×5多投影显示墙上进行了该算法的可行性和效果测试.结果表明,该算法比现有颜色校正算法的画面质量更好,亮度更高.     

适用全速域大曲率路径的自动驾驶跟踪算法

目的 路径跟踪是自动驾驶汽车根据感知、决策和规划结果正确沿道路行驶的关键部分。目前路径跟踪算法难以在全速域、复杂路径场景和高自由度动力学模型下取得优异的性能,并且未考虑与纵向控制的耦合特性,限制了控制算法的跟踪性能。针对以上问题,提出了一种基于速度自适应预瞄的无模型转向控制算法。方法根据车辆与跟踪路径的横向偏差与角度偏差,建立车辆方向盘输出控制量方程,该方法实现了在动力学高度复杂情况和跟踪路径可导情况下的低速稳定跟踪。同时根据车辆纵向速度自适应设置跟踪预瞄距离,并将速度耦合参数加入方程,实现了车辆全速域、全路径的稳定跟踪。结果 本文在PanoSim自动驾驶仿真系统和Simulink仿真软件进行仿真实验,在高自由度动力学模型下,本文算法实现在超高速（>220 km/h）直线及小曲率跟踪路径中横向偏差变化量Δd的模Δd<0.1 m、在高速（>150 km/h）大曲率弯道跟踪路径中Δd<0.3 m的性能。结论 本文提出的基于速度自适应预瞄的无模型转向控制算法可以实现全速域、大曲率的路径稳定跟踪。     

注意力机制的曲面沉浸式投影系统补偿

目的 沉浸式投影系统已广泛运用于虚拟现实系统之中,然而沉浸式投影系统中的互反射现象严重影响着虚拟现实系统的落地使用。沉浸式投影系统的互反射是指由于投影机光线和屏幕反射光线相互叠加造成的亮度冗余现象,严重影响了投影系统的成像质量和人眼的视觉感受。为此,本文提出一种新的基于互反射通道(inter-reflection channel,IRC)先验和注意力机制的神经网络。方法 IRC先验基于这样一个事实,即大多数受到互反射影响的投影图像都包含一些亮度较高的区域。高亮度区域往往受互反射影响更为严重,而低亮度区域受互反射影响程度较低。根据这一规律,采用IRC先验作为注意力图的监督样本,获取补偿图像的亮度区域信息。同时,为了对投影图像不同区域按影响程度进行差异化补偿,提出一种新的由两个相同子网络构成的补偿网络结构Pair-Net。结果 实验对比了4种现有方法,Pair-Net在ROI(region of interesting)指标分析上取得了明显优势,在人眼感受上有显著的效果提升。结论 本文提出的基于注意力机制的网络模型能够针对不同区域进行差异化补偿,很大程度上消除了互反射影响,提升了沉浸式投影系统的成像质量。     

视频中多特征融合人体姿态跟踪

目的 目前已有的人体姿态跟踪算法的跟踪精度仍有待提高,特别是对灵活运动的手臂部位的跟踪。为提高人体姿态的跟踪精度,本文首次提出一种将视觉时空信息与深度学习网络相结合的人体姿态跟踪方法。方法 在人体姿态跟踪过程中,利用视频时间信息计算出人体目标区域的运动信息,使用运动信息对人体部位姿态模型在帧间传递;考虑到基于图像空间特征的方法对形态较为固定的人体部位如躯干和头部能够较好地检测,而对手臂的检测效果较差,构造并训练一种轻量级的深度学习网络,用于生成人体手臂部位的附加候选样本;利用深度学习网络生成手臂特征一致性概率图,与视频空间信息结合计算得到最优部位姿态,并将各部位重组为完整人体姿态跟踪结果。结果 使用两个具有挑战性的人体姿态跟踪数据集VideoPose2.0和YouTubePose对本文算法进行验证,得到的手臂关节点平均跟踪精度分别为81.4%和84.5%,与现有方法相比有明显提高;此外,通过在VideoPose2.0数据集上的实验,验证了本文提出的对下臂附加采样的算法和手臂特征一致性计算的算法能够有效提高人体姿态关节点的跟踪精度。结论 提出的结合时空信息与深度学习网络的人体姿态跟踪方法能够有效提高人体姿态跟踪的精度,特别是对灵活运动的人体姿态下臂关节点的跟踪精度有显著提高。     

基于局部时空特征方向加权的人体行为识别

目的 对人体行为的描述是行为识别中的关键问题,为了能够充分利用训练数据从而保证特征对行为的高描述性,提出了基于局部时空特征方向加权的人体行为识别方法。方法 首先,将局部时空特征的亮度梯度特征分解为3个方向(X、Y、Z)分别来描述行为, 通过直接构造视觉词汇表分别得到不同行为3方向特征描述子集合的标准视觉词汇码本,并利用训练视频得到每个行为的标准3方向词汇分布;进而,根据不同行为3方向特征描述子集合的标准视觉词汇码本,分别计算测试视频相应的3方向的词汇分布,并利用与各行为标准3方向词汇分布的加权相似性度量进行行为识别;结果 在Weizmann数据库和KTH数据库中进行实验,Weizmann数据库中的平均识别率高达96.04%,KTH数据库中的平均识别率也高达96.93%。结论 与其他行为识别方法相比可以明显提高行为平均识别率。     

基于超像素的多主体图像交互分割

目的 为解决多主体图像的交互分割问题,在保证分割效果的前提上,提高分割的效率,达到实时交互修改分割结果的目的, 提出基于超像素的图像多主体交互分割算法.方法 基于图像的超像素构造一个多层流网络,利用用户交互绘制的简单笔画给出多主体分割的指导信息.流网络的边权值保证利用图割算法将图像分割成多个部分后,每个部分代表图像的一个主体.允许用户交互给出标记,实时修改分割结果,直到得到满意的多主体分割.结果 通过实验显示,本文方法能得到的满意多主体分割结果,而且时间效率较高.对分辨率为449×275的图像,算法能在1 s内给出结果,满足实时修改的要求.结论 基于超像素建立的图规模较小,能大大减少图割算法的运行时间,达到用户实时交互添加新笔画信息,交互地修正分割结果的目的.利用超像素的边界信息,用户只需输入比较简单的笔画信息,分割算法就能得到正确的多主体分割结果.     

矩阵低秩表示的目标跟踪算法

目的 目标跟踪中,遮挡、强烈光照及运动模糊等干扰对跟踪精度的影响较大,其为目标外观的观测建模精度带来一定的困难。此外,很多现有算法在观测建模中都以向量形式表示样本数据,使得样本数据原有结构及其各像素的潜在关系被有意改变,从而导致观测模型数据维度及计算复杂度的提高。方法 本文通过深入研究跟踪框架的观测建模问题,提出一种新颖的基于矩阵低秩表示的观测建模方法及其相应的似然度测度函数,使得跟踪算法能够充分挖掘样本数据的潜在特征结构,从而更加精确探测目标在遮挡或强烈光照等各种复杂干扰下的外观变化。同时,以矩阵形式表述样本信号的数据格式,使得其视觉特征的空间分布保留完好,并有效降低数据维度和计算复杂度。结果 本文跟踪算法在富有挑战性干扰因素的跟踪环境中体现出更为鲁棒的跟踪性能,能够较好地解决跟踪中遮挡或强烈光照所引起的模型退化和漂移等问题。在10个经典测试视频中,本文跟踪算法的平均中心点误差为5.29像素,平均跟踪重叠率为78%,平均跟踪成功率为98.28%,均优于其他同类算法。结论 本文以2维矩阵数据原型为载体,提出了一种新的多任务观测建模框架和最大似然度估计模型。实验数据的定性与定量分析结果表明,本文算法与一些优秀的同类算法相比,其跟踪建模精度达到相同甚至更高的水平。     

实时视觉目标跟踪与视频对象分割多任务框架

目的 针对视觉目标跟踪（video object tracking,VOT）和视频对象分割（video object segmentation,VOS）问题,研究人员提出了多个多任务处理框架,但是该类框架的精确度和鲁棒性较差。针对此问题,本文提出一个融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架。方法 文中提出的架构使用了由空洞深度可分离卷积组成的更加多尺度的空洞空间金字塔池化模块,以及具备帧间信息的帧间掩模传播模块,使得网络对多尺度目标对象分割能力更强,同时具备更好的鲁棒性。结果 本文方法在视觉目标跟踪VOT-2016和VOT-2018数据集上的期望平均重叠率（expected average overlap,EAO）分别达到了0.462和0.408,分别比SiamMask高了0.029和0.028,达到了最先进的结果,并且表现出更好的鲁棒性。在视频对象分割DAVIS（densely annotated video segmentation）-2016和DAVIS-2017数据集上也取得了有竞争力的结果。其中,在多目标对象分割DAVIS-2017数据集上,本文方法比SiamMask有更好的性能表现,区域相似度的杰卡德系数的平均值J_M和轮廓精确度的F度量的平均值F_M分别达到了56.0和59.0,并且区域和轮廓的衰变值J_D和F_D都比SiamMask中的低,分别为17.9和19.8。同时运行速度为45帧/s,达到了实时的运行速度。结论 文中提出的融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架,充分捕捉了多尺度上下文信息并且利用了视频帧间的信息,使得网络对多尺度目标对象分割能力更强的同时具备更好的鲁棒性。     

开放道路中匹配高精度地图的在线相机外参标定

目的 相机外参标定是ADAS（advanced driver-assistance systems）等应用领域的关键环节。传统的相机外参标定方法通常依赖特定场景和特定标志物,无法实时实地进行动态标定。部分结合SLAM（simultaneous localization and mapping）或VIO（visual inertia odometry）的外参标定方法依赖于点特征匹配,且精度往往不高。针对ADAS应用,本文提出了一种相机地图匹配的外参自校正方法。方法 首先通过深度学习对图像中的车道线进行检测提取,数据筛选及后处理完成后,作为优化问题的输入;其次通过最近邻域解决车道线点关联,并在像平面内定义重投影误差;最后,通过梯度下降方法迭代求解最优的相机外参矩阵,使得像平面内检测车道线与地图车道线真值重投影匹配误差最小。结果 在开放道路上的测试车辆显示,本文方法经过多次迭代后收敛至正确的外参,其旋转角精度小于0.2°,平移精度小于0.2 m,对比基于消失点或VIO的标定方法（精度为2.2°及0.3 m）,本文方法精度具备明显优势。同时,在相机外参动态改变时,所提出方法可迅速收敛至相机新外参。结论 本文方法不依赖于特定场景,支持实时迭代优化进行外参优化,有效提高了相机外参精确度,精度满足ADAS需求。     

多投影显示墙画面校正技术综述

由投影仪阵列组成的多投影显示墙是目前实现高性能、低成本大型绘制平台的首选解决方案。为了保证多投影显示墙画面的完整性,需要通过一定的方法来预补偿由于投影仪特性差异造成的画面几何扭曲与色彩不均衡。结合实际研究工作,从多投影显示墙存在的问题、几何变换矩阵求取、颜色模型估计和全局颜色校正等几个方面对多投影显示墙画面校正的研究情况进行综述, 讨论了存在的问题和进一步的发展方向。     

多投影仪无缝拼接显示中的颜色校正技术比较研究

基于多投影仪的无缝拼接显示是对图形、图像、视频等进行大范围、高分辨率显示的一种有效实现方式。多投影仪无缝拼接显示的一个关键是解决颜色失调问题,而现有的颜色失调原因的分析结果可归纳为投影仪输出颜色的变化特性和投影屏幕与投影环境的影响两个方面。近年来,为解决该问题已提出了多种颜色校正技术,而根据解决颜色失调问题的原理和实现方法的不同,这些技术可分为基于边缘融合的校正技术、基于单一投影光源的校正技术和基于颜色/亮度输出匹配的校正技术3类,并对这3类技术在无缝拼接显示效果、可维护性和可扩展性等方面的优缺点进行了较详细分析,该领域下一步的研究将会朝着兼顾不同投影机类型、不同形状和反射特性的投影屏幕和考虑运动中观察者的实时颜色校正方向发展。     

面向多投影显示墙的画面校正技术

多投影显示墙是缓解对超高分辨率显示屏幕不断增长的需求与单台显示设备分辨率有限性之间矛盾的有效手段,但目前还缺乏规范化的模式和方法以支持高精度、高可靠性的画面校正.提出一种颜色校正方案以解决上述问题.首先介绍多投影显示墙画面校正中存在的主要问题和现有的解决方法;在此基础上,给出了多投影显示墙的画面校正流程和几何校正方法;然后讨论了多投影显示墙画面校正结果的评价标准,提出了投影仪的广义颜色模型和基于搜索技术的视觉无缝方法.该方案使用数码相机实现了高精度的视觉无缝画面校正,从而提高了构造多投影显示墙的效率并降低了维护成本.校正结果在多种类型的投影墙系统中得到验证和应用,对指导多投影显示墙的搭建和维护具有较高的理论与实践价值.     

A unified paradigm for scalable multi-projector displays

We present a general framework for the modeling and optimization of scalable multi-projector displays. Based on this framework, we derive algorithms that can robustly optimize the visual quality of an arbitrary combination of projectors without manual adjustment. When the projectors are tiled, we show that our framework automatically produces blending maps that outperform state-of-the-art projector blending methods. When all the projectors are superimposed, the framework can produce high-resolution images beyond the Nyquist resolution limits of component projectors. When a combination of tiled and superimposed projectors are deployed, the same framework harnesses the best features of both tiled and superimposed multi-projector projection paradigms. The framework creates for the first time a new unified paradigm that is agnostic to a particular configuration of projectors yet robustly optimizes for the brightness, contrast, and resolution of that configuration. In addition, we demonstrate that our algorithms support high resolution video at real-time interactive frame rates achieved on commodity graphics platforms. This work allows for inexpensive, compelling, flexible, and robust large scale visualization systems to be built and deployed very efficiently.     

多投影仪拼接显示的实现

介绍了一种基于PC和普通投影仪实现多屏幕无缝拼接的方法,该方法利用一台摄像机使系统快速、准确的校正。分析了系统的结构和用到的关键技术,包括几何校正、边缘融合、颜色校正。     

一种面向VR多投影环幕设备的可视化结果显示方法

传统显示设备难以满足大规模复杂数据可视化结果显示的需求,而VR多投影环幕显示设备提供的沉浸式显示环境可以良好地应对复杂数据可视化显示的使用情景。提出一种面向VR多投影环幕设备的可视化结果显示方法,通过设计多投影环境中兼容2D与3D显示的渲染流程,解决了传统方法中出现的画面渲染模糊问题。同时,该方法通过3D运动模拟计算以及交互射线计算解决了在新渲染流程下的立体显示和交互坐标转换问题。实验结果表明,该方法有效地提高了多投影环境中可视化结果画面的清晰度,并支持立体显示与交互。     

多投影显示墙的几何校正

随着大屏幕拼接技术的日益发展,多投影显示墙的几何校正成为备受关注的研究课题．在分析多投影显示墙几何校正中关键技术的基础上,提出了一种健壮的校正图案,并通过处理数码相机拍摄的该图案信息,提出一种高精度的平面幕几何校正算法;然后根据双目视觉的立体显示原理,将上述平面幕校正方案推广到立体平面幕系统,给出一种新颖的立体平面幕几何校正方法．     

针对多投影仪显示墙画面校正的图像对准技术

针对多投影仪显示墙画面校正问题中相机与投影仪间图像对准问题,提出一种基于自适应细分网格的稀疏对应点加密方法,可以得到任意光滑屏幕上投影图像与相机图像间的像素级对应关系。该方法利用改进的自适应4点插值细分曲线思想构造细分网格方法,可以将投影仪图像与相机图像间稀疏对应点网格加密到任意精度,从而建立从相机到投影仪图像间的像素级一一映射关系,为多投影仪显示墙系统的几何和色彩校正提供精确的图像对准基础。与现有算法的对比分析和虚拟机场塔台仿真系统中的实际应用表明,该方法具有较高的图像对准精度,并且无显式的需求投影仪、投影屏幕和相机的内部参数。     

大规模立体显示墙系统的构建

从硬件选择、几何校正、边缘融合、颜色校正和软件环境等5方面系统地研究了构建大规模立体显示墙系统的关键技术.采用并行绘制技术和基于计算机视觉的自动校正,由Linux集群驱动多台普通投影仪拼接成一个统一的高分辨率、大规模的被动立体显示系统.     

GPU rendering for tiled multi-projector autostereoscopic display based on chromium

In this paper, a GPU-based high-resolution multiview rendering approach (HRMVRA) is presented and incorporated into Chromium, and then a tiled multi-projector autostereoscopic display system (TMPADS) based on HRMVRA is constructed to provide an immersing 3D perception and a compelling sense of presence without the need of glasses for viewers. HRMVRA renders the multiview images in real time in only one pass, though the traditional multiview rendering approaches based on Chromium render the multiviews in multiple passes. The hardware of the autostereoscopic display system consists of a front-projection screen that covers an area of 360×160 square centimeters, twenty four projectors and thirteen computers connected with the gigabit Ethernet. TMPADS is well scalable since both the resolution and the number of the rendered views are configurable. It is shown by the experiments that HRMVRA has more than five times performance of the traditional high-resolution multiview parallax rendering based on Chromium. Most existing single-view OpenGL applications (e.g., some games like Quake III) can run directly on TMPADS without any source-code modification or re-compiling.