结合光流和人工势场的风管机器人避障方法

风管清扫机器人是一种用来清扫中央空调通风管道内壁的机械手,工作环境恶劣、管道空间障碍复杂。风管清扫机器人的无碰撞运动对于实现其3D非重复接触和高速旋转刷的最优遍历清洗至关重要。以光流密度作为使用避障的光源,结合光流和人工势场法,以光流法进行障碍物检测,人工势场法进行避障规划,提出一种局部路径规划的障碍物检测及避障方法。实验结果表明,斥力势场矢量指向避开障碍物的方向,而且势场主要受障碍物的光流的影响,并由最近的障碍物来确定。通过与平衡策略方法对比,也验证了此方法的有效性。     

基于全景鸟瞰视图的障碍物检测方法研究

目前,车载环视系统的障碍物检测大多采用基于特征的方法,主要针对车辆和行人等特定障碍物,不能完全消除障碍物对车辆行驶安全的威胁。采取基于运动的方法检测所有高于地面的障碍物。建立了平坦路面上的车辆运动模型,使用逆投影变换,推导出车辆运动参数、障碍物点高度和对应像素光流的关系。根据车载环视系统中相邻摄像头生成的俯视图存在重叠区域、重叠区域的障碍物特征点存在两个不同的光流矢量的特点,快速筛选出相交区域中的障碍点,并加速最优车辆运动参数的求取。最后使用运动参数生成运动补偿图像,检测图像中的所有障碍物点。实际道路测试证明,提出的算法在常规的路面环境下,能有效地标记出行驶过程中高于地面的所有障碍物。     

基于光流传感器的旋翼无人机实时避障系统

光流的研究是计算机视觉及相关研究领域中的一个重要部分。光流在目标对象分割、跟踪、机器人导航、识别等领域有着非常重要的应用。由于旋翼无人机在民用领域的迅猛发展,使得人们对无人机行业提出了更高的要求。针对多旋翼无人机的避障问题,使用光流传感器与改进的势场法相结合的方法,实现了对飞行器的障碍物检测以及局部路径规划。光流传感器采用SAD块匹配法减小了图像计算的运算量,采集到的光流值与IMU数据进行卡尔曼滤波,可以估算出高效且有较强鲁棒性的因无人机平动产生的光流。大量实验表明,避障策略运算量较小,可以保证避障系统的实时性,在距障碍物5 m左右可以迅速规避障碍物。     

基于三参数模型的快速全局运动估计

提出了一种新的全局运动估计方法——基于三参数模型的快速全局运动估计.新的参数模型在保证准确性的同时,使用更少的参数来描述和估计全局运动,从而简化了计算复杂度.此外,对光流场计算做出了两方面改进：（1）提出了宏块预判的方法,计算光流场前对宏块的梯度信息进行预分析,通过减少参与计算的宏块数目提高光流场的计算速度;（2）提出了快速估计宏块运动向量的方法,在块匹配的过程中同时考虑图像的梯度和灰度信息,通过引入更多的约束提高运动向量的计算速度.实验证明了该方法的有效性.     

小位移光流计算的对偶方法

基于光流计算的通用变分模型,建立小位移光流场计算的对偶方法。变分能量泛函中的数据项使用稳健估计的L1范数,规则项采用边缘保持的总变差项。采用对偶变量表示总变差项,克服基于传统总变差计算须引入小规则参数的问题,并得到较好的实验结果。该方法可应用到大位移光流计算和光流计算的高阶模型中。     

深度光流估计方法研究进展

结合深度学习模型实现光流端到端的计算是当前计算机视觉领域的一个研究热点.文中对基于深度学习的光流估计方法进行总结和梳理.首先,介绍了光流的起源与定义;其次,总结了现有的数据集合和评价指标;最重要的是,着重从3个方面回顾了深度光流估计方法,包括有监督的深度光流估计方法、无监督的深度光流估计方法以及对现有光流估计方法的性能...     

基于局部–全局建模与视觉相似引导的光流估计方法

光流估计是计算机视觉的核心任务.近年来,基于卷积神经网络的光流估计方法已取得很大成功,然而由于现有模型的卷积感受野有限,难以建模远距离的依赖关系,导致在大位移和局部歧义性区域的光流估计效果较差.此外,现有方法在光流上采样过程采用的插值操作会导致误差的传播放大,进而引起光流估计的运动边缘模糊等问题.针对以上问题,本文提出了一种基于局部–全局建模与视觉相似引导上采样的光流估计方法.首先,引入一个高效且简单的自注意力机制加强光流计算网络的局部和全局建模能力.通过提取更具有表达力的图像特征,降低因大位移和局部歧义性导致的光流估计误差问题.其次,基于物体视觉特征越相似,运动也越相似的假设,构建视觉相似引导的光流上采样网络模型.将特征的视觉相似性转化为运动的相似性进而指导光流上采样过程,提高了运动边界区域光流估计的精度.最后,分别采用MPI-Sintel和KITTI数据库测试图像集对本文方法和最先进的深度学习光流计算方法进行综合对比分析.实验结果表明,本文方法在所有对比方法中取得了最优的光流计算结果,尤其在大位移和运动边界区域显著提升了光流计算的精度.     

基于语义分割的复杂驾驶场景障碍物检测

目前经典的语义分割方法无法准确的检测出交通场景中是否存在障碍物的情况,为了克服自动驾驶系统中对障碍物检测的难点,提出了一个用于像素级障碍物检测的框架。提出的算法流程如下：首先使用分割网络对输入图像进行分割,得到一个语义分割结果图和两个不确定性图;其次使用合成网络对预测的语义图进行处理,利用不确定性图来改进再合成方法,生成较为逼真的图像;最后通过比较输入图像和生成图像的特征来计算感知差异,将输入图像和重合成图像输入到相异模块进行障碍物预测。实验结果表明,文中算法在Cityscapes数据集上对所提出的像素级障碍物检测框架进行了测试和评估,与其它经典方法相比,取得了更好的障碍物检测效果。     

基于激光测距仪的障碍物检测的仿真研究

为了进行准确和有效的导航,提出了利用机器人的车载激光测距仪来检测环境中的障碍物.利用激光测距仪对机器人的局部环境建立栅格地图,在该模型下对障碍物进行检测.针对连续变化时刻(t-1)和(t)下的两帧“图像”,在极坐标系中进行障碍物分割,根据分割结果建立障碍物链Object_ List (t-1)和Object_ List (t),计算出各特征参数,并作进一步的匹配和分类分析.如果存在动态障碍物,估计出相应的运动参数,更新得到t时刻的动态障碍物集Dob (N).为了验证算法的有效性,利用visual C++进行仿真,仿真实验结果表明,该方法进行环境中的动静态障碍物的检测是可行的和有效的.     

隐特征监督的孪生网络弱光光流估计

目的 弱光照条件下成像存在信噪比低、运动模糊等问题,这对光流估计带来了极大挑战。与现有“先增强—再估计”的光流估计方法不同,为了避免在弱光图像增强阶段损失场景的运动信息,提出一种隐特征监督的弱光光流估计孪生网络学习方法。方法 首先,该方法采用权重共享的孪生网络提取可映射的弱光光流和正常光照光流特征;进而,计算弱光邻帧图像的K近邻相关性卷表,以解决计算4D全对相关性卷表的高时空复杂度问题;在全局运动聚合模块中引入针对二维运动特征的注意力机制,以降低弱光条件下强噪声、运动模糊及低对比度对光流估计的不利影响。最后,提出隐特征监督的光流估计模块,采用正常光照光流特征监督弱光照光流特征的学习,实现高精度的光流估计。结果 与3种最新光流估计方法的对比实验表明,在正常光照条件下,本文方法取得了与现有最佳光流估计方法相近的性能。在FCDN(flying chairs dark noise)数据集上,本文方法光流估计性能最优,相较于次优方法端点误差精度提升了0.16;在多亮度光流估计（various brightness optical flow,VBOF）数据集上,本文方法端点误差精度提升了0.08。...     

New Visual Invariants for Terrain Navigation Without 3D Reconstruction

For autonomous vehicles to achieve terrain navigation, obstacles must be discriminated from terrain before any path planning and obstacle avoidance activity is undertaken. In this paper, a novel approach to obstacle detection has been developed. The method finds obstacles in the 2D image space, as opposed to 3D reconstructed space, using optical flow. Our method assumes that both nonobstacle terrain regions, as well as regions with obstacles, will be visible in the imagery. Therefore, our goal is to discriminate between terrain regions with obstacles and terrain regions without obstacles. Our method uses new visual linear invariants based on optical flow. Employing the linear invariance property, obstacles can be directly detected by using reference flow lines obtained from measured optical flow. The main features of this approach are: (1) 2D visual information (i.e., optical flow) is directly used to detect obstacles; no range, 3D motion, or 3D scene geometry is recovered; (2) knowledge about the camera-to-ground coordinate transformation is not required; (3) knowledge about vehicle (or camera) motion is not required; (4) the method is valid for the vehicle (or camera) undergoing general six-degree-of-freedom motion; (5) the error sources involved are reduced to a minimum, because the only information required is one component of optical flow. Numerous experiments using both synthetic and real image data are presented. Our methods are demonstrated in both ground and air vehicle scenarios.     

Non Uniform Multiresolution Method for Optical Flow and Phase Portrait Models: Environmental Applications

In this paper we define a complete framework for processing large image sequences for a global monitoring of short range oceanographic and atmospheric processes. This framework is based on the use of a non quadratic regularization technique for optical flow computation that preserves flow discontinuities. We also show that using an appropriate tessellation of the image according to an estimate of the motion field can improve optical flow accuracy and yields more reliable flows. This method defines a non uniform multiresolution approach for coarse to fine grid generation. It allows to locally increase the resolution of the grid according to the studied problem. Each added node refines the grid in a region of interest and increases the numerical accuracy of the solution in this region. We make use of such a method for solving the optical flow equation with a non quadratic regularization scheme allowing the computation of optical flow field while preserving its discontinuities. The second part of the paper deals with the interpretation of the obtained displacement field. For this purpose a phase portrait model used along with a new formulation of the approximation of an oriented flow field allowing to consider arbitrary polynomial phase portrait models for characterizing salient flow features. This new framework is used for processing oceanographic and atmospheric image sequences and presents an alternative to complex physical modeling techniques.     

基于运动优化语义分割的变分光流计算方法

针对光照变化和大位移运动等复杂场景下图像序列变分光流计算的边缘模糊与过度分割问题,文中提出基于运动优化语义分割的变分光流计算方法.首先,根据图像局部区域的去均值归一化匹配模型,构建变分光流计算能量泛函.然后,利用去均值归一化互相关光流估计结果,获取图像运动边界信息,优化语义分割,设计运动约束语义分割的变分光流计算模型.最后,融合图像不同标签区域光流,获得光流计算结果.在Middlebury、UCF101数据库上的实验表明,文中方法的光流估计精度与鲁棒性较高,尤其对光照变化、弱纹理和大位移运动等复杂场景的边缘保护效果较优.     

基于深度匹配的由稀疏到稠密大位移运动光流估计

针对非刚性大位移运动场景的光流计算准确性与鲁棒性问题,提出一种基于深度匹配的由稀疏到稠密大位移运动光流估计方法.首先利用深度匹配模型计算图像序列相邻帧的初始稀疏运动场;其次采用网格化邻域支持优化模型筛选具有较高置信度的图像网格和匹配像素点,获得鲁棒的稀疏运动场;然后对稀疏运动场进行边缘保护稠密插值,并设计全局能量泛函优化求解稠密光流场.最后分别利用MPI-Sintel和KITTI数据库提供的测试图像集对本文方法和Classic+NL,DeepFlow, EpicFlow以及FlowNetS等变分模型、匹配策略和深度学习光流计算方法进行综合对比与分析,实验结果表明本文方法相对于其他方法具有更高的光流计算精度,尤其在非刚性大位移和运动遮挡区域具有更好的鲁棒性与可靠性.     

一种基于光流场重建三维运动和结构的新方法

提出了一种基于稀疏光流场计算三维运动和结构的线性新方法 ,该方法综合视觉运动分析中的两类处理方法 ,选取图象中的角点作为特征点 ;并检测和跟踪图象序列中的角点 .记录检测到的角点在图象序列中的位移 ,在理论上证明了时变图象的光流场可以近似地用角点的位移场代替 ,从而得到时变图象的稀疏光流场 ;通过光流运动模型的建立 ,推导出由稀疏光流场重建三维物体运动和结构的线性方法 .通过用真实图象序列验证该算法 ,表明该算法取得了较好的效果     

基于深度卷积特征光流的形变医学图像配准算法

光流法是一种基于光流场模型的重要而有效的形变配准算法。针对现有光流法所用特征质量不高使得配准结果不够准确的问题，将深度卷积神经网络特征和光流法相结合，提出了基于深度卷积特征光流（DCFOF）的形变医学图像配准算法。首先利用深度卷积神经网络稠密地提取图像中每个像素所在图像块的深度卷积特征，然后基于固定图像和浮动图像间的深度卷积特征差异求解光流场。通过提取图像的更为精确和鲁棒的深度学习特征，使求得的光流场更接近真实形变场，提升了配准精度。实验结果表明，所提算法能够更有效地解决形变医学图像配准问题，其配准精度优于Demons算法、尺度不变特征变换(SIFT) Flow算法以及医学图像专业配准软件Elastix。     

Preserving global features of fluid animation from a single image using video examples

We synthesize animations from a single image by transferring fluid motion of a video example globally.Given a target image of a fluid scene,an alpha matte is required to extract the fluid region.Our method needs to adjust a user-specified video example for producing the fluid motion suitable for the extracted fluid region.Employing the fluid video database,the flow field of the target image is obtained by warping the optical flow of a video frame that has a visually similar scene to the target image according to their scene correspondences,which assigns fluid orientation and speed automatically.Results show that our method is successful in preserving large fluid features in the synthesized animations.In comparison to existing approaches,it is both possible and useful to utilize our method to create flow animations with higher quality.     

一种基于光流场的医学图像配准方法

提出了一种基于光流场的医学图像弹性配准方法。方法先对图像进行小波分解,从最低分辨率的近似图像开始,采用光流场的方法进行逐级配准,再对配准的各分量进行重构,直至得到最高分辨率的配准图像。实验表明,这种方法对于具有较小形变的医学图像的配准是有效的。     

Optical flow 3D segmentation and interpretation: a variational method with active curve evolution and level sets

This study investigates a variational, active curve evolution method for dense three-dimensional (3D) segmentation and interpretation of optical flow in an image sequence of a scene containing moving rigid objects viewed by a possibly moving camera. This method jointly performs 3D motion segmentation, 3D interpretation (recovery of 3D structure and motion), and optical flow estimation. The objective functional contains two data terms for each segmentation region, one based on the motion-only equation which relates the essential parameters of 3D rigid body motion to optical flow, and the other on the Horn and Schunck optical flow constraint. It also contains two regularization terms for each region, one for optical flow, the other for the region boundary. The necessary conditions for a minimum of the functional result in concurrent 3D-motion segmentation, by active curve evolution via level sets, and linear estimation of each region essential parameters and optical flow. Subsequently, the screw of 3D motion and regularized relative depth are recovered analytically for each region from the estimated essential parameters and optical flow. Examples are provided which verify the method and its implementation