单目主动摄像头真实三维重建

由于单目摄像头尺度缺失,导致鲁棒位姿估计结果不准确,为此提出单目主动摄像头真实三维重建方法.通过融合机器人的控制信息和尺寸信息,得到单目相机的位置信息,利用位置信息计算出等效基线,根据变基线等效双目策略理论获取精度更高的深度估计;采用GoDec-RANSAC算法排除样本点中的局外点,估计鲁棒位姿;通过获取的位姿,估计最后一帧图像与第一帧图像之间的相对位姿,得到全局位姿估计,完成单目主动摄像头真实三维重建.仿真实验结果表明,该方法能够准确的估计鲁棒位姿.     

基于多传感器融合的移动机器人定位算法研究

针对移动机器人在室外环境下全局位姿定位精度低、定位耗时长的问题,提出一种基于多传感器融合的机器人定位算法。首先构建移动机器人的运动模型,并选用里程计、惯性测量单元IMU和激光雷达作为移动机器人的基础传感器;然后采用自适应蒙特卡罗定位算法对传感器融合位姿进行位姿误差计算,获取移动机器人初始位姿;最后进行激光点云匹配,获取全局地图,并利用基于全局正态分布地图的NDT算法进行初始位姿修正,最终实现全局位姿校正和高精度定位。结果表明,基于多传感器融合的移动机器人定位误差控制在0.04 m范围内,定位时长均值为0.045 s,定位误差较小,定位损耗时间较少。由此说明,本定位算法可提升移动机器人的定位精度和定位效率,可实现移动机器人全局位姿快速、精确定位,提出的定位算法具备一定的有效性。     

基于单目视觉的电动公交车自动更换电池系统

目前电动公交车所用电池沉重而体积大,人工更换时存在挪动调整费力、精确定位困难等问题。针对这些问题,提出一种基于单目视觉的电动公交车自动更换电池系统。该系统使用单目摄像机获取图像,对蓄电池箱的空间位姿进行测量,再通过两级导轨和旋转机构将蓄电池调整到指定位置。位姿测量时采用基于点特征的单目视觉测量算法,提取蓄电池箱的四个角点作为特征点,根据特征点在物体坐标系下以及在CCD成像面上的坐标值,在空间投影模型的基础上求解出物体坐标系相对于摄像机坐标系的变换矩阵,从而求得蓄电池箱的空间位姿。实验证明该方法具有较高的可靠性,并且满足实际问题的精度要求。     

基于三角剖分的视觉里程计特征点匹配算法

针对单目视觉里程计的精确定位问题,提出一种专门应用于单目视觉里程计的特征点匹配方法。对FAST算法提取的特征点进行DELAUNAY三角剖分,获得特征点的位置关系。采用LK算法获得匹配点,结合位置关系判断误匹配候选点。对候选点计算SIFT描述子,根据相似程度剔除误匹配点。对获得的匹配对估计基础矩阵,结合尺度信息求取位姿。实验结果表明:该算法可提升匹配点的正确率,提高单目视觉里程计的精度。     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

基于单目视频路径移动机器人导航方法研究

以单目视觉中双视图定位为基础,提出了一种基于单目视频路径的导航方法.算法基于单目摄像机提取一组有序的关键图像,以代表视频路径,使用Harris角点算法提取图像特征点,利用零均值归一化互相关算法进行图像匹配,根据单目摄像机双视图匹配点之间的约束关系求出基础矩阵并优化,得到位姿参数,完成了移动机器人定位,使其在视频路径的指导下实现自主导航.验证表明:方法在室外环境中具有较好的实用性.     

基于改进的3维ICP匹配的单目视觉里程计

针对目前流行的单目视觉里程计当移动机器人做“近似纯旋转运动”时鲁棒性不强的问题,从理论上分析了其定位鲁棒性不高的原因,提出了一种基于改进的3维迭代最近点（ICP）匹配的单目视觉里程计算法．该算法首先初始化图像的边特征点对应的深度值,之后利用改进的3维ICP算法迭代求解2帧图像之间对应的3维坐标点集的6维位姿,最后结合边特征的几何约束关系利用扩展卡尔曼深度滤波器更新深度值．改进的ICP算法利用反深度不确定度加权、边特征梯度搜索与匹配等方法,提高了传统ICP算法迭代求解的实时性和准确性．并且将轮子里程计数据作为迭代初始值,能够进一步提高定位算法的精度和针对“近似纯旋转运动”问题的鲁棒性．本文采用3个公开数据集进行算法验证,该算法在不损失定位精度的前提下,能够有效提高针对近似纯旋转运动、大场景下的鲁棒性．单目移动机器人利用本文算法可在一定程度上校正里程计漂移的问题．     

基于深度学习SuperGlue算法的单目视觉里程计

基于特征点法的视觉里程计中,光照和视角变化会导致特征点提取不稳定,进而影响相机位姿估计精度,针对该问题,提出了一种基于深度学习SuperGlue匹配算法的单目视觉里程计建模方法.首先,通过SuperPoint检测器获取特征点,并对得到的特征点进行编码,得到包含特征点坐标和描述子的向量;然后,通过注意力GNN网络生成更具代表性的描述子,并创建M×N型得分分配矩阵,采用Sinkhorn算法求解最优得分分配矩阵,从而得到最优特征匹配;最后,根据最优特征匹配进行相机位姿恢复,采用最小化投影误差法进行相机位姿优化.实验结果表明,在无后端优化的条件下,该算法与基于ORB或SIFT算法的视觉里程计相比,不仅对视角和光线变化更鲁棒,而且其绝对轨迹误差和相对位姿误差的精度均有显著提升,进一步验证了基于深度学习的SuperGlue匹配算法在视觉SLAM中的可行性和优越性.     

农用轮式移动机器人相对位姿的求解方法

在基于单目视觉的自主导航中，由于农用轮式移动机器人相对于跟踪路径位姿的传统求解算法，往往存在忽视图像中各像素点权重不同和计算效率不理想等缺陷，因此，针对农田环境特点，在分析地面上直线路径透视成像特性的基础上，提出了一种农用轮式移动机器人相对位姿的求解方法。该方法首先建立起被跟踪路径在图像平面上的像素坐标与机器人相对位姿间的关系方程，然后结合Hough变换的思想直接求出位姿值。实验结果表明，该方法不仅可以有效地弥补传统算法的不足，而且测量精度也与当前其他类似研究的水平大致相当。     

移动机器人自适应视觉伺服镇定控制

对有单目视觉的移动机器人系统,提出了一种自适应视觉伺服镇定控制算法;在缺乏深度信息传感器并且摄像机外参数未知的情况下,该算法利用视觉反馈实现了移动机器人位置和姿态的渐近稳定.由于机器人坐标系与摄像机坐标系之间的平移外参数(手眼参数)是未知的,本文利用静态特征点的位姿变化特性,建立移动机器人在摄像机坐标系下的运动学模型.然后,利用单应矩阵分解的方法得到了可测的角度误差信号,并结合2维图像误差信号,通过一组坐标变换,得到了系统的开环误差方程.在此基础之上,基于Lyapunov稳定性理论设计了一种自适应镇定控制算法.理论分析、仿真与实验结果均证明了本文所设计的单目视觉控制器在摄像机外参数未知的情况下,可以使移动机器人渐近稳定到期望的位姿.     

Context-aware obstacle detection for navigation by visually impaired

This paper presents a context-aware smartphone-based based visual obstacle detection approach to aid visually impaired people in navigating indoor environments. The approach is based on processing two consecutive frames (images), computing optical flow, and tracking certain points to detect obstacles. The frame rate of the video stream is determined using a context-aware data fusion technique for the sensors on smartphones. Through an efficient and novel algorithm, a point dataset on each consecutive frames is designed and evaluated to check whether the points belong to an obstacle. In addition to determining the points based on the texture in each frame, our algorithm also considers the heading of user movement to find critical areas on the image plane. We validated the algorithm through experiments by comparing it against two comparable algorithms. The experiments were conducted in different indoor settings and the results based on precision, recall, accuracy, and f-measure were compared and analyzed. The results show that, in comparison to the other two widely used algorithms for this process, our algorithm is more precise. We also considered time-to-contact parameter for clustering the points and presented the improvement of the performance of clustering by using this parameter.     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

同源视频Copy-Move篡改检测及恢复

针对同源视频序列的copy-move篡改方式, 提出一种通过度量图像内容间的相关性, 来实现对视频序列的copy-move篡改检测并恢复的方法. 首先将视频帧内容转化为一系列连续的图像帧, 对图像分块, 提取每帧图像的8个特征矢量, 再利用欧氏距离计算帧间相关性, 并通过添加偏差矩阵构造动态偏差阈值, 检测出copy-move篡改序列且精确至帧, 从而实现对视频序列的篡改检测与恢复. 实验表明, 该算法对同源视频序列的copy-move篡改检测及恢复能够取得理想的效果.     

A heuristic search-based motion correspondence algorithm using fuzzy clustering

Motion correspondence problem between many feature points of consecutive frames is computationally explosive. We present a heuristic algorithm for finding out the most probable motion correspondence of points in consecutive frames, based on fuzzy confidence degrees. The proposed algorithm consists of three stages: (i) reduction of the search space for candidate points of association, (ii) pairwise association cost estimation and (iii) complete association of every feature point between the consecutive frames. In the first stage, all the points in a frame, frame t-1 are grouped into several groups by using fuzzy clustering. This is done with a Euclidean distance as a similarity measure between the points. The points in the following frame, frame t are also clustered into the same number of groups with respect to the cluster centers of the previous frame. The association between the points of the consecutive frames is allowed only for the points that belong to the same group in each frame. In the second stage, the cost of each association of a point in frame t-1 with a point in frame t is estimated by using motion constraints that are based on the velocity vector and the orientation angle of each point. The cost is measured as a fuzzy confidence degree of each head point, i.e., a point in frame t-1, belonging to each measurement, i.e., a point in frame t. In the final stage, we search for the most likely associations among all the possible mappings between the feature points in the consecutive frames. A search tree is constructed in such a way that an ith level node represents an association of ith node in frame t-1 with a node in frame t. We devise a heuristic function of an admissible A* algorithm by using the pairwise association cost developed in the second stage. Experimental results show an accuracy of more than 98%.     

基于特征跟踪和网格路径运动的视频稳像算法

针对手持移动设备拍摄的抖动视频问题,提出了一种基于特征跟踪和网格路径运动的视频稳像算法。通过SIFT算法提取视频帧的特征点,采用KLT算法追踪特征点,利用RANSAC算法估计相邻帧间的仿射变换矩阵,将视频帧划分为均匀的网格,计算视频的运动轨迹,再通过极小化能量函数优化平滑多条网格路径。最后由原相机路径与平滑相机路径的关系,计算相邻帧间的补偿矩阵,利用补偿矩阵对每一帧进行几何变换,从而得到稳定的视频。实验表明,该算法在手持移动设备拍摄的抖动视频中有较好的结果,其中稳像后视频的PSNR平均值相比原抖动视频PSNR值大约提升了11.2 dB。与捆绑相机路径方法相比约提升了2.3 dB。图像间的结构相似性SSIM平均值大约提升了59%,与捆绑相机路径方法相比约提升了3.3%。     

基于混合粒子滤波的目标跟踪

为了克服多目标跟踪中估计效果对初始样本选择的强依赖性,首先通过Harris角点检测和KLT算法实现对图像序列中的特征提取和匹配,然后利用Mean-shift算法对匹配的特征点进行聚类和定位,将Mean-shift算法与粒子滤波器相结合,提出了基于Mean-shift算法的混合粒子滤波器,给出了具体算法流程,并就实际图像序列的动态多目标跟踪进行了实验,实验结果证明了该方法的有效性。     

An Iterative Pose Estimation Algorithm Based on Epipolar Geometry With Application to Multi-Target Tracking

This paper introduces a new algorithm for estimating the relative pose of a moving camera using consecutive frames of a video sequence. State-of-the-art algorithms for calculating the relative pose between two images use matching features to estimate the essential matrix. The essential matrix is then decomposed into the relative rotation and normalized translation between frames. To be robust to noise and feature match outliers, these methods generate a large number of essential matrix hypotheses from randomly selected minimal subsets of feature pairs, and then score these hypotheses on all feature pairs. Alternatively, the algorithm introduced in this paper calculates relative pose hypotheses by directly optimizing the rotation and normalized translation between frames, rather than calculating the essential matrix and then performing the decomposition. The resulting algorithm improves computation time by an order of magnitude. If an inertial measurement unit (IMU) is available, it is used to seed the optimizer, and in addition, we reuse the best hypothesis at each iteration to seed the optimizer thereby reducing the number of relative pose hypotheses that must be generated and scored. These advantages greatly speed up performance and enable the algorithm to run in real-time on low cost embedded hardware. We show application of our algorithm to visual multi-target tracking (MTT) in the presence of parallax and demonstrate its real-time performance on a 640 × 480 video sequence captured on a UAV. Video results are available at https://youtu.be/HhK-p2hXNnU.       

摄像机图像序列的全景图拼接

全景图是虚拟现实和计算机视觉中一种重要的场景表示方法 .通常获得高质量的全景图需要使用昂贵的专用设备 ,而且拍摄时需要精确地校准摄像机 .从普通摄像机图像拼接是获得全景图的一种低成本而且比较灵活的方法 .文中提出一种新的摄像机图像拼接算法 ,利用摄像机绕垂直轴旋转 36 0°依次拍摄的照片序列 ,拼接圆柱面全景图 .该算法不要求校准摄像机 ,对相邻帧之间摄像机的转角也没有严格的限制 ,而且不受帧间光照强度剧烈变化的影响 .从实验结果看 ,该算法获得了理想的拼接效果