视觉约束下无人机位姿参数的后验估计

针对无人机相对机场跑道的位姿估计问题,提出一种利用机场跑道图像和机载位姿测量传感器进行参数后验估计的方法.首先利用高度表、全球定位系统、惯性导航系统等机载传感器测量无人机的位姿参数.假设各参数的测量误差的先验分布已知且彼此独立,将某时刻的一组测量值看作是对真实值的一次采样.与此同时利用机载已标定相机拍摄跑道的图像,并假设两条跑道边缘直线可从图像中准确提取.受两平行直线透视成像的约束,真实参数必然位于参数空间中某个约束曲面上,进而计算得到位姿参数的后验均值估计.仿真结果验证了该方法的有效性.     

基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

增强现实环境下复杂板材的三维位姿跟踪方法

针对增强现实(AR)技术在实际工业生产场景应用中遇到的实时目标监测、复杂场景识别等问题,提出基于线特征求解板材三维位姿变化量的目标位姿跟踪方法,在单目摄像头环境下即可实现复杂表面板材的位姿监测与拟合。在利用头顶摄像头检测工件状态后,首先将当前帧图像进行降采样,再在HSV空间对进行图像预处理,并利用形态学梯度和改进的直线分割检测(LSD)直线算法提取边缘直线,然后结合模板图像的边缘直线以及利用多项式回归拟合关系曲线的方法求解出天线板的位姿变化量。实验结果表明:所提的基于改进的LSD算法提取线特征位姿监测方法相比基于ORB特征点和纹理特征位姿跟踪方法具有求解速度快、鲁棒性好等优点。     

面向半稠密三维重建的改进单目ORB-SLAM

构建更详细的地图以及估计更精准的相机位姿一直都是同时定位与地图构建（Simultaneous Localization And Mapping,SLAM）技术所追求的目标,但是以上目标与实时性要求、较低的计算代价和受限的计算资源条件是相矛盾的。提出一种在单目ORB-SLAM（Oriented FAST and Rotated BRIEF-SLAM）方法的基础上利用关键帧中提取到的直线特征进行半稠密三维重建的方法。由ORB-SLAM实时提供一组关键帧及其对应的相机位姿信息和一系列地图点,提出一种关键帧再剔除算法进一步减少冗余帧数目,使用直线段提取方法提取各帧中的直线段,使用纯几何约束方法对以上检测得到的直线段进行匹配,生成一个由直线段构成的半稠密三维场景模型。实验结果表明新方法持续稳定的运行,能在低计算代价条件下快速地在线三维重建。     

基于三条相互垂直直线的单目位姿估计

基于单目视觉的位姿估计是计算机视觉中的典型问题之一。文中利用目标物体上的三条相互垂直的直线特征和相机像平面上这些特征的对应获得已标定相机相对于目标物体的位姿参数,给出其闭式求解方法,并证明问题解的数量与相机光心和三条直线的相对位置有关。当光心位于两个特殊平面以外时存在唯一解,反之若在该两个平面之间则存在两个解,并且这两个解具有对称性,该性质可作为合理解的判别依据。由于三条相互垂直的直线是长方体的三条边缘,而长方体在现实世界中广泛存在,该结论为应用直线特征进行单目视觉位姿估计及合作目标设计提供理论依据。     

基于前景杆塔识别的电力巡检精准自动复拍方法

针对巡检无人机(UAV)的位姿误差导致复拍目标零件不精准的问题,提出一种基于前景杆塔识别的精准复拍方法.首先,使用直线分割检测(LSD)方法在标准图像中提取直线,利用杆塔的线交叉结构对图像块内直线方向及长度进行统计,保证能够在低假阳率条件下,筛选出图像中的杆塔区域,并在其中提取加速鲁棒特征(SURF)作为该巡检点处的标准几何特征;然后提取当前图像中的几何特征与巡检点处标准特征进行匹配,使用聚类方法找到当前图像中的杆塔位置相对于标准图片中的二维偏移;最后通过几何分析计算并调整云台角度,使得杆塔位于图像中正确位置.实验结果表明,所提方法可以在无人机的位置和相机姿态出现较大偏差的情况下实现精准调整.     

基于机器视觉的工件尺寸和角度的测量

针对一款手机U盘芯片的二维尺寸的测量问题,提出运用图像处理的方法,实现手机U盘芯片长度和偏角的非接触式测量;通过COMS工业相机采集到U盘芯片的背光图像,在边缘检测的基础上,用Hough变换检测和定位U盘芯片边缘直线;针对在一条边上Hough变换对应检测到多条直线的情况,提出采用直线参数平均法拟合边缘直线,从而获得较精准的边缘位置;通过对已知尺寸的标准块进行相机标定,由此计算出精确的U盘芯片的尺寸和倾斜角度;实验表明:该算法能够满足工程上较高精度的检测要求。     

一种基于TOF相机与CCD相机的联合标定算法研究

针对基于Time-of-Flight(TOF)相机的彩色目标三维重建需标定CCD相机与TOF相机联合系统的几何参数,在研究现有的基于彩色图像和TOF深度图像标定算法的基础上,提出了一种基于平面棋盘模板的标定方法。拍摄了固定在平面标定模板上的彩色棋盘图案在不同角度下的彩色图像和振幅图像,改进了Harris角点提取,根据棋盘格上角点与虚拟像点的共轭关系,建立了相机标定系统模型,利用Levenberg-Marquardt算法求解,进行了标定实验。获取了TOF与CCD相机内参数,并利用像平面之间的位姿关系估计两相机坐标系的相对姿态,最后进行联合优化,获取了相机之间的旋转矩阵与平移向量。实验结果表明,提出的算法优化了求解过程,提高了标定效率,能够获得较高的精度。     

紧耦合的移动端实时位姿优化方法

位姿估计一直是三维重建领域的关键性问题.为保证移动端有限计算资源下的实时性并提高轨迹计算的准确性,提出一种紧耦合的移动端实时位姿优化方法.首先,获取图像信息与运动传感器信息进行特征提取、预积分等预处理;然后根据对极几何约束,计算重投影误差与惯性传感器误差;最后采用加权误差联合优化计算位姿轨迹.紧耦合策略可以有效利用图像信息与惯性运动信息对位姿约束的一致性.在公开数据集EuRoC上的实验表明,与已有视觉惯性位姿估计方法相比,文中方法在保证移动端实时性的同时,重建相机轨迹误差更小.     

基于线特征的单张相片的相机检校方法探讨

着重探讨一种基于线特征及其几何约束的相机检校方法。这种方法首先利用平行线来检测相机的内方位元素和旋转矩阵参数（外方位角元素）,然后根据一已知像点和对应物点坐标及一已知长度的地面直线来解求变换矩阵参数（相机在物方坐标系中的坐标）。其优点为在不知道直线方程和控制点的情况下得到内方位元素和旋转矩阵参数。     

改进YOLO V2的6D目标姿态估计算法

针对目标的三维姿态估计,结合基于深度学习的目标检测模型,提出一种基于改进YOLO V2的6D目标姿态估计算法。通过卷积神经网络提取一幅RGB图像中目标的特征信息;在2D检测的基础上将目标的位置信息映射到三维空间;利用点到点的映射关系在三维空间匹配并计算目标的自由度,进而估计目标的6D姿态。该算法不仅能检测单幅RGB图像中的目标,还可以预测目标的6D姿态,同时不需要额外的后处理过程。实验表明,该算法在LineMod和Occlusion LineMod数据集上的性能优于最近提出的其他基于CNN的方法,在Titan X GPU上的运行速度是37?frame/s,适合实时处理。     

基于线段融合的空间非合作目标稳健特征提取算法

相对位姿测量是空间非合作目标态势感知的主要内容,在位姿测量中,需要先对目标图像进行特征提取,而特征提取的精度和鲁棒性直接影响位姿测量性能。为了提高空间非合作目标特征提取的鲁棒性,本文给出一种基于线段融合的特征提取算法。该算法首先采用基于梯度的滤波器来消除空间目标图像的背景干扰,然后采用LSD直线检测算法、Hough Lines直线检测算法和Shi-Tomasi角点检测算法提取三组特征点,再用K-D空间划分树以及K最近邻搜索算法融合这三组特征点,保留包含显著特征的较少数量特征点,进一步组合成线段结构,并对线段进行融合,以此来提取反映目标整体几何框架的信息,从而提升稳健性。仿真实验和半物理仿真实验测试结果表明,本文提出的基于线段融合的特征提取方法在空间目标特征提取中具有更好的稳健性。     

A study on the dual vanishing point property

Vanishing points and vanishing lines are useful information in computer vision. In this study, an interesting dual property of vanishing point is first introduced. Next, we point out that there also exists a dual property of vanishing line. With the dual vanishing point and vanishing line properties, some 3D intersection inference can be made based on their image lines. Two applications are given to illustrate the usage of the new results. The first one is to derive the 3D pose determination of a circle using two parallel image lines. The second one uses six specially designed 3D lines to adjust the cameras with respect to a fixture in a binocular vision system such that the resultant camera coordinate axes become parallel.     

基于对偶数的透视N线姿态估计

由空间几何信息（如点、线）与其图像元素间的对应关系来确定摄像机的外参数（位置和方向）,即姿态估计问题,是计算机视觉、摄影测量学等的主要研究问题之一。在针孔摄像机模型下,利用对偶数这一数学工具把基于点的姿态估计算法推广到基于线的姿态估计算法,使得点、线姿态估计算法得到了统一。与已有的基于线的姿态估计算法区别在于,并未利用空间线或图像线上孤立的点的信息,而是线的整体信息,这就避免了点对应问题以及由此带来的误差等问题。大量的模拟实验和真实实验验证了方法的可行性和有效性。     

基于单幅折反射全向图的水平直线3维重建

与传统的利用立体视觉原理进行3维重建不同,在研究基于单幅全向图像重建空间水平直线问题的基础上,首先指出基于直线在全向图中的两个像点即可重建该水平直线,然后通过分析和推导空间水平直线在全向成像系统中的成像特点,有效简化了全向图中的水平直线检测;针对现有“四点定位”方法的不足,提出了一种基于“主像点/非主像点”的水平直线重建算法,并详细分析了像点提取精度对直线重建结果的影响。实验表明,在不同的像点提取精度下,对于不同空间水平直线,该重建算法均能取得较好结果。     

Real-time 6D pose estimation from a single RGB image

We propose an end-to-end deep learning architecture for simultaneously detecting objects and recovering 6D poses in an RGB image. Concretely, we extend the 2D detection pipeline with a pose estimation module to indirectly regress the image coordinates of the object's 3D vertices based on 2D detection results. Then the object's 6D pose can be estimated using a Perspective-n-Point algorithm without any post-refinements. Moreover, we elaborately design a backbone structure to maintain spatial resolution of low level features for pose estimation task. Compared with state-of-the-art RGB based pose estimation methods, our approach achieves competitive or superior performance on two benchmark datasets at an inference speed of 25 fps on a GTX 1080Ti GPU, which is capable of real-time processing.     

3D model based tracking for omnidirectional vision: A new spherical approach

The current work addresses the problem of 3D model tracking in the context of monocular and stereo omnidirectional vision in order to estimate the camera pose. To this end, we track 3D objects modeled by line segments because the straight line feature is often used to model the environment. Indeed, we are interested in mobile robot navigation using omnidirectional vision in structured environments. In the case of omnidirectional vision, 3D straight lines are projected as conics in omnidirectional images. Under certain conditions, these conics may have singularities.In this paper, we present two contributions. We, first, propose a new spherical formulation of the pose estimation withdrawing singularities, using an object model composed of lines. The theoretical formulation and the validation on synthetic images thus show that the new formulation clearly outperforms the former image plane one. The second contribution is the extension of the spherical representation to the stereovision case. We consider in the paper a sensor which combines a camera and four mirrors. Results in various situations show the robustness to illumination changes and local mistracking. As a final result, the proposed new stereo spherical formulation allows us to localize online a robot indoor and outdoor whereas the classical formulation fails.     

基于水动力学、分数阶微分及Steger算法的线状目标提取

目的 线状目标的检测具有非常广泛的应用领域,如车道线、道路及裂缝的检测等,而裂缝是其中最难检测的线状目标。为避免直接提取线状目标时图像分割难的问题,以裂缝和车道线为例,提出了一种新的跟踪线状目标中线的算法。方法 对图像进行高斯平滑,用一种新的分数阶微分模板增强图像中的模糊及微细线状目标;基于Steger算法提出一种提取线状目标中心线特征点的算法,避免了提取整体目标的困难;根据水动力学思想将裂隙看成溪流,通过最大熵阈值处理后,先进行特征点的连接,再基于线段之间的距离及夹角进行线段之间的连接（溪流之间的融合）。结果 对300幅裂缝图像及4种类别的其他线状目标图像进行试验,并与距离变换、最大熵阈值法+细线化Otsu阈值分割+细线化、谷底边界检测等类似算法进行比较分析,本文算法检测出的线状目标的连续性好、漏检（大间隙少）和误检（毛刺及多余线段少）率均较低。结论 本文算法能够在复杂的线状目标图像中准确快速地提取目标的中心线,一定程度上改善了复杂线状目标图像分割难的问题。     

A 2-point algorithm for 3D reconstruction of horizontal lines from a single omni-directional image

Reconstruction of 3D scenes with abundant straight line features has many applications in computer vision and robot navigation. Most approaches to this problem involve stereo techniques, in which a solution to the correspondence problem between at least two different images is required. In contrast, 3D reconstruction of straight horizontal lines from a single 2D omni-directional image is studied in this paper. The authors show that, for symmetric non-central catadioptric systems, a 3D horizontal line can be estimated using only two points extracted from a single image of the line. One of the two points is the symmetry point of the image curve of horizontal line, and the other is a generic point on the image curve. This paper improves on several prior works, including horizontal line detection in omni-directional image and line reconstruction from four viewing rays, but is simpler than those methods while being more robust. We evaluate how the precision of feature point extraction can affect line reconstruction accuracy, and discuss preliminary experimental results.     

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。