实时鲁棒的特征点匹配算法

目的 针对传统的图像特征点匹配算法数据量大,计算耗时长的特点,提出一种实时鲁棒的特征点匹配算法（RRM）。方法 通过微分操作确定图像的边缘区域,找出边缘区域中很有可能成为特征点的锚点,即梯度局部最大的点。对于每个检测出来的特征点,通过计算Intensity Centroid来确定特征点的方向,并且使用改进的Brief来对特征点进行描述,使之具有旋转不变性。最后,结合Hamming距离和对称匹配检验对特征点进行匹配。结果 本文算法与多种算法进行对比,在光照发生变化的情况下,RRM表现出明显的优越性和稳定性,正确匹配率达到83%左右,而其他算法的准确匹配率随着光照的变暗明显下降;在视角、尺度和旋转变化条件下,RRM也具有较高的准确匹配率。结论 实验结果表明,RRM在保证匹配精度的前提下,有效地解决了传统特征点匹配方法中的缺点。因此,本文算法能更好地应用于图像拼接、目标跟踪和对象识别等领域。     

快速定位图像尺度和区域的3维跟踪算法

目的 传统的2维自然图像的增强现实算法,对模板图像的各个尺度下的整个图像提取特征点并保存到特征点数组中,跟踪阶段对模板图像提取出的所有特征点进行匹配,造成了大量的无效运算,降低了特征匹配的效率.为了解决这个问题,将模板各个尺度的图像进行区域划分,提出了一种快速定位图像尺度和区域的算法,缩小特征匹配的范围,加快3维跟踪的速度.方法 预处理阶段,通过对图像金字塔每一尺度图像分成小区域,对模板图像上的特征点进行分层次分区域的管理.在系统实时跟踪阶段,通过计算几何算法快速确定当前摄像机图像所对应的尺度和区域,从而减小了特征匹配的范围.结果 该方法大幅度缩小了特征匹配的范围,降低了特征匹配所消耗的时间,与传统算法相比,在模板图像分辨率较大的情况下特征匹配阶段时间可以缩短10倍左右,跟踪一帧图像的时间缩短1.82倍.系统实时跟踪过程中的帧率总体保持在15帧/s左右.结论 提出的快速定位图像尺度和区域算法适用于移动设备上对2维自然图像的跟踪,尤其在模板图像分辨率较大的情况下,算法能够显著减小特征匹配的范围,从而提升了实时3维跟踪算法的运行效率.     

定位图像匹配尺度与区域的摄像机位姿实时跟踪

目的 提出一种定位图像匹配尺度及区域的有效算法,通过实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中的特征点匹配,实现摄像机对模板图像的实时跟踪,解决3维跟踪算法中匹配精度与效率问题。方法 在预处理阶段,算法对模板图像建立多尺度表示,各尺度下的图像进行区域划分,在每个区域内采用ORB（oriented FAST and rotated BRIEF）方法提取特征点并生成描述子,由此构建图像特征点的分级分区管理模式。在实时跟踪阶段,对于当前摄像机获得的图像,首先定位该图像所对应的尺度范围,在相应尺度范围内确定与当前图像重叠度大的图像区域,然后将当前图像与模板图像对应的尺度与区域中的特征点集进行匹配,最后根据匹配点对计算摄像机的位姿。结果 利用公开图像数据库（stanford mobile visual search dataset）中不同分辨率的模板图像及更多图像进行实验,结果表明,本文算法性能稳定,配准误差在1个像素左右;系统运行帧率总体稳定在2030 帧/s。结论 与多种经典算法对比,新方法能够更好地定位图像匹配尺度与区域,采用这种局部特征点匹配的方法在配准精度与计算效率方面比现有方法有明显提升,并且当模板图像分辨率较高时性能更好,特别适合移动增强现实应用。     

JPEG图像双重压缩偏移量估计的篡改区域自动检测定位

目的 为了解决现有图像区域复制篡改检测算法只能识别图像中成对的相似区域而不能准确定位篡改区域的问题,提出一种基于JPEG(joint photographic experts group)图像双重压缩偏移量估计的篡改区域自动检测定位方法。方法 首先利用尺度不变特征变换(SIFT)算法提取图像的特征点和相应的特征向量,并采用最近邻算法对特征向量进行初步匹配,接下来结合特征点的色调饱和度(HSI)彩色特征进行优化匹配,消除彩色信息不一致引发的误匹配;然后利用随机样本一致性(RANSAC)算法对匹配对之间的仿射变换参数进行估计并消除错配,通过构建区域相关图确定完整的复制粘贴区域;最后根据对复制粘贴区域分别估计的JPEG双重压缩偏移量区分复制区域和篡改区域。结果 与经典SIFT和SURF(speeded up robust features)的检测方法相比,本文方法在实现较高检测率的同时,有效降低了检测虚警率。当第2次JPEG压缩的质量因子大于第1次时,篡改区域的检出率可以达到96%以上。 结论 本文方法可以有效定位JPEG图像的区域复制篡改区域,并且对复制区域的几何变换以及常见的后处理操作具有较强的鲁棒性。     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

遥感影像空间分治快速匹配

目的 图像匹配是遥感图像镶嵌拼接的重要环节,图像匹配技术通常采用两步法,首先利用高维描述子的最近和次近距离比建立初始匹配,然后通过迭代拟合几何模型消除错误匹配。尽管外点过滤算法大幅提高了时间效率,但其采用传统的两步法,构建初始匹配的方法仍然非常耗时,导致整个遥感图像拼接的速度提升仍然有限。为了提高遥感图像匹配的效率,本文提出了一种基于空间分治思想的快速匹配方法。方法 首先,通过提取图像的大尺度特征生成少量的初始匹配,并基于初始匹配在两幅图像之间构建成对的分治空间中心点;然后,基于范围树搜索分治空间中心点一定范围内的相邻特征点,构造成对分治空间点集;最后,在各个分治空间点集内分别进行遥感图像特征的匹配。结果 通过大量不同图像尺寸和相对旋转的遥感图像的实验表明,与传统的和其他先进方法相比,本文方法在保证较高精度的同时将匹配时间缩短到1/1001/10。结论 利用初始种子匹配构建分治匹配中心以将图像匹配分解在多个子区间进行的方法有助于提高遥感影像匹配的效率,该算法良好的时间性能对实时遥感应用具有实际价值。     

点线光流预测机制的图像序列运动直线跟踪

目的 针对复杂场景图像序列中运动直线特征的提取、跟踪问题,提出一种基于点、线光流预测机制的图像序列运动直线跟踪方法。方法 首先根据图像直线的表达式定义点、线光流基本约束方程,由基本约束方程推导出关于点光流与直线光流对应关系的3个重要推论。然后依据点、线光流对应关系,利用图像序列中直线特征上的像素点光流计算直线光流的估计值并根据直线光流阈值筛选图像序列运动直线。最后由筛选出的运动直线及直线光流估计值计算直线的预测坐标并在Hough域内进行跟踪匹配,得到图像序列运动直线跟踪结果。结果 通过合成及真实图像序列实验验证,本文方法能够准确地筛选出图像序列中感兴趣的运动直线,并对运动直线进行稳定地跟踪、匹配,直线跟踪结果未产生干扰直线的误匹配,直线跟踪时间消耗不超过12 s。结论 相对于传统的直线跟踪、匹配方法,本文方法具有较高地直线跟踪精度和较好的鲁棒性,更适用于复杂场景下的运动直线跟踪、匹配问题。     

使用聚合通道特征的嵌入式实时人体头肩检测

目的 头肩检测由于抗遮挡能力强、计算需求低,常用于复杂场景中的人体检测。针对嵌入式头肩检测中常用的运动检测和手工模型匹配方法检测精度较低、对不同姿态和人体外观适应性较差的问题,提出了使用聚合通道特征的嵌入式实时人体头肩检测方法。方法 首先分析多种行人检测与人体姿态数据集,从中生成多姿态、多视角的人体头肩样本集;然后基于图像的聚合通道特征,使用AdaBoost算法通过多个阶段的训练,得到基于增强决策树的头肩图像分类器;接下来,在快速特征金字塔算法的基础上,针对ARM-Linux平台,利用多核并行和单指令多数据流技术,加速图像特征金字塔的计算;最后,进行多线程的滑动窗口检测,利用头肩图像分类器识别每个检测窗口,并通过非极大值抑制（NMS）算法优化检测结果。结果 重新标注了INRIA验证数据集中的头肩样本,采用本文训练得到的头肩图像分类器进行检测,通过样本漏检率、每图片平均误检率以及ROC（receiver operating characteristic）曲线评估检测效果。对INRIA数据集中高度≥50像素的头肩目标的对数平均漏检率为16.61%。此外,采集了不同场景中多种姿态、视角下的头肩图像,以验证分类器的适应性,结果表明该分类器能够良好检测多姿态、多视角、受遮挡以及不同光照情况下的头肩目标。但由于检测器感受野局限于头肩区域,对少量疑似头肩样本的图像区域存在误检测。在嵌入式平台（树莓派3B）中,经过优化的头肩检测程序,对640×480像素分辨率的图像,特征计算耗时约213 ms;对单个包含正样本的检测窗口,分类耗时约2 ms。整体检测效率能够满足视频流实时检测的需求。结论 本文基于聚合通道特征进行人体头肩检测,采用种类丰富、标注准确的头肩训练样本,使用AdaBoost算法学习头肩图像的聚合通道特征,得到的头肩图像分类器适应性强,硬件性能要求低,能够良好检测多视角、多姿态的人体头肩图像,并具备在嵌入式平台上实时检测视频流的能力,应用场景广泛。     

多特征融合的图像自动变形

目的 图像变形算法中特征基元提取和匹配方式大部分都是采用人机交互的方式进行,并且在遮挡区域变形时出现较多的鬼影和模糊现象,使得针对同一场景图像变形实现繁琐且效果不佳,针对这些问题提出一种基于多特征融合的自动图像变形算法。方法 该算法提取多种图像特征信息（如Surf特征算子、Harris算子、Canny算子等）并进行多特征融合匹配,得到一个分布适当且对应关系正确的三角网格,再结合图像变形,实现自动图像插值。结果 实验结果显示,自动的提取特征基元有效地减少了人工操作,而多特征融合匹配有效地抑制了图像变形时边缘或遮挡区域鬼影的产生。结论 提出的融合匹配方法,将不同的特征信息有效地融合匹配从而改善了图像变形算法。通过对多组实验结果进行问卷调查,91%的参与者认为该算法有效地改进图像变形结果。     

结合图像识别的移动增强现实系统设计与应用

目的 在移动互联网时代下,移动增强现实应用得到越来越快的发展。然而户外场景中存在许多相似结构的建筑,且手机的存储和计算能力有限,因此应用多集中于室内小范围环境,对于室外大规模复杂场景的适应性较弱。对此,建立一套基于云端图像识别的移动增强现实系统。方法 为解决相似特征的误匹配问题,算法中将重力信息加入到SURF和BRISK特征描述中去,构建Gravity-SURF和Gravity-BRISK特征描述。云端系统对增强信息进行有效管理,采用基于Gravity-SURF特征的VLAD方法对大规模图像进行识别;在智能终端上的应用中呈现识别图像的增强信息,并利用识别图像的Gravity-BRISK特征和光流结合的方法对相机进行跟踪,采用Unity3D渲染引擎实时绘制3维模型。结果 在包含重力信息的4 000幅户外图像的数据库中进行实验。采用结合重力信息的特征描述算法,能够增强具有相似特征的描述符的区分性,并提高匹配正确率。图像识别算法的识别率能达到88%以上,识别时间在420 ms左右;光流跟踪的RMS误差小于1.2像素,帧率能达到23 帧/s。结论 本文针对室外大规模复杂场景建立的基于图像识别的移动增强现实系统,能方便对不同应用的增强现实数据进行管理。系统被应用到谷歌眼镜和新闻领域上,不局限于单一的应用领域。结果表明,识别算法和跟踪注册算法能够满足系统的精度和实时性要求。     

A vision-based strategy for autonomous aerial refueling tasks

Autonomous aerial refueling is a key enabling technology for both manned and unmanned aircraft where extended flight duration or range are required. The results presented within this paper offer one potential vision-based sensing solution, together with a unique test environment. A hierarchical visual tracking algorithm based on direct methods is proposed and developed for the purposes of tracking a drogue during the capture stage of autonomous aerial refueling, and of estimating its 3D position. Intended to be applied in real time to a video stream from a single monocular camera mounted on the receiver aircraft, the algorithm is shown to be highly robust, and capable of tracking large, rapid drogue motions within the frame of reference. The proposed strategy has been tested using a complex robotic testbed and with actual flight hardware consisting of a full size probe and drogue. Results show that the vision tracking algorithm can detect and track the drogue at real-time frame rates of more than thirty frames per second, obtaining a robust position estimation even with strong motions and multiple occlusions of the drogue.     

基于视觉的空中加油定位技术研究

空中加油作为增加飞行器续航能力的一种有效手段,正受到越来越多的关注和研究,而具有低成本、无源性等优点的视觉导航技术为自动空中加油的实现提供了可靠的解决方案。首先介绍了空中加油的基本概念,包括软、硬两种不同方式以及从交会到脱离的过程;然后以加油锥套、受油接口、飞行器机体三种不同的研究主体为切入点,梳理了针对自动空中加油问题的视觉定位解决方案,着重阐述了其中基于视觉的检测跟踪和位姿估计过程,总结了其中可用的视觉定位算法;最后讨论了当前该领域待解决的问题,并展望未来的研究方向。     

无人机软式自主空中加油视觉导航方法

针对无人机软式自主空中加油问题,提出了用于无人机软式自主空中加油的视觉导航方法.在加油锥套外环平面上均匀布置8个近红外LED,在受油机上布置CCD相机及带通滤镜构成视觉系统,利用该系统对锥套进行近红外成像,对所获取的近红外图像进行特征点提取并利用迭代算法估计锥套与受油机之间的位姿参数.在不同距离下对该视觉导航方法进行了仿真验证.结果表明,所研究的无人机软式自主空中加油视觉导航方法精度较高,抗干扰能力较强,可以有效地用于无人机软式自主空中加油.     

锥套跟踪的自适应核窗口Meanshift算法

为提高软管式自主空中加油视觉导航的实时性,提出了一种基于Meanshift算法改进算法——自适应核窗口跟踪算法,用于锥套目标的跟踪,可大幅度提升算法的实时性。以加油锥套内部的黑色圆形区域为最终的跟踪目标,检测算法主要提供初始锥套的相对位置,检测准确可靠;然后将锥套的位置信息作为自适应核窗口跟踪算法的输入以更新跟踪目标,实现锥套图像目标的跟踪,处理速度快,精度满足要求。最终实验结果分别从有效性、快速性以及准确性对检测和跟踪方法进行了分析对比,在基本上不影响精度的情况下,跟踪处理时间比检测时间降低了30%左右,效果显著。提出的自适应核窗口跟踪算法快速有效,精度与全局检测精度相差无几,处理速度提升了30%,可靠性在95%以上。     

空地协同机器人目标定位方法

针对空地协同机器人中无人机对地面无人车的实时精准定位问题,提出一种红色双圆型定位标记及标记识别与定位方法。引入颜色分割与轮廓提取相结合的方式,减少提取到的轮廓特征数量,排除背景信息干扰以减少误识别;提出一种圆形轮廓快速检测算法,快速识别目标轮廓并准确定位目标像素坐标和方向;基于针孔相机成像模型,根据目标像素坐标和方向,估计出目标在机体坐标系下三维坐标和偏航角。实验结果表明,无人机与地面无人车相对高度1.5 m时,该方法在[x]轴和[y]轴方向定位误差分别为3.9 mm和3.6 mm,每帧图像平均处理耗时为11.6 ms,优于基于核相关滤波的识别定位方法的13.3 mm、14.3 mm和56.3 ms。该方法与无人机控制相结合,可以实现无人机协同跟踪与自主降落功能,提升空地协同机器人作业效率,具有显著的工程意义。     

级联特征点检测的锥套小目标快速检测定位算法

为提升无人机自主空中加油中锥套小目标的检测精度和实时性,提出了级联网络与特征点检测网络的锥套小目标高精度快速定位算法。该算法设计了锥套目标全局粗定位和局部精定位的两级检测神经网络结构,采用特征点的输出位置误差及特征点群拟合的椭圆参数误差设计网络的损失函数,利用特征点拟合的锥套目标尺寸位置信息修正跟踪算法,提升了跟踪算法的和目标定位的实时性。实验测试结果表明,该定位算法定位成功率在95%以上,定位的精度（预测区域与真实区域的重叠率）在80%以上,定位输出速率达到100 Hz,对于环境的变化有着较强的适应性。因此该算法可以快速准确地进行锥套目标的跟踪,对于无人机空中加油技术的发展具有重要的研究意义。     

空中加油场景下的目标联合检测跟踪算法

针对自主空中加油对接阶段的目标跟踪问题,提出一种空中加油场景下的目标联合检测跟踪算法。该算法采用检测跟踪一体化的CenterTrack网络实现对锥套的追踪,而针对计算量较大、训练耗时过长的问题,分别从模型设计与网络优化两方面改善该网络。首先,在跟踪器中引入膨胀卷积组,以在不改变感受野大小的前提下使得网络轻量化;同时,将输出部分的卷积层替换为深度可分离卷积层,从而减少网络的参数量与计算量;然后,对网络进行进一步的优化,即将随机梯度下降（SGD）法与Adam算法相结合,使网络更快收敛至稳定状态;最后,利用真实的空中加油场景视频与地面模拟视频制作相应格式的数据集,并将其用于实验验证。分别在自制的锥套数据集和MOT17公共数据集上进行了训练与测试,证实了提出算法的有效性。相较于原CenterTrack网络,改进的网络Tiny-CenterTrack减少了约48.6%的训练时长,并在实时性方面提升了8.8%。实验结果表明,改进后的网络在不损失网络性能的前提下可有效节省计算资源并在一定程度上提升实时性。     

分块检测尺度自适应的圆形目标相关跟踪

为解决传统基于核相关滤波器（KCF）的目标跟踪方法中跟踪框尺度无法自适应及目标被遮挡导致的跟踪失败问题,以空中加油视觉导航中圆形锥套目标的跟踪为例,提出了一种分块检测尺度自适应的圆形目标相关跟踪方法。利用目标外部边缘特征点的提取与轮廓拟合方法解决了圆形目标跟踪所存在的目标尺度变换问题,通过分块检测将跟踪过程中目标遮挡情况与跟踪失败情况区分开来,消除了遮挡情况下跟踪积累误差,实现了部分遮挡情况下目标的跟踪。实验结果表明,提出的圆形目标尺度自适应相关跟踪方法具有较高实时性、可靠性与准确性,实现了空中加油对接过程中对于锥套的稳定、可靠跟踪。     

无人机空中加油控制设计与仿真

无人机空中加油控制精度问题,无人受油机模型的各种不确定性与来自外部的各种干扰归结为扰动,造成控制精度差。为解决上述问题,提出一种免疫粒子群优化算法的自抗扰无人机自主空中加油飞行控制律设计方法。利用自抗扰控制能够自动检测并补偿内部与外部干扰影响的特点,并利用扩张状态观测器进行估计与补偿,从而增强了所设计飞行控制律的鲁棒性,用免疫粒子群优化算法对自抗扰控制器参数进行了优化研究,以提高设计效率。仿真结果表明,所设计的自抗扰自主空中加油控制系统具有优良的控制性能与较高的控制精度,能够满足无人机自主空中加油的要求。     

圆形标志投影偏心差补偿算法

目的 圆形标志目前正广泛地应用于各类视觉测量系统,其圆心定位精度决定了测量系统的测量精度。当相机主光轴与标志表面不平行时,圆被映射为椭圆,圆心位置计算产生偏差。光轴与标志表面夹角较大或标志较大等情况下会产生较大的偏心差进而严重影响系统测量精度。为此,提出一种基于三同心圆圆形标志的投影偏心差补偿算法。方法 算法基于三同心圆的圆形标志设计,根据3组椭圆拟合中心坐标解算偏心差模型进行计算补偿。结果 针对圆形标志偏心差问题,同心圆补偿算法取得良好效果,有效提升了圆形标志定位精度。仿真结果表明,在拍摄角度、拍摄距离、圆形标志大小不同的情况下,偏心差在像素量级,补偿后偏心差在10^-11像素量级。实物实验结果表明,若设计有直径分别为6 cm,12 cm,18 cm的三同心圆标志,经解算补偿结果较以往两同心圆算法精度提高一倍,偏心差值减小80%,测量误差在0.1 mm左右。结论 本文提出了一种新的偏心差补偿算法,利用三同心圆标志增加约束解算偏心差。与以往偏心差补偿算法相比,此方法精度更高,且无需预先平差解算相机与目标的距离、拍摄角等参数,仅需要知道标志圆形半径比例及椭圆中心坐标即可计算补偿,具有很高的实用性,可用于改善基于非编码标志点的深度像匹配、基于圆形标志点的全自动相机标定方法、视觉导航定位等应用中。