结合光流法的车辆运动估计优化方法

针对车辆自主定位实时准确的要求,提出一种结合光流法的车辆运动估计优化方法.采用改进的Lucas-Kanade算法跟踪FAST特征点计算其光流;进而对图像间偏移量进行坐标系转换,获得初始坐标系下车辆的运动估计值;基于偏移量与旋转角度误差服从正态分布的假设,优化更新采用光流法的车辆运动结果,最终映射到世界坐标系中获得车辆运行轨迹.通过测试多组不同车辆行驶轨迹,结果表明:该优化方法突出了光流法的实时性并且克服了其精度差的缺点,有效解决了由累积误差引起的轨迹漂移情况,能够提供车辆准确实时的定位输出.相较于基于特征点匹配的车辆定位其计算时间短,与常用的光流法比较,轨迹更加精确、光滑.     

人脸特征点跟踪及夸张人脸动画系统

为了研究视频中人脸特征点的跟踪问题,根据人脸特征点的不同特征,提出了不同的跟踪方法.对于眉都等特征点,利用光流跟踪方法,用拉普拉斯金字塔图代替了通常的灰度图作为光流输入图,减少了累积误差,提高了光流跟踪的准确性;对于嘴部特征点,将光流与弹性图匹配相结合,通过光流预先得到大致位置,减小了弹性图匹配时的搜索范围,提高了跟踪速度;对于眼部特征点,采用图像二值化方法进行跟踪.通过MPEG-4机制将跟踪到的运动数据克隆到系统根据真实人脸特点生成的夸张人脸上进行动画,具有很强的娱乐色彩.     

基于光流的景象匹配定位算法研究

在景象匹配定位过程中，实时图与参考图常常因为天气、季节不同等原因差别很大，这就造成匹配概率和匹配精度下降。为此，提出了一种基于光流的景象匹配定位算法，它利用光流估计实时图序列中2个相邻帧的相对运动，并根据上1帧的匹配结果确定当前帧图像和参考图的大致位置关系，进而在1个小范围内进行搜索，完成实时图的匹配定位。仿真结果表明该算法不仅具有很高的匹配概率，还具有较好的实时性。     

一种空对地可见光图像制导跟踪算法

为解决复杂背景下空对地可见光图像制导跟踪问题,提出一种基于特征匹配的跟踪算法。首先,通过等间隔采样与改进Kirsch边缘检测相结合的方法进行特征点采样;然后,采用金字塔模板光流法提取目标特征;最终,采用模板匹配法识别目标特征完成对地面目标的制导跟踪。实验结果表明：算法速度可以满足最大129Hz帧率的相机进行实时跟踪,稳定跟踪速率优于7.75ms/F,具有跟踪速度快和抗干扰能力强的特点。该算法完全满足空对地复杂背景下跟踪的需求。     

点云和视觉特征融合的增强现实装配系统三维跟踪注册方法

为了提高三维跟踪注册方法面向机械产品增强现实装配引导的适用性和鲁棒性,提出了一种点云和视觉特征融合的三维跟踪注册方法。首先利用参考模型点云对三维跟踪注册绝对坐标系进行定义,从而确定虚拟装配引导信息的定位基准。然后在迭代最近点法点云数据配准基础上,结合深度传感器彩色图像信息,通过视觉特征匹配,提高深度传感器快速移动时的跟踪注册过程鲁棒性。为了在此过程获取足够数量的视觉特征匹配点对,提出了一种基于方向向量一致性的视觉特征匹配策略。最后在跟踪注册过程加入基于关键帧的回环检测和全局位姿优化。实验结果表明:新方法精确性、实时性好,能达到每秒30帧。而且在相机快速移动时仍能表现出较好的鲁棒性,其综合性能优于基于点云的Kinect Fusion方法。     

全局运动多分辨率光流估计算法的改进与实现

为了提高低分辨率图像之间的位移估计精度,在传统光流算法的基础上,提出了全局运动的多分辨率光流估计算法.实验结果表明：该算法能够快速实现小位移和准确的实现大位移的运动估计,通过对互有亚像素位移的多帧低分辨率图像对比相位相关法进行运动估计,改进的多分辨率光流估计算法实现的高精度亚像素位移误差精度为0.05pi.     

基于三视图几何约束的摄像机相对位姿估计

针对从影像中恢复摄像机位姿的问题,提出基于三视图几何约束的位姿估计算法.利用强制选择机制对影像进行特征点提取,通过光流法和前后向误差实现相邻三帧影像的特征点匹配;推导基于本质矩阵优化分解的位姿估计,利用对极几何约束构建目标函数,通过迭代优化确定旋转矩阵的唯一解,优化了唯一解的确定方法,提高了相对位姿估计效率,得到第1、2摄像机矩阵;基于三视图的几何约束关系,由三焦点张量和匹配特征点建立目标函数,由迭代过程得到第3摄像机相对于第1摄像机的位姿参数.结果表明,提出算法的鲁棒性、精度以及算法效率均优于传统算法,能够快速、准确地估计摄像机相对位姿,可以实现对旋翼无人机的轨迹跟踪.     

基于注册和多尺度表观模型的三维头部跟踪

针对人体大范围运动下的头部姿态跟踪问题,提出一种基于尺度不变特征变换（SIFT）局部描述符注册和多尺度表观模型的三维头部姿态跟踪方法.基于SIFT局部描述符的注册算法通过在两帧灰度图像间进行特征点匹配计算两帧间的头部运动,在两帧人脸图像的尺度有一定变化时仍可得到精确结果.多尺度视角表观模型可以减少大范围跟踪时的误差累积,该模型在线选取具有不同头部姿态的关键帧,并通过多次注册的方法来减少当前帧的误差累积.实验结果表明,该方法不仅跟踪结果准确（均方根（RMS）误差为4 °）,而且在人体前后运动约1 m和头部进出摄像机视角情况下均很鲁棒.     

序列帧间双重匹配的红外点目标跟踪算法

针对海空复杂背景下红外点目标的检测与跟踪,提出了基于图像序列帧间双重匹配的边跟踪边检测算法,并建立了数学模型。它采用标记序列帧M以帧对帧的方式记录输入序列的帧间匹配结果,标记帧T以点对点的方式记录标记序列帧M的帧间匹配结果,统计帧S记录T中各像素的匹配成功次数,输入单帧图像同步输出矩阵T和S分别显示目标运动轨迹和迎头目标检测结果。算法匹配过程不随目标数目或运动状态而改变,且无需提前判断疑似目标位置,有效解决了目标在图像序列中突然丢失或出现被干扰情况下的跟踪,尤其可以对跟踪结果实时地进行目标分离,解决了迎头目标跟踪的难题。仿真和实际工程图像实验结果表明,算法具有较高的可靠性和实时性。     

基于三维模型与Gabor小波的人脸特征点跟踪方法

为了实现人脸特征点跟踪系统的鲁棒性和精确性,使用光束平差法模型将基于三维人脸几何模型的跟踪方法与基于Gabor小波的特征点跟踪方法结合起来,提出基于三维模型与Gabor小波的人脸特征点跟踪方法.该方法使用基于Gabor小波的特征跟踪方法来得到每帧的初始特征点,使用基于三维人脸几何模型的整合优化跟踪方法来得到每帧的最终特征点.与3类典型人脸特征点跟踪方法的对比实验结果表明,该方法克服了以往方法基于二维图像信息来寻找特征点的局限性,可以实现鲁棒的、实时的、大角度的人脸特征点跟踪.     

结合背景差分与光流法的人群状态突变检测

针对群体性异常事件中人群状态突变场景发生时的运动特征,提出结合背景差分和光流法的检测算法.对图像背景差分提取前景寻找特征点,利用光流法预测特征点位置,将特征点以光流运动方向为依据划分后处理数据,得到累积加速度进行判断.该算法弥补了单独使用背景差分算法检测准确率低和单独使用光流法检测效率低的缺陷,通过将特征点以光流运动方向划分处理数据,大幅度提高了检测的准确性和稳定性.经过实验测试,结果表明,该算法在人群状态突变异常事件检测中有较高的准确性,能够满足实时性要求,较同类检测算法在综合性能上有显著提高.     

多特征融合匹配的霍夫森林多目标跟踪

针对目标遮挡、形变等复杂环境中多目标跟踪准确性低的问题,提出了一种多特征融合匹配的霍夫森林多目标跟踪算法．首先,该算法根据目标检测响应进行初步关联,在线选取正负样本,通过融合颜色直方图、方向梯度直方图特征以及光流信息构建目标的特征模型;然后利用霍夫森林学习,形成可靠的长轨迹;最后采用多特征融合的轨迹匹配算法,引入颜色直方图的相似性度量和基于Gabor滤波器的特征点匹配两种方式,形成加权融合的概率矩阵,将长轨迹逐级关联为目标的完整轨迹．实验表明,该算法在多个复杂环境的视频序列中,可以有效解决目标形变、相互遮挡等问题,能实现多目标的鲁棒性跟踪．     

基于运动预测的改进ORB-SLAM算法

针对不同运动场景下以固定的点特征提取与匹配策略的ORB-SLAM算法存在系统跟踪定位误差较大的问题,考虑相机自身运动对视觉SLAM系统的影响,提出基于运动预测的改进ORB-SLAM算法.该方法利用上一帧的点特征利用率和匀速运动模型,预测出相邻2帧之间的共视范围,实时动态调整不同运动状态下的点特征提取阈值,在保证系统稳定性的情况下,提高系统的准确性.提出基于运动预测的点特征匹配优化策略,基于匀速运动模型快速确定出共视范围内的有效待匹配点,结合图像金字塔缩小匹配搜索范围,减少大量的无效匹配过程.在TUM数据集上进行对比实验,结果表明,提出的算法不仅实时性好,而且提高了系统的精度.     

基于特征融合的文物碎片模型检索

基于特征的模型检索是计算机视觉领域的一个重要研究方向,主要包括特征提取和模型检索两个方面,其中特征的鲁棒性对模型检索结果起决定性作用.由于已有检索算法存在局部特征有效性较低的问题,该文提出一种基于特征融合的兵马俑碎片模型检索算法.针对兵马俑碎片的三维点云数据模型,首先计算点的主曲率和法向夹角,并对其加权融合;然后基于该...     

视频拼接中最优自适应单应性矩阵求解算法

针对交通场景中对视频拼接速度要求较高的特点,提出了利用视频帧最优单应性矩阵进行实时拼接的双线程快速算法。首先,利用SURF(Speeded up robust features)算法提取图像特征点;其次,通过NN(Nearest neighbor)算法以及优化的RANSAC(Random sample con-sensus)算法进行特征点的匹配,并去除误匹配点对;再次,利用重叠区域的归一化协方差相关函数最大化得到视频前k帧配准效果最佳的单应性矩阵,作为后继视频帧场景拼接的映射矩阵;同时,采用KLT算法对k+1的后继视频帧特征点进行动态跟踪,若匹配点对的数量变化超过了给定的阈值,则认为当前的最优单应性矩阵需要进行优化和变换,重新计算k幅视频帧中新的特征点对,经匹配后求取新的最优单应性矩阵。在交通场景中的拼接实验证明,该快速算法平均视频帧的拼接处理速度小于100ms,对存在旋转、尺度缩放、视角以及光照变化的图像都具有良好的拼接效果,具有参数估算准确,计算量小、速度快的优点,能够满足系统对视频拼接的实时性和精确性要求。     

基于改进SURF算法的图像拼接技术研究

针对传统的加速稳健特征（SURF）算法在图像拼接过程中计算复杂度高以及匹配精度不佳等问题,提出一种基于SURF的改进算法,首先基于加速分割检测特征（FAST）算法快速提取图像特征点,利用SURF算法对提取到的特征点进行特征描述,然后通过改进的k-d树最近邻查找算法（BBF）寻找图像间的匹配点,与双向匹配的自适应阈值配准法相结合进行图像的匹配,利用改进的随机抽样一致性（RANSAC）算法对提取的特征点进行误匹配剔除,最后使用渐入渐出的加权融合算法对图像进行拼接。实验表明与传统的SURF+RANSAC算法相比,本文算法的图像拼接速度快,匹配精度更高。     

基于点线特征的快速视觉SLAM方法

为了提高RGB-D相机同时定位与地图构建（SLAM）系统在弱纹理场景下的定位精度和鲁棒性,提出快速的基于点线特征的SLAM方法. 在非关键帧的追踪过程中,基于描述子进行点特征匹配,基于几何约束进行线特征匹配;当插入新的关键帧时,计算线特征描述子以完成关键帧间的线特征匹配,并利用线特征三角化算法生成地图线. 通过降低线特征匹配过程运算量来提高SLAM系统的实时性. 此外,利用线特征的深度测量信息构造虚拟右目线段,并提出新的线特征重投影误差计算方法. 在公开数据集上的实验结果表明,与ORB-SLAM2等主流方法相比,所提算法提高了RGB-D SLAM系统在弱纹理场景下的定位精度;与传统点线特征结合的SLAM方法相比,所提算法的时间效率提高了约20%.     

微型无人机视觉定位与环境建模研究

同步定位与环境建模（SLAM）是实现无人机自主飞行和智能导航的关键技术。该文提出了适用于微型无人机的视觉定位与环境建模方法,针对RGB-D传感器使用point-plane ICP点云匹配算法实现视觉自主定位,利用并行计算加速以满足无人机控制的实时性要求;采用TSDF算法融合多帧观测的点云数据,实现了无人机对未知目标环境区域的模型重建;将视觉SLAM系统与无人机载IMU传感器融合,进一步提升了自主定位和建模精度。实际搭建了微型无人机视觉与环境建模验证系统,室内环境下可以达到0.092 m的定位偏差和60 Hz的更新速率,满足了无人机控制的精度和实时性要求,验证了该方法的有效性。     

360-degree real-time stitching technology for multi-channel video

Aiming at the time-consuming problem of image registration in video mosaic, a combined algorithm based on the BRISK and GMS is designed and optimized. Based on the fast feature extraction feature of the BRISK, the grid image method is used to divide the overlap region image to make the feature point distribution more uniform, thus reducing the number of feature points that need to be operated. In the feature matching stage after feature extraction, the GMS is used to eliminate the mismatching pair, and improves the matching accuracy according to the two-way matching strategy. In order to make the image fusion more natural and smooth, this paper designs a regionalized feather blending weighted fusion algorithm. To reduce the error in solving the overlapping area, the fusion area is constructed and divided into regions. The best suture method is used to get the seam. The gradual in and out weighting algorithm is used in different regions to achieve image fusion, so as to obtain the panoramic image with higher fusion quality. Finally, a complete prototype of the panoramic video stitching system is designed. The feasibility and practicability of the system scheme are verified by experiments which show that, compared with the traditional video splicing technology, this algorithm ensures the real-time performance of video splicing while eliminating the ghosting and seaming problems that occur during splicing.