基于深度相机的移动机器人视觉跟踪控制研究

基于视觉利用移动机器人进行运动目标跟踪,该文提出一种基于二自由度云台和RGB-D相机的运动目标视觉跟踪及移动机器人路径实时规划、跟踪方法。该方法利用核相关滤波算法在图像中实时追踪目标,控制二自由度云台使深度相机实时对准目标,并根据深度相机得到目标的深度信息,利用坐标转换得到目标相对于机器人的位置信息;其后移动机器人根据目标的位置信息,基于五次多项式进行路径规划;最后采用李雅普诺夫控制律对移动机器人进行轨迹跟踪控制,使得机器人能够平稳地跟踪目标运动。该算法在阿克曼移动机器人上进行了实验,实验结果验证了算法的有效性和实时性。     

深度特征的核相关滤波视觉跟踪

针对核相关滤波目标跟踪算法中传统手工特征的不足,以核相关滤波方法的目标跟踪技术作为研究对象,利用深度卷积神经网络自动提取待跟踪目标的深度卷积特征,来代替传统的手工特征,利用从不同卷积层提取到的深度卷积特征分别经过核相关滤波器学习来得到不同的特征图,然后对多个特征图进行加权融合来确定待跟踪目标在视频序列中的位置,以此来提高跟踪算法在复杂干扰背景下的鲁棒性。     

基于深度稀疏滤波的目标跟踪

为了在复杂环境下更好地区分被跟踪目标和背景,设计了一种基于2l范数归一化和1l范数最小化的深度稀疏滤波模型,通过深度学习获取样本稀疏特征并对其进行分类,将该模型和粒子滤波框架结合,提出一种目标跟踪算法.首先使用离线训练集对深度稀疏滤波模型进行逐层无监督预训练得到权值参数的初始值,然后在跟踪过程中利用标签样本对模型在线更新,通过有监督微调优化其权值参数使得模型能够更好地适应目标外观变化,最后利用训练好的深度稀疏滤波模型对经由粒子滤波算法给出的候选区域进行观测,以确定跟踪目标.在不同视频序列中的实验表明,文中算法在复杂条件下具有良好的跟踪精度和鲁棒性.     

背景与时间感知的相关滤波实时视觉跟踪

目的 传统的相关滤波跟踪算法采用对跟踪目标（唯一准确正样本）循环移位获取负样本,在整个学习过程中没有对真正的背景信息进行建模,因此当目标与背景信息极其相似时容易漂移。大多数跟踪算法为了提高跟踪性能,在时间序列上收集了大量的训练样本而导致计算复杂度的增加。采用模型在线更新策略,由于未考虑时间一致性,使得学习到的滤波器可能偏向背景而发生漂移。为了改善以上问题,本文在背景感知相关滤波（BACF）跟踪算法的基础上,加入时间感知,构建了一个带等式限制的相关滤波目标函数,称为背景与时间感知相关滤波（BTCF）视觉跟踪。该算法不但获取了真正的负样本作为训练集,而且仅用当前帧信息无需模型在线更新策略就能学习到具有较强判别力的相关滤波器。方法 首先将带等式限制的相关滤波目标函数转化为无约束的增广拉格朗日乘子公式,然后采用交替方向乘子方法（ADMM）转化为两个具有闭式解的子问题迭代求最优解。结果 采用OTB2015数据库中的OPE（one pass evaluation）评价准则,以成功率曲线图线下面积（AUC）和中心点位置误差为评判标准,在OTB2015公开数据库上与10个比较优秀的视觉跟踪算法进行对比实验。结果显示,100个视频序列和11个视频属性的成功率及对应的AUC和中心位置误差均明显优于其他基于相关滤波的视觉跟踪算法,说明本文算法具有良好的跟踪效果。本文的BTCF算法仅采用HOG纯手工特征,在OTB2015数据库上AUC较BACF算法提高了1.3%;由于颜色与边缘特征具有互补特性,本文融合CN（color names）特征后,在OTB2015数据库上,AUC较BACF算法提高了4.2%,采用纯手工特征跟踪性能AUC达到0.663,跟踪速度达到25.4帧/s。结论 本文的BTCF算法能够适用于光照变化、目标旋转、遮挡等复杂情况下的视觉跟踪,具有良好的鲁棒性和一定的实时性。     

基于计算机视觉的轮椅跟随系统设计

为解决老年人口日益增多而看护人员缺乏的问题,设计了一种具有自动跟随功能的智能轮椅系统。该系统通过计算机视觉传感器获取图像信息后,首先利用自适应高斯混合建模的背景减除法完成对目标的检测,再利用基于多特征融合的粒子滤波的TLD（Tracking-Learning-Detection）跟踪算法完成对目标的跟踪,最后结合双目定位算法得到目标在相机坐标系下的三维位置。根据目标的位置控制轮椅的速度和方向,使轮椅与目标人物保持设定的距离和相对方位,完成对目标的跟随。对轮椅跟随系统各项功能进行测试,结果表明,该系统不仅能够完成对使用者的实时跟随,同时也能实现对障碍物安全的躲避。     

基于OpenCV实现双目视觉下的客流计数算法

为了能实时地获得公交车上的乘客数,提出一种基于OpenCV(Open Source Computer Vision Library)实现双目视觉下的客流计数算法。首先用双目摄像系统获取包含场景深度信息的视差图,然后利用Codebook背景模型与光流残差相结合的方法提取运动目标,最后采用积分投影法实现目标分割,并进行目标跟踪和计数。通过对比分析和算法测试,该算法有效克服了因计数场景中光线突变、阴影等对计数的影响,准确率达94.45%以上。     

基于双目计算机视觉的自适应识别算法及其监控应用

双目计算机视觉是利用仿生学原理，通过标定后的双摄像头来得到同步曝光图像，然后计算获取的2维图像像素点的第3维深度信息。为了对不同环境场景进行监控提出了一种新的基于双目计算机视觉的自适应识别算法。该算法首先利用像素点的深度信息对场景进行识别判断，然后采用统计的方法为场景建模，并通过时间滤波克服光照渐变，以及通过深度算法特性克服光照突变。与单摄像头监拧系统相比，利用该算法实现的视频监控原型系统，可应用于更多场合，并利用深度信息设置报警级别，来降低误检率。     

多通道核相关滤波的实时跟踪方法

现有跟踪算法大都需要构建复杂的外观模型、抽取大量训练样本来实现精确的目标跟踪,会产生庞大的计算量,不利于实时跟踪。鉴于此,提出了一种多通道核相关滤波的实时跟踪方法。首先,利用核化岭回归方法对视频帧的目标信息进行训练,学习得到滤波模板;接着,用滤波模板对待检测帧的可能区域进行相关性度量;最后,将相关度最高的位置作为跟踪结果,并通过对多通道的独立输入进行加权求和,解决多通道输入问题。与现有跟踪方法的大量对比实验表明,在不同的挑战因素下,该方法在保证跟踪精度的同时,跟踪速度也存在明显优势。该方法通过相关滤波的方式可避免抽取大量样本,并利用频域的点乘代替时域的相关运算,大大降低了计算复杂度,使跟踪速度完全满足实时场景的跟踪需求。     

基于多特征融合的粒子滤波算法研究

传统的粒子滤波跟踪算法只依靠单一的颜色特征作为跟踪依据。在复杂背景或者遮挡物颜色与跟踪目标接近时传统的粒子滤波算法很容易造成跟踪目标丢失。针对该问题,提出一种基于多特征融合的粒子滤波算法,该算法按一定的权值系数利用目标的颜色特征和边缘特征来构建似然函数作为跟踪目标的跟踪依据,克服了依靠单一颜色特征跟踪目标的跟踪算法的不足。实验结果表明,多特征融合后的跟踪算法有较好的跟踪性能。     

基于激光雷达机器人的目标人跟踪方法研究

针对机器人的目标人跟踪问题,提出一种利用目标人腿部信息自适应跟踪的方法。该方法利用激光雷达作为环境感知传感器,实时获取环境的二维激光扫描数据;然后采用设计的激光相邻点聚类算法对激光扫描数据进行分割和聚类;再利用人腿圆弧状特征设计的类圆弧人腿形状识别算法从分割的数据中识别腿部数据,获得目标人腿部相对于机器人的位置信息;最后利用Kalman滤波算法对目标人的位置和速度进行跟踪,使机器人能够平稳地跟踪目标人运动。该算法在iRobot机器人平台上进行实验,实验结果验证了算法的有效性。     

双目视觉运动目标跟踪定位系统的设计

针对运动目标在被遮挡时跟踪丢失问题,采用双目视觉对运动目标进行跟踪定位.首先,利用背景差分法实现目标检测;然后,利用Kalman滤波器改进的CamShift算法与FAST角点检测算法相结合,通过缩小角点检测的范围,提高预测的准确性和跟踪速度,同时有效解决了目标跟踪丢失问题;最后,通过双目立体视觉视差原理求出目标的三维坐标,实现对目标的定位.实验结果表明,该系统有效地解决了目标跟踪丢失问题,且算法实时性良好,有利于工业上使用机器人对运动目标的精确抓取.     

基于双目视觉的运动目标跟踪与测量

在研究融合运动目标位置预测的Mean Shift跟踪算法和双目立体视觉中的空间点定位算法的基础上,基于双目视觉设计了双目立体视觉运动目标跟踪和测量系统,并在所进行的跟踪与测量实验中,提取了运动目标质心的三维坐标序列,实现了对目标深度和速度的测量。     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

双目视觉小波域SIFT匹配与极线约束算法研究

研究双目立体视觉技术,特征的提取和匹配是双目视觉的最基本的问题。目前,SIFT已经被证明鲁棒性最好的局部不变特征描述符。但是SIFT算法产生的误匹配较多,精度偏低,为了解决这一问题,同时降低算法特征提取与匹配的复杂度,达到双目立体视觉实时性的要求,文中提出了一种结合小波变换和SIFT特征点的双目立体视觉匹配方法。首先,对双目视觉系统采集的左、右图像进行小波分解,把分解得到的低频图像作为输入,用SIFT算法进行特征点的初始匹配,再利用极线约束的理论求得精确匹配。实验结果表明,该方法具有较强的适应性,能够在减少误匹配的同时,大大加快运算速度。     

基于双目视觉的无人飞行器目标跟踪与定位

针对小型无人飞行器跟踪目标的问题,提出了一种基于双目视觉和Camshift算法的无人飞行器目标跟踪以及定位算法。双目相机得到的左右图像通过Camshift算法处理可得到目标中心特征点,对目标中心特征点进行三维重建,得到机体坐标系下无人飞行器与目标间的相对位置和偏航角,应用卡尔曼滤波算法对测量值进行了优化,将所得估计值作为飞行控制系统的反馈输入值,实现了无人飞行器自主跟踪飞行。结果表明所提算法误差较小,具有较高的稳定性与精确性。     

基于双目立体视觉避障的四旋翼飞行器设计

将双目立体视觉技术融入四旋翼飞行器设计,通过两个在相对水平位置上的单目相机模拟人的眼睛,在双目立体视觉测距系统上经过图像采集、双目矫正、双目立体匹配等步骤得到视差结果,计算出深度信息并进行三维重构,实现四旋翼飞行器一键起飞、定高、定点巡航、悬停及自主避障。实验结果表明,所设计的飞行器响应速度快,跟随性能好,定位精度较高。     

双目立体视觉和GSOM相结合的机器人自主地图构建方法

双目立体视觉和自组织可增长特征映射图GSOM(Growing Self-organizing Map)相结合的机器人地图构建方法首先利用双目立体摄像机采集图像,借助双目立体视觉处理技术,将采集到的图像信息转化成神经网络的训练样本;然后利用GSOM的地图绘制算法,通过不断增加新的神经元实现网络规模的增长,用441个SOM神经元便表示了2000个样本点的环境特征信息的拓扑地图,体现了对输入样本分布的逼近特性;实验结果表明双目立体视觉和GSOM相结合的机器人自主地图构建方法可行,并表现出类似生物的自主智能行为。     

基于轮廓提取与深度筛选的双目三维重构技术

针对基于深度图融合三维重构方法获取的三维重构模型,易受到深度信息误差影响的情况,提出一种基于轮廓提取与深度筛选的双目立体视觉三维重构方法。采用标准棋盘校准双目三维重构系统,利用Canny算子对目标物体进行边界检测,综合采用形态学腐蚀与膨胀方法提取指定方向上的连续边界,用连续边界提取目标物体。在此基础上,对目标物体深度信息进行筛选、拟合插值以获取连续深度信息。结果表明,相对于常规三维重构算法,由本算法三维重构的目标物体表面完整度更高,且目标物体周围的背景环境噪声被去除。     

多目标背景下双目视觉深度信息优化研究及其实现

针对机器人领域应用视觉进行目标物体抓取问题,提出了一种针对多目标背景下,新的深度优化处理方法.通过设定一个阈值块,以遍历成块的深度信息用类似聚类的方法,提出目标物体的具体坐标,传递给机器人手臂,完成准确的抓取操作.依次介绍了双目视觉原理、摄像机标定、双目矫正和双目匹配等内容,以及呈现出原始的深度信息图以及优化后的深度信息图,比较它们的差距.最后在实验中给出了证明:此种深度信息优化方法能够有效的提高机器人抓取目标物体的成功率.最后,还在文章最后给出了下一步的研究方向.