基于人脸识别与光流追踪的移动机器人视觉导航方法

针对移动机器人视觉导航中跟踪目标丢失的问题,提出了基于人脸识别与稀疏光流算法(KLT)结合的移动机器人视觉导航方法(FR-KLT视觉导航方法)。采用OpenCV库中的Haar特征提取人脸识别算法实时检测识别目标人脸,通过Harris角点检测获取目标人体特征点,对目标人体进行精准定位;KLT光流追踪法测算目标移动趋势,并预测目标下一刻大致位置。目标人体位置变动时移动机器人对目标进行实时追踪导航。通过Pioneer-LX机器人在真实环境下试验,验证了该方法准确识别并跟踪目标的实时性和有效性。     

使用多尺度光流法进行探月飞行器自主视觉导航

针对探月飞行器在接近、下降、着陆阶段所要完成的精确导航任务,提出了一种基于多尺度光流法进行探月飞行器的自主视觉导航的方法.在探月飞行器的下落过程中,由于与探月飞行器固联CCD所拍摄的图像在相邻时刻之间的相对运动较大,因而传统的光流计算方法无法同时满足精度和鲁棒性的要求.本文引入了一种在图像小波金字塔的基础上多尺度光流法,在图像间相对运动较大的情况下实现了对特征点的跟踪.最后,利用鲁棒最小二乘方法,估计出探测器在下落过程中不同时刻之间的相对刚体运动参数.仿真结果表明该方法快速、有效的完成探月飞行器的自主视觉导航任务.     

偏振光辅助定姿在基于光流自主导航中的应用

根据大气偏振光分布特点和偏振光导航原理搭建三通道测量平台对偏振光信息进行采集,通过视觉图像特征的空间梯度瞬时变化率计算飞行器周围环境的稀疏光流场.结合大气偏振光与运动环境光流信息构造基于 GPS/惯导/偏振光/光流组合导航系统.分别对高度、姿态角和速度误差进行估计并进行算法仿真,结果表明:该方法具有较高精确度,对未来无...     

用于无人机室内导航的光流与地标融合方法

针对小型无人机在无卫星导航信号条件下的导航问题,结合光流及地标定位设计了使用摄像头、惯性测量器件、超声测距仪等传感器融合的无人机室内导航方法.文章使用补偿角速率的光流微分法计算帧间像素点小位移,并用前后误差算法提取精度较高的点,避免像素点跟踪错误,提高了光流测速的精度;对得到的光流场用均值漂移算法进行寻优,得到光流场直方图峰值,以此计算光流速度.本文提出了无累积误差的连续地标定位算法,实时测量无人机位置.通过多速率卡尔曼滤波器对观测周期不一致的位置、速度信息进行最优估计.在搭建的八旋翼无人机平台上试验,将位置与速度测量结果分别与激光和PX4FLOW数据对比,结果表明该导航方法可以有效抑制定位跳变与光流测量噪声误差,给出精确的位置与速度估计.     

基于光流和自注意力的视觉里程计方法

视觉里程计作为基于视觉的同时定位与地图构建的重要组成部分,在无人驾驶、移动机器人等领域都发挥了重要的作用。为弥补现有方法的不足,论文提出了一种端到端的基于光流和自注意力的视觉里程计方法。首先,该方法引入先进的光流估计RAFT模型提取富含运动信息的光流。其次,结合双向长短期记忆网络学习图像序列之间的联系。最后,借鉴传统方法中关键帧的思想,引入了自注意力机制,通过连续多帧的特征得到最后两帧图像之间的相对位姿。在KITTI数据集上的实验结果表明该方法显著降低了旋转、平移的均方根误差。     

基于光流融合快速特征提取的视觉/惯性定位方法

针对地下遮蔽空间内弱纹理环境下视觉/惯性定位方法特征点提取、追踪困难问题,文章结合快速鲁棒性（Speeded Up Robust Features,SURF）特征点法提取速度快、识别精度高、光流法追踪精度高的特点,提出了一种基于光流融合快速特征提取的视觉/惯性定位方法。该方法改进视觉前端部分,以SURF算法构建Hessian矩阵对图像信息中的特征点进行提取,提高特征点匹配效率与提取效果;随后,利用LK(Lucas–Kanade)光流法对特征信息进行追踪,保证特征追踪速度,以提高算法精度与鲁棒性;在信息融合部分参考多状态约束卡尔曼滤波算法框架,对视觉信息与惯性信息进行融合。采用EuRoc室内数据集进行仿真实验。结果表明,该算法具有良好的定位精度。与传统MSCKF算法相比,该算法漂移较小,相比MSCKF平均轨迹误差减少8%,均方根误差减少21%,具有更好的定位效果。     

基于视觉传感器采集光流特征的精神疾病识别方法

目前,精神疾病的筛查主要依靠临床医生的访谈和问卷进行评估,具有高成本、主观性等问题。本文提出了一种基于视觉传感器采集光流特征的精神疾病识别方法,可以实时监测和预警,以较低的成本和非侵入性的方式来进行精神疾病的辅助筛查。该算法通过视觉传感器全面采集患者的面部数据来提取光流特征,输入TSMOSNet进行训练。TSMOSNet以TSM为基础网络进行改进,替换普通卷积为光流提取头,针对视觉传感器采集而来的光流特征图进行密集采样,并添加了时序注意力模块、DML蒸馏和VideoMix数据增强等方法,增强了视觉特征,以提高精神疾病识别的准确率。实验结果表明,在H7-BDSN数据集上相比于其他方法,本文提出的识别算法在精神疾病的筛查任务中取得了最好的效果,准确率为85%,F1分值为0.84。     

融合深度学习与稠密光流的动态视觉SLAM

针对传统视觉SLAM(simultaneous localization and mapping)算法在环境目标静止或低速运动状态工作良好,但在场景中存在人员走动、车辆运动等动态干扰时精度不高、鲁棒性不强的问题,提出了基于ORB-SLAM3(Oriented FAST and Rotated BRIEF-SLAM3)框架的动态SLAM系统,在ORB-SLAM3框架中融合了YOLACT + +(You Only Look At CoefficienTs)深度学习性;提出了运动等级传递策略,将实例分割网络和稠密光流场融合,达到SLAM系统效率与精度的联合优化。在公开数据集TUM上的测试结果表明,所提系统在动态场景下具有优异的性能,低动态场景下的均方根误差、平均值、中值和标准差等指标相比ORB-SLAM3提高了约60%,高动态场景下超90%。楼道场景的实测结果表明,所提系统在提取特征时能够有效剔除动态目标上的特征点,保证了系统的精度。     

融合光流与改进ORB算法的单目视觉里程计

针对光流法定位精度差的问题,设计了一种光流和改进定向二进制简单描述符(ORB)算法融合的单目视觉里程计方法。首先利用光流法进行帧间位移定位,并根据经验设定每帧跟踪的最少特征点数,在跟踪特征点数低于设定的阈值后,利用改进的ORB算法进行帧间位移定位,最后通过二者的循环运行更新机器人的位置和姿态。结果表明:该方法克服了光流法定位精度差的缺点,突出了改进ORB算法定位准确性的优点,能够提供较准确的定位输出。     

基于LK光流法的单目视觉里程计

在移动机器人快速发展的今天,视觉里程计是通过视觉传感器进行导航定位的主要方式之一。文章介绍了基于单个摄像头的单目视觉里程计的一种实现方法,使用SURF算法提取特征点,用LK光流法进行特征追踪,相比于传统特征匹配在运算效率上有极大的提高,再对特征点计算位移与旋转量,以里程计的方式达到定位目的。详细介绍了视觉里程计的数学原理以及SURF算法和LK算法的原理及其数学推导、单目视觉里程计的尺度不确定原理。最后通过对比确定LK算法的优势以及最优参数的选择。     

深度Q学习的二次主动采样方法

实现深度Q学习的一种方式是深度Q网络（Deep Q-networks,DQN）.经验回放方法利用经验池中的样本训练深度Q网络,构造经验池需要智能体与环境进行大量交互,这样会增加成本和风险.一种减少智能体与环境交互次数的有效方式是高效利用样本.样本所在序列的累积回报对深度Q网络训练有影响.累积回报大的序列中的样本相对于累积回报小的序列中的样本更能加速深度Q网络的收敛速度,并提升策略的质量.本文提出深度Q学习的二次主动采样方法.首先,根据序列累积回报的分布构造优先级对经验池中的序列进行采样.然后,在已采样的序列中根据样本的TD-error（Temporal-difference error）分布构造优先级对样本采样.随后用两次采样得到的样本训练深度Q网络.该方法从序列累积回报和TD-error两个方面选择样本,以达到加速深度Q网络收敛,提升策略质量的目的.在Atari平台上进行了验证.实验结果表明,用经过二次主动采样得到的样本训练深度Q网络取得了良好的效果.     

基于Matlab/Simulink捷联式惯性导航系统仿真

本文根据捷联式惯性导航系统的特点，对系统的不同模块分别采用MATIAB语言编程和Simulink模块图方法对系统进行仿真。对由加速度计信息计算地理坐标系的角速度信息模块．由于工程中其结构图已知，采用Simulink进行仿真比较方便且误差较小；对系统中的四元数以及姿态角的计算，由于计算量大，解算公式复杂，因此采用MATLAB语言编程进行仿真。最后通过执行MATIAB命令完成整个系统的仿真任务。本文的仿真方法克服了单纯应用MATLAB编程或其它高级语言编程仿真时的计算量大、难度高、周期长、误差大的缺点。使动态系统的仿真易于实现。     

基于改进的主动轮廓模型及光流估计的标记线跟踪

在心脏核磁共振图像分析中,标记线的跟踪是心肌运动分析及3维运动重建的重要步骤。为了提高心脏标记线跟踪的准确性,首先使用改进的基于动力学方程的主动轮廓模型来对标记线进行跟踪,并根据标记线的特点,引入了3种弹性势能,然后采用了新的内能函数,并使用新的方法来产生图像势能,由于改变了原模型中轮廓线初始速度为零的假设,并引入了光流估计作为轮廓的初始速度,从而提高了跟踪结果的准确性。对多序列心脏收缩期核磁共振图像的实验结果表明,该算法可以获得较好的跟踪效果。     

基于多面部特征融合的驾驶员疲劳检测算法

本文将卷积神经网络（Convolutional Neural Network,CNN）应用到视频理解中,提出一种基于多面部特征融合的驾驶员疲劳检测算法.本文使用多任务级联卷积网络（Multi-Task Cascaded Convolutional Networks,MTCNN）定位驾驶员的嘴部、左眼,使用CNN从驾驶员嘴部、左眼图像中提取静态特征,结合CNN从嘴部、左眼光流图中提取动态特征进行训练分类.实验结果表明,该算法比只使用静态图像进行驾驶员疲劳检测效果更好,准确率达到87.4%,而且可以很好地区别在静态图像中很相似的打哈欠和讲话动作.     

微表情识别研究综述

微表情是人类在试图掩饰自己情感时所产生的面部细微变化,在测谎、安防、心理学治疗和微表情识别机器人等方面有着非常广泛的应用,因此微表情识别也开始得到重视。从微表情识别的主流的方法：卷积神经网络及其改进、光流法及其改进、局部二值模式及其改进方法进行分析,对现存的几种方法从使用的算法、准确率、各方法的优缺点、各方法的特点等几个角度进行对比总结;阐述微表情识别目前存在的问题,并对未来的发展方向进行展望。     

一种局部和全局相结合的光流计算方法

光流场是计算机视觉的一个研究方向,微分法是计算光流场的一个常用方法,它分为全局方法和局部方法,全局方法能够得到100％的致密的光流场,而局部方法大多只能得到稀疏的光流场,但它在噪声情况下具有更好的鲁棒性。本文提出一种局部和全局相结合的方法．首先给出五点光流约束的局部方法,再结合全局方法,计算得到了既致密又 鲁棒的光流场。     

五点约束最小二乘法估计光流速度场

提出一种二维光流场快速计算算法．首先求取当前像素点光流约束线与其8邻域像素点所对应8条光流约束线的交点;其次从8个交点中选取几何位置处于中间的4点,即速度处于中间值,且相互接近的4点,并以其对应的像素点与当前像素点一起构成5置信点;利用5置信点的光流约束方程构造一超定的方程组;最后利用最小二乘法求取当前像素点的光流速度．     

Scene Flow-Based Environment 3D Digitalization for Mobile Robot Navigation

This paper presents an effective 3D digitalization technique to reconstruct an accurate and reliable 3D environment model from multi-view stereo for an environment-learning mobile robot. The novelty of this paper lies in the introduction of nonrigid motion analysis to stereo reconstruction routine. In our proposed scheme, reconstruction task is decoupled into two stages. Firstly, range depth of feature points is recovered and in turn is used for building a polygonal mesh and secondly, projection feedback on comparison views, which is generated on assumption of the established coarse mesh model, is carefully introduced to deform the primitive mesh model so as to improve its quality dramatically. The discrepancy of observation on comparison views and the corresponding predictive feedback is quantitatively evaluated by optical flow field and is employed to derive the corresponding scene flow vector field subsequently, which is then used for surface deformation. As optical flow vector field estimation outperforms traditional dense disparity for its inherent advantage of being robust to illumination change and being optimized and smoothed in global sense, the deformed surface can be improved in accuracy, which is validated by experimental results.