共查询到20条相似文献,搜索用时 203 毫秒
1.
2.
传统的松耦合视觉惯性里程计需要标定噪声和偏置等参数,而端到端学习的方法耦合性高、普适性低.因此,本文提出了一种由长短期记忆网络融合的端到端松耦合视觉惯性里程计EE-LCVIO(End-to-End Loosely Coupled Visual-Inertial Odometry).首先,在相机位姿和IMU融合部分,构建了一个时序缓存器和由一维卷积神经网络和长短期记忆网络相结合的融合网络;其次,为了解决现有单目深度视觉里程计难以利用长序列时域信息的问题,通过使用相邻图像对和帧间密集光流作为输入,设计了一种基于时空双流卷积的视觉里程计TSVO(Visual Odometry with Spatial-Temporal Two-Stream Networks).与DeepVO最多只能利用5帧图像信息相比,本文提出的视觉里程计可以利用连续10帧图像的时序信息.在KITTI和EUROC数据集上的定性和定量实验表明,TSVO在平移和旋转方面超过了DeepVO的44.6%和43.3%,同时,在传感器数据没有紧密同步的情况下,本文的视觉惯性里程计EE-LCVIO优于传统单目OKVIS(Open Key... 相似文献
3.
提出了一种基于生成式对抗网络(GAN)和自注意力机制(self-attention mechanism)的单目视觉里程计方法,命名为SAGANVO(SAGAN visual odometry).该方法将生成式对抗网络学习框架应用于深度估计和视觉里程计任务中,通过GAN生成逼真的目标帧来准确求解出场景的深度图和6自由度位姿.与此同时,为了提高深度网络对场景细节、边缘轮廓的学习能力,将自注意力机制结合到网络模型中.最后,在公开数据集KITTI上展现了所提出的模型和方法的高质量结果,并与现有方法进行了对比,证明了SAGANVO在深度估计和位姿估计中的性能优于现有的主流方法. 相似文献
4.
融合光流与改进ORB算法的单目视觉里程计 总被引:1,自引:0,他引:1
《传感器与微系统》2019,(12):83-85
针对光流法定位精度差的问题,设计了一种光流和改进定向二进制简单描述符(ORB)算法融合的单目视觉里程计方法。首先利用光流法进行帧间位移定位,并根据经验设定每帧跟踪的最少特征点数,在跟踪特征点数低于设定的阈值后,利用改进的ORB算法进行帧间位移定位,最后通过二者的循环运行更新机器人的位置和姿态。结果表明:该方法克服了光流法定位精度差的缺点,突出了改进ORB算法定位准确性的优点,能够提供较准确的定位输出。 相似文献
5.
视频帧预测是计算机视觉领域一个重要的研究领域,并且拥有广泛的应用。目前,常用的视频帧预测模型虽然取得了一定的效果,但由于这类模型并不能在时空信息上同时建模,因此难以在更加复杂度的现实场景下应用。针对此问题,文中提出一种深度时空建模神经络。该网络通过预测未来光流,并利用该光流对前一帧图像进行采用的方法来预测未来图像,此外分别加入卷积LSTM与自注意力机制进行时空信息的建模。文章在Caltech行人数据集上进行了充分的实验,并取得了较好的实验结果。 相似文献
6.
针对微表情运动的局部性问题,提出一种将深度学习的空间注意力机制与微表情光流特征相结合的微表情识别自动方法.首先,采用帧差法识别缺少峰值帧标记的微表情样本的峰值帧;然后,利用TV-L1光流法提取微表情起始帧与峰值帧之间的光流水平、垂直分量图,并根据光流的水平、垂直分量图导出对应的光流应变模式图;将3个光流图以通道叠加的方式连接起来,构成微表情的光流特征图;最后,在Inception模块搭建的卷积神经网络中设计了一种包含可学习参数的空间注意力单元,使模型在特征提取过程中能够更加关注存在微表情运动的区域.在空间注意力单元中利用3?3和7?7这2种大小的卷积核进行空间注意力的推断,使模型能够综合地考虑不同尺度卷积核的注意力推断结果.实验结果表明,该方法在MEGC2019综合微表情数据集上的识别准确率达到0.788,优于已有的微表情识别方法. 相似文献
7.
一种结合光流法与三帧差分法的运动目标检测算法 总被引:2,自引:0,他引:2
运动目标的检测是计算机视觉研究的重要内容之一,光流法是其中的一种重要方法.由于计算光流的算法复杂,限制了它的使用.本文提出一种结合光流法与三帧差分法的运动目标检测算法,该算法简化了光流的计算,选择图像中具有代表性的Harris角点,只对这些像素点计算光流信息,有效地减少了复杂度,由于检测得到的运动目标区域不够完整,引入了三帧差分法作为简化光流法的补充.经过实验,该方法使光流法达到了实时性要求,取得了好的效果,优于单独运用两种方法中的任何一种取得的效果. 相似文献
8.
视频人脸替换中的关键问题是如何更好地重建人脸图像、融合图像和保证视频的连续性,为了提升重建图像和人脸掩模质量,解决视频播放不自然问题,提出一种基于双重注意力机制和光流估计的自动人脸替换方法。人脸重建网络以生成对抗网络为主体,为了提升网络的特征提取能力,在人脸重建网络中引入双重注意力模块,并使用深度可分离卷积替代模块中部分卷积,降低引入模块增加的网络计算量。针对人脸重建后前后帧时间域关系丢失的现象,添加一种基于光流估计的视频帧处理模块和平滑视频帧方法。实验结果表明,该方法相比FaceSwap、DeepFakes和FaceShifter替换方法能够更好地保持目标视频人脸的颜色、姿态和表情,使视频具有更好的连续性,提升人脸替换视频质量。 相似文献
9.
光流估计是计算机视觉的核心任务.近年来,基于卷积神经网络的光流估计方法已取得很大成功,然而由于现有模型的卷积感受野有限,难以建模远距离的依赖关系,导致在大位移和局部歧义性区域的光流估计效果较差.此外,现有方法在光流上采样过程采用的插值操作会导致误差的传播放大,进而引起光流估计的运动边缘模糊等问题.针对以上问题,本文提出了一种基于局部–全局建模与视觉相似引导上采样的光流估计方法.首先,引入一个高效且简单的自注意力机制加强光流计算网络的局部和全局建模能力.通过提取更具有表达力的图像特征,降低因大位移和局部歧义性导致的光流估计误差问题.其次,基于物体视觉特征越相似,运动也越相似的假设,构建视觉相似引导的光流上采样网络模型.将特征的视觉相似性转化为运动的相似性进而指导光流上采样过程,提高了运动边界区域光流估计的精度.最后,分别采用MPI-Sintel和KITTI数据库测试图像集对本文方法和最先进的深度学习光流计算方法进行综合对比分析.实验结果表明,本文方法在所有对比方法中取得了最优的光流计算结果,尤其在大位移和运动边界区域显著提升了光流计算的精度. 相似文献
10.
针对探月飞行器在接近、下降、着陆阶段所要完成的精确导航任务,提出了一种基于多尺度光流法进行探月飞行器的自主视觉导航的方法.在探月飞行器的下落过程中,由于与探月飞行器固联CCD所拍摄的图像在相邻时刻之间的相对运动较大,因而传统的光流计算方法无法同时满足精度和鲁棒性的要求.本文引入了一种在图像小波金字塔的基础上多尺度光流法,在图像间相对运动较大的情况下实现了对特征点的跟踪.最后,利用鲁棒最小二乘方法,估计出探测器在下落过程中不同时刻之间的相对刚体运动参数.仿真结果表明该方法快速、有效的完成探月飞行器的自主视觉导航任务. 相似文献
11.
12.
现有的基于深度学习的视觉里程计(visual odometry,VO)训练样本与应用场景存在差异时,普遍存在难以适应新环境的问题,因此提出了一种在线更新单目视觉里程计算法OUMVO。其特点在于应用阶段利用实时采集到的图像序列在线优化位姿估计网络模型,提高网络的泛化能力和对新环境的适用能力。该方法使用了自监督学习方法,无须额外标注地面真值,并采用了Transformer对图像流进行序列建模,以充分利用局部窗口内的视觉信息,提高位姿估计精度,以避免传统方法只能利用相邻两帧图像来估计位姿的局限,还可以弥补采用RNN进行序列建模无法并行计算的缺点。此外,还采用图像空间几何一致性约束,解决了传统单目视觉里程计算法存在的尺度漂移问题。在KITTI数据集上的定量和定性实验结果表明,OUMVO的位姿估计精度和对新环境的适应能力均优于现有的先进单目视觉里程计方法。 相似文献
13.
14.
为了缓解图像视觉特征与情感语义特征之间存在的鸿沟,减弱图像中情感无关区域对情感分类的影响,提出了一种结合视觉语义联合嵌入和注意力模型的情感分类算法。首先利用自编码器学习图像的视觉特征和情感属性的语义特征的联合嵌入特征,缩小低层次的视觉特征与高层次的语义特征之间的差距;然后提取图像的一组显著区域特征,引入注意力模型建立显著区域与联合嵌入特征的关联,确定与情感相关的显著区域;最后基于这些显著区域特征构建情感分类器,实现图像的情感分类。实验结果表明,该算法有效地改进了现有的图像情感分类方法,显著提高了对测试样本的情感分类精度。 相似文献
15.
16.
提出一种慢运动背景视频序列下基于帧间背景图像匹配的运动目标检测和提取算法。该算法首先使用仿射变换模型来描述慢运动背景图像的运动变化,并使用基于光流约束方法求解该仿射变换模型参数,实现了相邻帧间图像的背景匹配;其次,采用背景匹配后的两帧图像差进行目标检测,使用自适应二值化区分变化与未变化区域;最后,使用形态学等图像算法进行后处理提取运动目标。算法经实验证明,在背景慢运动情况下可以有效地提取出运动目标。 相似文献
17.
针对基于Transformer框架的图像标注任务中提取视觉特征容易引入噪声问题且为了进一步提高视觉的上下文信息,提出了一种基于综合几何关系稀疏自注意力机制的图像标注方法。首先通过结合图像区域的绝对位置、相对位置和空间包含关系提取详细全面的视觉表示,获取图像中潜在的上下文信息;其次提出了注意力层权重矩阵的稀疏化方法,该方法解决了Transformer忽略图像区域的局部性并引入噪声信息的问题;最后,采用了强化学习方法作为指导策略,实现模型在句子级别优化目标序列。通过在MS-COCO数据集上进行的对比实验结果表明,提出的方法在BLEU1、BLEU4、METEOR、ROUGE-L、CIDEr和SPICE指标上分别比基线模型提升了0.2、0.7、0.1、0.3、1.2和0.4,有效提升了图像自动标注的性能。 相似文献
18.
以多视图几何原理为基础,有效结合卷积神经网络进行图像深度估计和匹配筛选,构造无监督单目视觉里程计方法.针对主流深度估计网络易丢失图像浅层特征的问题,构造一种基于改进密集模块的深度估计网络,有效地聚合浅层特征,提升图像深度估计精度.里程计利用深度估计网络精确预测单目图像深度,利用光流网络获得双向光流,通过前后光流一致性原则筛选高质量匹配.利用多视图几何原理和优化方式求解获得初始位姿和计算深度,并通过特定的尺度对齐原则得到全局尺度一致的6自由度位姿.同时,为了提高网络对场景细节和弱纹理区域的学习能力,将基于特征图合成的特征度量损失结合到网络损失函数中.在KITTI Odometry数据集上进行实验验证,不同阈值下的深度估计取得了85.9%、95.8%、97.2%的准确率.在09和10序列上进行里程计评估,绝对轨迹误差在0.007 m.实验结果验证了所提出方法的有效性和准确性,表明其在深度估计和视觉里程计任务上的性能优于现有方法. 相似文献
19.
行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2%和72.8%,优于其他对比方法,实验结果证明了该方法的有效性. 相似文献
20.
Kinect相机不仅能够获取彩色图像,还可以得到相应的深度信息.本文探讨了一种通过Kinect相机来实现里程计的方法,该方法由Kinect相机获取周围环境的连续帧信息,提取并匹配连续帧间的SIFT特征点,获取图像帧的描述子,通过特征点的位置变化计算机器人的位姿、里程编码等,从而实现视觉里程计的功能. 相似文献