注意力和多重特征融合的图像局部特征检测及描述

针对基于深度学习的图像局部特征检测与描述模型参数大和内存资源消耗大的问题,提出一种结合注意力和多重特征融合的图像局部特征检测及描述算法.首先在不改变图片大小的条件下,使用基础残差块和膨胀卷积搭建基础骨干网络以获得图片的多尺度特征;然后在不增加模型复杂度的前提下,结合注意力机制从而获得更加优良的特征;最后通过改进的跳跃连接将低层语义信息与高级语义信息融合,更利于特征点的检测和描述.实验结果表明,在模型大小远小于同类方法模型的情况下,所提算法在HPatches数据集上表现优异,当阈值选取2～6时总体上的MMA值分别为0.57、0.71、0.78、0.81、0.83,与R2D2相比,分别提升了2.3％、2.4％、1.9％、1.4％、1.1％,提取的特征及描述更加鲁棒.     

结合拆分注意力机制和下一次预期观察的视觉导航

针对深度强化学习视觉导航算法因导航场景变化而导致导航精度下降,影像匹配的实时性和可靠性降低的问题,提出一种融合拆分注意力机制和下一次预期观测(NEO)的视觉导航模型。首先使用ResNest50骨干网络提取当前状态和目标状态的特征以降低网络冗余,利用跨阶段部分连接CSP强化捕获浅层目标特征信息以增强模型的学习能力。然后提出改进的损失函数,使得推理网络更加接近于真实后验,从而智能体能在当前环境下做出最佳决策,进一步提升不同场景下模型的导航精度。在AVD数据集和AI2-THOR场景进行训练及测试,实验结果表明,本文算法导航精度高达96.8%,平均SR提升约3%,平均SPL提升约6%,可以满足导航精度和实时匹配的要求。     

一种基于单纯形法的自适应均衡优化算法

为了提高均衡优化算法(EO)搜索过程中收敛速度慢,易陷入局部最优的问题,提出了一种基于单纯形法的自适应均衡优化算法(SMEO).针对EO算法初始化随机性过高导致的收敛速度问题,利用Sin混沌初始化增强全局搜索过程中的种群多样性,增加算法的搜索能力;通过非线性自适应因子平衡算法的全局和局部搜索能力;最后利用单纯形法的反射...     

融合LSTM的深度强化学习视觉导航

针对目标驱动的视觉导航系统中由于导航的场景变化而导致智能体导航性能大大减弱的问题,提出了一种基于长短时记忆网络(Long Short-Term Memory, LSTM)的深度强化学习(Deep Reinforcement Learning, DRL)视觉导航模型。该模型通过输入当前状态和目标状态的RGB图像来实现视觉导航,在改进原有目标驱动视觉导航模型的基础上,基于历史状态信息,结合LSTM和通用后继表征(Universal Successor Representations, USR)对未来动作决策。在AI2-THOR仿真环境下进行实验,实验结果表明,所提出的模型训练智能体导航性能优异,与其他几种模型相比,平均路径长度减少约6%,平均碰撞率减少40%,模型收敛速度较快。     

Transformer与多尺度注意力的自监督单目图像深度估计

针对现有自监督学习的单目图像深度估计在分辨率较大情况下存在边缘模糊、物体轮廓不清晰等问题，本文提出一种结合视觉Transformer的多尺度通道注意力融合单目图像深度估计网络.首先，设计编码器-解码器模型，将视觉Transformer结构作为编码器在多个尺度上提取特征.其次，设计残差通道注意力融合的解码器，优化提取到的多尺度特征并实现上下级特征融合以提高上下文信息的利用率.最后，在多个尺度下对单目图像进行深度估计.本文提出的算法在KITTI数据集上进行实验.实验结果表明，所提出算法的深度图像质量和物体轮廓信息均高于现有算法，其绝对相对误差、平方相对误差和均方根误差分别达到了0.119、0.857和4.571,在不同阈值下的准确度达到了0.959、0.995和0.999,验证了所提算法的正确性和有效性.