基于特征点改进的视觉SLAM定位研究

为改善视觉SLAM(SimultaneousLocalizationandMapping)系统在低纹理环境下定位精度较低的现象,提出一种改进的ORB(OrientedFASTandRotatedBRIEF)特征点提取策略和一种关键帧选择机制;首先采用多尺度分析和基于局部灰度的特征检测方法克服一般ORB算法缺乏尺度和旋转描述的缺点;其次提出一种基于高斯模糊的图像信息增强方法解决传统ORB特征点提取方法在纹理信息不被突出环境下容易失效的问题,并对图像进行象限分割使特征点均匀分布;最后为剔除劣质关键帧,设计了一种综合时间因素与特征点数量因素的关键帧选择机制;将提出的方法移植到ORB_SLAM2上,并在TUM数据集上测试,实验结果表明,视觉SLAM系统的定位误差平均降低14.688%,证实了本文方法的有效性。     

结合图像内容匹配的机器人视觉导航定位与全局地图构建系统

为了解决机器人室内定位时的绑架问题和相似物体的干扰,设计了一种具有图像内容匹配功能的视觉系统,从而使机器人能有效提取关键帧序列构建室内全局地图并实现自主定位。考虑影响图像内容匹配的主要干扰是机器人视角和位移造成的图像畸变,本文通过对室内物体的图像畸变建模与特征分析,设计了一种图像内容匹配方法。该方法以图像重叠区提取、基于子块分解匹配的重叠区重建两部分为核心,可将待匹配的两帧图像畸变调整为一致后再进行内容匹配并准确解算它们的相似度。其能有效利用各个房间内不同的景物和布局信息来消除相似物体的影响,从机器人学习环境时采集的视频中提取空间间距大且重叠相连的关键帧序列建立整栋建筑内部的全局导航地图。机器人工作时,实时视觉的图像内容与地图关键帧序列匹配,提取出与每个时刻视觉图像最相似的关键帧对机器人实施定位。在由3个房间和2条走廊组成的实验区进行了实验测试,结果表明:机器人可有效消除相似物体的干扰,绑架发生时仍可通过与全局地图匹配实施准确自主定位,匹配准确率≥93%,定位精度误差(RMSE)0.5m。     

一种有效的视频序列拼接方法

针对视频序列拼接中容易造成拼接耗时较长、拼接效果不佳等问题,提出一种有效的视频序列拼接方法,首先,利用时域检测窗口对视频序列进行关键帧的提取,其次,利用相邻关键帧间特征点的匹配结合(random sample consensus)算法以及单应矩阵的级联特性,获取相邻关键帧和非相连关键帧间的匹配矩阵,最后通过融合实现了关键帧所表示的视频序列无缝拼接,效果比较理想。     

基于物理的人体空中运动仿真

根据给定的处于关键时刻的人体关键姿态,运用优化方法生成满足牛顿力学的人体运动是人体运动仿真研究的重要问题.由于牛顿力学的强非线性和数值优化方法只能找到局部最优解,将牛顿力学约束直接作为约束条件的优化模型在实践中的收敛性不好.通过将牛顿力学约束转化为目标函数,同时增加对关键时刻的优化,提高了模型的收敛性,使其不依赖于被仿真运动的类型、人体质量参数和关键时刻准确程度等因素.仿真出来的人体运动尽可能地满足了牛顿力学.通过仿真7类复杂的蹦床运动验证了新模型的有效性,同时还将该模型用于人体受力分析和体育运动的新动作设计.     

3D reconstruction with auto-selected keyframes based on depth completion correction and pose fusion

Dense 3D reconstruction is required for robots to safely navigate or perform advanced tasks. The accurate depth information of the image and its pose are the basis of 3D reconstruction. The resolution of depth maps obtained by LIDAR and RGB-D cameras is limited, and traditional pose calculation methods are not accurate enough. In addition, if each image is used for dense 3D reconstruction, the dense point clouds will increase the amount of calculation. To address these issues, we propose a 3D reconstruction system. Specifically, we propose a depth network of contour and gradient attention, which is used to complete and correct depth maps to obtain high-resolution and high-quality depth maps. Then, we propose a method of fusion of traditional algorithms and deep learning for pose estimation to obtain accurate localization results. Finally, we adopt the method of autonomous selection of keyframes to reduce the number of keyframes, the surfel-based geometric reconstruction is performed to reconstruct the dense 3D environment. On the TUM RGB-D, ICL-NIUM, and KITTI datasets, our method significantly improves the quality of the depth maps, the localization results, and the effect of 3D reconstruction. At the same time, we have also accelerated the speed of 3D reconstruction.     

媒资管理系统中新闻节目高效检索的研究

提出了一种基于多特征融合的新闻节目高效检索方法.该方法充分利用媒资管理系统中新闻视频的文字描述和关键帧的图像特征,能够实现视频节目快速、准确的检索,提升新闻检索的性能.将文字描述、人脸和场景图像作为搜索项,通过Fisherfaces和LBP算子相结合的人脸识别算法,以及基于重要性加权的局部直方图匹配算法,实现样例图像与关键帧的匹配.实验结果表明,该方法能够提升媒资管理系统中新闻节目检索的准确度和效率,满足新媒体时代节目快速制作和发布的要求.     

Optimized keyframe extraction for 3D character animations

In this paper, we propose a new method to automatically extract keyframes from animation sequences. Our method can be applied equally to both skeletal and mesh animations. It uses animation saliency computed on the original data to help select the group of keyframes that can reconstruct the input animation with less perception error. For computational efficiency, we perform nonlinear dimension reduction using locally linear embedding and then carry out the optimal search in much lower‐dimensional space. With this approach, reconstruction of the animation from the extracted keyframes shows much better results as compared with earlier approaches. Copyright © 2012 John Wiley & Sons, Ltd.     

融合视频指纹和时空信息的视频检索算法

针对视频检索过程中存在的视频亮度整体漂移、突变干扰以及视频再编辑等问题,提出了一种融合视频指纹特征和关键帧密度的检索算法.该算法首先对视频帧进行区域分割提取视频指纹特征;其次,采用改进的直接时序算法消除亮度漂移等干扰;最后,引入关键帧密度的概念消除了视频再编辑引起的时间跨度问题,同时采用了一种综合的搜索策略.实验结果表明:改进的算法不仅可有效地应对上述问题,而且算法运算量小、查全率与查准率高,具有很好的鲁棒性.     

融合自适应图卷积与Transformer序列模型的中文手语翻译方法

针对手语翻译方法所存在的动作特征提取以及时序翻译方面存在的问题,提出一种融合自适应图卷积AGCN 与Transformer时序模型的AGCN-T手语翻译网络。自适应图卷积网络用于学习手语动作中骨骼节点的交互空间依赖信息;Transformer时序模块捕捉手语动作序列的时间关系特征信息并将其翻译成可理解的手语内容。此外,在预处理部分,提出了一种移动窗口的关键帧提取算法,并用MediaPipe姿态估计算法对关键帧图像序列进行骨架提取。实验表明,该方法在大型中文连续手语数据集CCSL的词错率达到了3.75%,精度为97.87%,优于其他先进的手语翻译方法。     

面向半稠密三维重建的改进单目ORB-SLAM

构建更详细的地图以及估计更精准的相机位姿一直都是同时定位与地图构建（Simultaneous Localization And Mapping,SLAM）技术所追求的目标,但是以上目标与实时性要求、较低的计算代价和受限的计算资源条件是相矛盾的。提出一种在单目ORB-SLAM（Oriented FAST and Rotated BRIEF-SLAM）方法的基础上利用关键帧中提取到的直线特征进行半稠密三维重建的方法。由ORB-SLAM实时提供一组关键帧及其对应的相机位姿信息和一系列地图点,提出一种关键帧再剔除算法进一步减少冗余帧数目,使用直线段提取方法提取各帧中的直线段,使用纯几何约束方法对以上检测得到的直线段进行匹配,生成一个由直线段构成的半稠密三维场景模型。实验结果表明新方法持续稳定的运行,能在低计算代价条件下快速地在线三维重建。