基于单目视觉里程计的移动机器人自定位方法

为解决在列车底部直线移动的机器人对风管进行识别定位摘解时需到达两节车厢之间的自定位问题,提出一种基于单目视觉里程计的自定位方法.该方法根据单目相机在列车底部竖直向上拍摄时图像颜色较深,而当相机将要到达两节车厢之间时所拍摄图像中会有明显亮度变化区域的特点,选取关键帧图像,通过图像处理提取出图像中目标区域信息,根据所提出的运动估计算法估计相机自身的运动.最后,通过实验计算得到该方法的绝对误差为0.059 s,相对误差为1.16％,验证了该方法的可行性.     

结合关键帧提取的视频-文本跨模态实体分辨双重编码方法

现有的视频-文本跨模态实体分辨方法在视频处理上均采用均匀取帧的方法,必然导致视频信息的丢失,增加问题的复杂度。针对这一问题,提出一种结合关键帧提取的视频-文本跨模态实体分辨双重编码方法（DEIKFE）。以充分保留视频信息表征为前提,设计关键帧提取算法提取视频中的关键帧,获得视频关键帧集合表示。对于视频关键帧集合和文本,采用多级编码的方法,分别提取表征视频和文本的全局、局部和时序的特征,将其进行拼接形成多级编码表示。将该编码表示映射至共同嵌入空间,采用强负样本跨模态三元组损失对模型参数进行优化,使得匹配的视频-文本相似度越大,而不匹配的视频-文本相似度越小。通过在MSR-VTT、VATEX两个数据集上进行实验验证,与现有方法进行对比,在总体性能R@sum上分别提升了9.22%、2.86%,证明了该方法的优越性。     

基于自分裂竞争学习算法的关键帧提取

模糊C均值算法在进行关键帧提取时难以取得全局最优值,导致所提取的关键帧无法完整地描述镜头信息。提出一种基于自分裂竞争学习（SSCL）的关键帧提取方法,根据SSCL的分裂机制确定全局最优类数目的特点来确定关键帧的数量,同时根据SSCL的竞争学习机制有效确定类中心的特点来确定准确的帧图像作为视频的关键帧。实验证明基于SSCL的关键帧提取的方法比基于模糊C均值关键帧提取的方法能够更好地描述镜头内容。     

虚拟人动作编辑器关键技术研究

针对现有虚拟人运动生成技术的不足,采用关键帧技术,捅值算法,三维空间中模型的拾取算法,开发出虚拟人动作编辑器系统。该系统可实现虚拟人在虚拟环境中各种动作仿真,现已成功应用于某城市列车驾驶模拟仿真器的视景仿真系统。     

基于机器视觉的装配动作自动分割与识别

在对装配作业人员进行动作分析的过程中,动作的识别和记录一般通过手工操作完成,这种方法不仅工作量大,而且效率低。为解决该问题,提出了一种新的基于机器视觉的装配动作自动分割与识别方法。首先利用基于内容的动态关键帧提取技术提取视频流中的关键帧,实现动作的自动分割;然后提取感兴趣区域的尺度不变局部特征点,据此得出关键帧的特征向量;最后,基于支持向量机构建特征向量分类器对动作进行分类。装配线上样本视频的实验结果表明,所提方法达到了96%的正确识别率。     

一种基于类haar小波的MCTF视频编码方案

在传统的基于运动补偿的时间滤波小波视频编码方案中,帧组尺寸和低通帧位置都是固定的,没有考虑到视频序列中运动的性质.本文提出了一种类似haar小波的基于运动补偿的时间滤波编码方案,利用互信息技术,根据视频的运动特征自适应的选择帧组尺寸和低通帧位置.同时,根据选定的帧组尺寸和低通帧位置决定时间上的编码层次.大量的实验比较了提出的方法和传统方法的压缩性能.当视频序列运动较为剧烈时,本文提出的自适应选择低通帧方法较固定低通帧方法的PSNR提高约0.3~0.5dB;当视频序列中运动缓急不一,如频繁的画面切换,本文提出的自适应的选择帧组尺寸的方法能取得更好的效果.     

结合图像内容匹配的机器人视觉导航定位与全局地图构建系统

为了解决机器人室内定位时的绑架问题和相似物体的干扰,设计了一种具有图像内容匹配功能的视觉系统,从而使机器人能有效提取关键帧序列构建室内全局地图并实现自主定位。考虑影响图像内容匹配的主要干扰是机器人视角和位移造成的图像畸变,本文通过对室内物体的图像畸变建模与特征分析,设计了一种图像内容匹配方法。该方法以图像重叠区提取、基于子块分解匹配的重叠区重建两部分为核心,可将待匹配的两帧图像畸变调整为一致后再进行内容匹配并准确解算它们的相似度。其能有效利用各个房间内不同的景物和布局信息来消除相似物体的影响,从机器人学习环境时采集的视频中提取空间间距大且重叠相连的关键帧序列建立整栋建筑内部的全局导航地图。机器人工作时,实时视觉的图像内容与地图关键帧序列匹配,提取出与每个时刻视觉图像最相似的关键帧对机器人实施定位。在由3个房间和2条走廊组成的实验区进行了实验测试,结果表明:机器人可有效消除相似物体的干扰,绑架发生时仍可通过与全局地图匹配实施准确自主定位,匹配准确率≥93%,定位精度误差(RMSE)0.5m。     

基于关键帧的人体行为识别方法

提出了一种基于关键帧的人体行为识别方法。利用关于弧长的方向函数对人体形状进行描述以及通过形状空间中两点间的测地线距离对形状间的相似性进行度量,提取视频序列中的关键帧,通过模板匹配的方法实现对行为的识别。对CASIA单人行为数据库和Weismann数据库进行测试,实验结果表明该方法具有较高的识别率。     

基于动态关键帧的自然地标景象匹配视觉导航

为研究GPS故障或失效情况下无人机的备用导航技术,提出了基于自然地标的动态关键帧号象匹配视觉导航算法.首先,分析机载摄像机获取的实时图序列,自主寻找并描述特征明显的自然地标;然后,将包含自然地标的关键帧抽取出来,并与卫星数字基准图进行景象配准,计算其大地坐标作为辅助定位的依据.利用实时图帧间的相关性,将实时图当前帧与计算的动态关键帧图像进行"相对"景象匹配,进而实现当前帧在基准图上的精确定位.实验结果表明,该算法在提高配准概率的同时可大幅度提高景象匹配的实时性与精确性.     

基于压缩域的视频关键帧提取算法

本文首先介绍了目前的关键帧提取技术,然后提出了一种基于运动特征利用模糊推理算法从MPEG视频流中提取关键帧的方法。