面向RGB-D场景解析的三维空间结构化编码深度网络

有效的RGB-D图像特征提取和准确的3D空间结构化学习是提升RGB-D场景解析结果的关键。目前,全卷积神经网络（FCNN）具有强大的特征提取能力,但是,该网络无法充分地学习3D空间结构化信息。为此,提出了一种新颖的三维空间结构化编码深度网络,内嵌的结构化学习层有机地结合了图模型网络和空间结构化编码算法。该算法能够比较准确地学习和描述物体所处3D空间的物体分布。通过该深度网络,不仅能够提取包含多层形状和深度信息的分层视觉特征（HVF）和分层深度特征（HDF）,而且可以生成包含3D结构化信息的空间关系特征,进而得到融合上述3类特征的混合特征,从而能够更准确地表达RGB-D图像的语义信息。实验结果表明,在NYUDv2和SUNRGBD标准RGB-D数据集上,该深度网络较现有先进的场景解析方法能够显著提升RGB-D场景解析的结果。     

基于超像素空间金字塔模型的场景识别研究

针对以往场景识别研究中将图像分割成大小相等的矩形区域进行特征提取而导致识别率低的问题,提出了一种基于超像素空间金字塔模型的场景识别方法：先对图像做不同分辨率的超像素分割,在得到的每个图像子区域中提取PACT特征,然后利用K-means聚类构建出图像集的视觉词典。在进行场景识别时,将每幅图像所有分割子区域的PACT特征连接成一个特征向量,并加入bag of words特征进行分类,最终的场景分类结果在支持向量机LIBSVM上获得。实验结果表明该算法能够有效提高识别率。     

局部保形映射和AdaBoost方法在滚动轴承故障诊断中的应用

针对滚动轴承故障振动信号的随机性和非平稳性,提出基于局部保形投影(LPP)特征提取和自适应Boosting算法的滚动轴承故障诊断方法。首先对信号构建原始样本数据集合,提取时域、频域及时频域的相关特征,将该特征作为LPP的输入样本,得到维数降低的新数据集合并能尽可能保持原始局部流形结构。将此降维特征向量作为Adaboost输入,建立故障模型,用以识别滚动轴承故障类型。分析滚动轴承正常状态、内圈故障、外圈故障及滚动体故障特性。通过对比试验表明,基于LPP与Adaboost诊断方法识别率较高,可准确有效地对滚动轴承状态和故障进行分类。     

面向交通场景解析的局部和全局上下文注意力融合网络

为解决交通场景解析中局部和全局上下文信息自适应聚合的问题,提出3模块架构的局部和全局上下文注意力融合网络（LGCAFN）。前端的特征提取模块由基于串联空洞空间金字塔池化（CASPP）单元改进的ResNet-101组成,能够更加有效地提取物体的多尺度局部特征;中端的结构化学习模块由8路长短期记忆（LSTM）网络分支组成,可以更加准确地推理物体邻近8个不同方向上场景区域的空间结构化特征;后端的特征融合模块采用基于注意力机制的3阶段融合方式,能够自适应地聚合有用的上下文信息并屏蔽噪声上下文信息,且生成的多模态融合特征能够更加全面且准确地表示物体的语义信息。在Cityscapes标准和扩展数据集上的实验结果表明,相较于逆变换网络（ITN）和对象上下文表示网络（OCRN）等方法,LGCAFN实现了最优的平均交并比（mIoU）,达到了84.0%和86.3%,表明LGCAFN能够准确地解析交通场景,有助于实现车辆自动驾驶。     

A Survey on Partial Retrieval of 3D Shapes

Content-based shape retrieval techniques can facilitate 3D model resource reuse, 3D model modeling, object recognition, and 3D content classification.Recently more and more researchers have attempted to solve the problems of partial retrieval in the domain of computer graphics, vision, CAD, and multimedia.Unfortunately, in the literature, there is little comprehensive discussion on the state-of-the-art methods of partial shape retrieval.In this article we focus on reviewing the partial shape retrieval methods over the last decade, and help novices to grasp latest developments in this field.We first give the definition of partial retrieval and discuss its desirable capabilities.Secondly, we classify the existing methods on partial shape retrieval into three classes by several criteria, describe the main ideas and techniques for each class, and detailedly compare their advantages and limits.We also present several relevant 3D datasets and corresponding evaluation metrics, which are necessary for evaluating partial retrieval performance.Finally, we discuss possible research directions to address partial shape retrieval.     

基于空间结构化推理深度融合网络的RGB-D场景解析

为了弥补RGB-D场景解析中卷积神经网络空间结构化学习能力的不足,本文基于深度学习提出空间结构化推理深度融合网络,内嵌的结构化推理层有机地结合条件随机场和空间结构化推理模型,该层能够较为全面而准确地学习物体所处三维空间的物体分布以及物体间的三维空间位置关系.在此基础上,网络的特征融合层巧妙地利用深度置信网络和改进的条件随机场,该层可以根据融合生成的物体综合语义信息和物体间语义相关性信息完成深度结构化学习.实验结果表明,在标准RGB-D数据集NYUDv2和SUNRGBD上,空间结构化推理深度融合网络分别实现最优的平均准确率53.8%和54.6%,从而有助于实现机器人任务规划、车辆自动驾驶等智能计算机视觉任务.     

一种基于计算机视觉的无人机实时三维重建方法

针对机器人(或无人机)实时的三维重建中面临的噪声干扰和计算量大的问题,提出一种实时的鲁棒性的同时定位和建图的方法:用RGB-D相机精确估计相机位置的同时重建三维环境。关键思想是测量残差函数——用于估计当前帧的移动量,同时用金字塔模型一步步去逼近真实值。提出一种新的衡量标准用于建立关键帧。然后通过与相邻关键帧的三角化投影给全局地图增加地图点。此外,应用图优化来实现全局优化以获取更高的精度。