基于体素特征重组网络的三维物体识别

三维物体识别是计算机视觉领域近年来的研究热点,其在自动驾驶、医学影像处 理等方面具有重要的应用前景。针对三维物体的体素表达形式,特征重组卷积神经网络 VFRN 使用了直接连接同一单元中不相邻的卷积层的短连接结构。网络通过独特的特征重组方式,复 用并融合多维特征,提高特征表达能力,以充分提取物体结构特征。同时,网络的短连接结构 有利于梯度信息的传播,加之小卷积核和全局均值池化的使用,进一步提高了网络的泛化能力, 降低了网络模型的参数量和训练难度。ModelNet 数据集上的实验表明,VFRN 克服了体素数据 分辨率低和纹理缺失的问题,使用较少的参数取得了优于现有方法的识别准确率。     

权值优化集成卷积神经网络及其在三维模型识别中的应用

三维模型应用广泛,如何有效地管理和分类这些数据库中的三维模型一直是人们 关注的问题。然而,由于不同三维模型之间的相似性难以测量,因而很难获得一种稳健且广泛 适用的三维模型分类算法。为此,提出了一种权值优化集成卷积神经网络(WOTCNN)模型,并 将其应用到三维模型的分类识别中。首先,获取三维模型的深度投影视图来最大限度地保留三维 模型的空间信息。然后,采用调整的 VGG 网络对各角度的深度投影图像进行训练并提取预测概 率值。最后,通过加权集成算法获得完整三维模型的最终分类结果。对 ModelNet10 及 ModelNet40 数据库的实验表明：三维模型的平均分类准确率达到 92.84%和 86.51%。在预测性能方面,该网 络优于普通的单卷积神经网络;在三维模型识别方面,其分类准确率能够得到显著提升。     

基于体素模型与卷积神经网络的三维模型分类算法

针对传统三维模型分类算法时间复杂度较高、分类准确率较低等问题,提出一种基于体素模型与卷积神经网络的三维模型分类算法。将原始模型表示为八叉树结构的体素模型以优化模型的性状表达,使用设计的卷积神经网络对体素模型进行特征提取以及分类运算。实验结果表明,与其他三维模型分类算法相比,该分类算法的显存占用较小,同时具有较低的时间复杂度和较高的分类能力。     

基于定位不确定性的鲁棒3D目标检测方法

针对3D点云训练数据因人工标注不精确而导致模型定位不准确的问题,提出了一种基于定位不确定性的鲁棒3D目标检测方法。首先,以基于3D体素网格的稀疏嵌入卷积检测（SECOND）网络作为基础网络,在候选区域生成网络（RPN）的基础上增加对定位不确定性的预测;然后,在训练过程中使用高斯和拉普拉斯两种分布模型对定位不确定性进行建模,并对定位损失函数进行重新定义;最后,在预测过程中结合定位不确定性和分类置信度作为目标置信度,使用阈值过滤和非极大值抑制（NMS）方法筛选候选目标。实验结果表明,在KITTI 3D目标检测数据集上,所提算法对于车辆类别的检测准确率在中等难度上比SECOND网络提高了0.5个百分点;当在训练数据中额外加入扰动模拟噪声的情况下,所提算法的检测准确率比SECOND网络最多提高了3.1个百分点。所提算法提高了3D目标检测准确率,减少了误检且提高了3D边界框的精度,并且对于带噪声的数据更鲁棒。     

Graph structure analysis based on complex network

In this paper, we propose a novel method to characterize graph structures based on complex network model. First, we show that a structural graph can be modeled as a small-world complex network, and, then, Complex Network Characteristics (including topological and dynamic characteristics) Representation of a Graph (CNCRG) is obtained. Based on these characteristics, graph classification/clustering for objects viewed from different directions and characteristic views identification for single objects are investigated on one synthetic image dataset and two real image datasets. Our experimental results showed that CNCRG achieves better object classification/clustering performance and also provides well-structured view spaces based on multi-dimensional scaling (MDS) and principal component analysis (PCA) embedding methods for graphs extracted from 2D views of 3D objects.     

3D object recognition technique using multiple 2D views for Arabic sign language

Some objects in specific poses cannot be distinguished using a single view. A model is proposed and developed for 3D object recognition based on multiple-views; it was applied on hand postures recognition. A pulse-coupled neural network is used to generate features vector for single view. Two views with different view angles are used; each view generates its features’ vector. The two 2D-vectors are then linearly combined into one 3D vector. The hand postures are then combined to construct a dynamic gesture (word). The reconstruction is performed using best-match search algorithm. The experiment was conducted on 50 words and the result was 96% recognition accuracy confirming objects dataset offline extendibility.     

基于残差3DCNN和三维Gabor滤波器的高光谱图像分类

高光谱图像含有数百个波段,包含丰富的光谱信息,因此被广泛应用于地物分类中,但仍存在 着维数灾难的问题。高光谱图像中同时也含有丰富的纹理信息,有效利用纹理信息能够显著提高分类精度。三 维 Gabor 滤波器不仅能够保留图像丰富的光谱信息,还能提取到图像的纹理特征。为了充分利用高光谱图像的 特征,提出一种基于三维 Gabor 和残差三维卷积神经网络(Res-3DCNN)的分类方法。三维卷积神经网络(3DCNN) 能够直接对三维立方体数据进行处理,提取到深层纹理-光谱信息,然而随着网络层的加深会产生网络退化问 题,因此利用残差思想对 3DCNN 模型进行改进。在 PaviaU,Indian Pines 和 Salinas 3 个公共高光谱图像数据 集上进行实验,分别取得 99.17%,97.40%,98.56%的平均分类精度,结果表明该方法能有效提高高光谱图像 的地物分类精度。     

基于环查询和通道注意力的点云分类与分割

点云数据的特征处理是机器人、自动驾驶等领域中三维物体识别技术的关键组成部分,针对点云局部特征信息重复提取、点云物体整体几何结构缺乏识别等问题,提出一种基于环查询和通道注意力的点云分类与分割网络。首先将单层环查询和特征通道注意力机制进行结合,减少局部信息冗余并加强局部特征;然后计算法线变化识别出物体边缘、拐角区域的高响应点,并将其法线特征加入全局特征表示中,加强物体整体几何结构的识别。在 ModelNet40 和 ShapeNet Part 数据集上与多种点云网络进行比较,实验结果表明,该网络不仅有较高的点云分类与分割精度,同时在训练时间和内存占用等方面也优于其他方法,此外对于不同输入点云数量具有较强鲁棒性。因此该网络是一种有效、可行的点云分类与分割网络。     

异构信息网络数据上的融合概率图模型

针对异构信息网络中存在多种数据目标类型,以及多种数据连接关系的问题,将多个主题模型和马尔科夫逻辑网相结合,提出了一种融合概率图模型。多个主题模型可以分别描述不同数据目标子空间的主题分布,实现对多种数据目标的预处理。用一阶逻辑子句描述的连接规则构建马尔科夫逻辑网,将每个主题模型中的不同数据目标连接起来。通过使用Gibbs采样,可以对异构网络进行参数学习和推理。在国际通用的异构信息网络DBLP数据集上的实验结果表明,使用融合概率图模型能够更好地表示不同的数据目标和连接关系。实验对比了4种典型的分类方法,多次采样得到的分类结果稳定,对作者、文章和会议取得了较好的分类结果。     

感知器残差网络和超限学习机融合的3D物体识别

目的 随着3D扫描技术和虚拟现实技术的发展,真实物体的3D识别方法已经成为研究的热点之一。针对现有基于深度学习的方法训练时间长,识别效果不理想等问题,提出了一种结合感知器残差网络和超限学习机（ELM）的3D物体识别方法。方法 以超限学习机的框架为基础,使用多层感知器残差网络学习3D物体的多视角投影特征,并利用提取的特征数据和已知的标签数据同时训练了ELM分类层、K最近邻（KNN）分类层和支持向量机（SVM）分类层识别3D物体。网络使用增加了多层感知器的卷积层替代传统的卷积层。卷积网络由改进的残差单元组成,包含多个卷积核个数恒定的并行残差通道,用于拟合不同数学形式的残差项函数。网络中半数卷积核参数和感知器参数以高斯分布随机产生,其余通过训练寻优得到。结果 提出的方法在普林斯顿3D模型数据集上达到了94.18%的准确率,在2D的NORB数据集上达到了97.46%的准确率。该算法在两个国际标准数据集中均取得了当前最好的效果。同时,使用超限学习机框架使得本文算法的训练时间比基于深度学习的方法减少了3个数量级。结论 本文提出了一种使用多视角图识别3D物体的方法,实验表明该方法比现有的ELM方法和深度学习等最新方法的识别率更高,抗干扰性更强,并且其调节参数少,收敛速度快。     

基于旋转不变深度层次聚类网络的点云分析

由于解决了三维点云的排列不变性问题,基于三维点云的深度学习方法在计算机三维视觉领域中取得了重大的突破,人们逐渐倾向于使用三维点云来描述物体并基于神经网络结构来提取点云的特征.然而,现有的方法依然无法解决旋转不变性问题,使得目前的模型鲁棒性较差;同时,神经网络结构的设计过于启发式,没有合理利用三维点云的几何结构与分布特性,导致网络结构的表达能力有待提升.鉴于此,提出了一种具有良好兼容性的严格旋转不变性表达以及深度层次类簇网络,试图从理论与实践两个层面解决上述问题.在点云识别、部件分割、语义分割这3个经典任务上进行了旋转鲁棒性对比实验,均取得了最优的效果.     

A topology-preserving parallel 3D thinning algorithm for extracting the curve skeleton

We introduce a new topology-preserving 3D thinning procedure for deriving the curve voxel skeleton from 3D binary digital images. Based on a rigorously defined classification procedure, the algorithm consists of sequential thinning iterations each characterized by six parallel directional sub-iterations followed by a set of sequential sub-iterations. The algorithm is shown to produce concise and geometrically accurate 3D curve skeletons. The thinning algorithm is also insensitive to object rotation and only moderately sensitive to noise. Although this thinning procedure is valid for curve skeleton extraction of general elongated objects, in this paper, we specifically discuss its application to the orientation modeling of trabecular biological tissues.     

利用空间结构信息的三维点云模型分类

现有的三维点云模型分类方法未考虑模型本身的空间结构信息,忽略了模型上点与点之间的相互关系.为此,提出一种能够提取模型空间结构信息的转换网络,实现三维点云模型的分类.首先对三维模型采样分组,得到其球形邻域,计算每个邻域内点的浅层特征,同时使用转换网络将邻域的空间结构信息转换为特征权重,并通过特征映射将特征权重和浅层特征输出为具有该邻域空间结构信息的高维特征.然后聚合各个邻域的高维特征得到模型的全局特征,并通过多个尺度逐层迭代输出分类结果.实验结果表明,在ModelNet40上的分类准确率达到92.8%,高于目前的主流算法.     

融合多维度卷积神经网络的肺结节分类方法

针对CT图像肺结节分类任务中分类精度低,假阳性高的问题,提出了一种加权融合多维度卷积神经网络的肺结节分类模型,该模型包含两个子模型：基于二维图像的多尺度密集卷积网络模型,以捕获更宽泛的结节变化特征并促进特征重用;基于三维图像的三维卷积神经网络模型,以充分利用结节空间上下文信息。使用二维和三维CT图像训练子模型,根据子模型分类误差计算其权重,对子模型分类结果进行加权融合,得到最终分类结果。该模型在公共数据集LIDC-IDRI上分类准确率达到94.25%,AUC值达到98%。实验结果表明,加权融合多维度模型可以有效地提升肺结节分类性能。     

三维立体视觉机械臂智能抓取分类系统的开发

采用工业相机、工业投影机、普通摄像头、计算机和机械臂开发了一套具有三维立体视觉的机械臂智能抓取分类系统。该系统采用自编软件实现了对工业相机、工业投影机的自动控制和同步，通过前期研究提出的双波长条纹投影三维形貌测量法获取了物体的高度信息，结合opencv技术和普通摄像头获取的物体二维平行面信息，实现了物体的自动识别和分类；利用串口通信协议，将上述处理后的数据传送至机械臂，系统进行几何姿态解算，实现了智能抓取，并能根据抓手上压力反馈自动调节抓手张合程度，实现自适应抓取。经实验证明该系统能通过自带的快速三维形貌获取装置实现准确、快速的抓取工作范围内的任意形状的物体并实现智能分类。     

点云场景下基于结构感知的车辆检测

在自动驾驶领域,计算机对周围环境的感知和理解是必不可少的.其中,相比于二维目标检测,三维点云目标检测可以提供二维目标检测所不具有的物体的三维方位信息,这对于安全自动驾驶是至关重要的.针对三维目标检测中原始输入点云到检测结果之间跨度大的问题,首先,提出了基于结构感知的候选区域生成模块,其中定义了每个点的结构特征,充分利用了三维点云目标检测数据集提供的监督信息,通过预测该特征,网络可以学习到更具有鉴别能力的特征,从而提高候选框的生成质量;其次,将该特征加入到候选框微调阶段中,使得点云上下文特征和局部特征更加丰富.在三维点云目标检测数据集进行了实验,结果表明,文中方法能够在增加极少计算量的前提下,在候选区域生成阶段使用50个候选框0.7的IoU阈值下,提高超过13%的召回率;在候选框微调阶段,3种难度目标框的检测效果均有明显提升,表明了该方法对三维点云目标检测的有效性.     

局部双目视差回归的目标距离估计

目的 双目视觉是目标距离估计问题的一个很好的解决方案。现有的双目目标距离估计方法存在估计精度较低或数据准备较繁琐的问题,为此需要一个可以兼顾精度和数据准备便利性的双目目标距离估计算法。方法 提出一个基于R-CNN（region convolutional neural network）结构的网络,该网络可以实现同时进行目标检测与目标距离估计。双目图像输入网络后,通过主干网络提取特征,通过双目候选框提取网络以同时得到左右图像中相同目标的包围框,将成对的目标框内的局部特征输入目标视差估计分支以估计目标的距离。为了同时得到左右图像中相同目标的包围框,使用双目候选框提取网络代替原有的候选框提取网络,并提出了双目包围框分支以同时进行双目包围框的回归;为了提升视差估计的精度,借鉴双目视差图估计网络的结构,提出了一个基于组相关和3维卷积的视差估计分支。结果 在KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上进行验证实验,与同类算法比较,本文算法平均相对误差值约为3.2%,远小于基于双目视差图估计算法（11.3%）,与基于3维目标检测的算法接近（约为3.9%）。另外,提出的视差估计分支改进对精度有明显的提升效果,平均相对误差值从5.1%下降到3.2%。通过在另外采集并标注的行人监控数据集上进行类似实验,实验结果平均相对误差值约为4.6%,表明本文方法可以有效应用于监控场景。结论 提出的双目目标距离估计网络结合了目标检测与双目视差估计的优势,具有较高的精度。该网络可以有效运用于车载相机及监控场景,并有希望运用于其他安装有双目相机的场景。