图卷积神经网络在点云语义分割中的研究综述

点云数据蕴含丰富的空间信息,可以通过激光雷达、3D传感器等设备大量采集,被广泛应用于自动驾驶、虚拟现实、城市规划和3D重建等领域。点云语义分割作为3D场景理解、识别和各种应用的基础而受到广泛关注。但不规则的点云数据无法直接作为传统卷积神经网络的输入,而图卷积神经网络可以利用图卷积算子直接对点云数据进行特征提取,使得图卷积神经网络已逐步成为点云语义分割领域的一个重要研究方向。基于此,对图卷积神经网络在3D点云语义分割应用中的研究进展进行综述,根据图卷积的类型对基于图卷积神经网络的点云语义分割方法进行分类,按照不同类别对比分析主流方法的模型架构及其特点,描述几个相关点云语义分割领域常用的公共数据集和评价指标,对点云语义分割方法进行总结和展望。     

基于图卷积网络的文本分割模型

文本分割的主要任务是将文本按照主题相关的原则划分为若干个相对独立的文本块。针对现有文本分割模型提取文本段落结构信息、语义相关性及上下文交互等细粒度特征的不足,提出了一种基于图卷积网络（GCN）的文本分割模型TS-GCN。首先,基于文本段落的结构信息与语义逻辑构建出文本图;然后,引入语义相似性注意力来捕获文本段落节点间的细粒度相关性,并借助GCN实现文本段落节点高阶邻域间的信息传递,以此增强模型多粒度提取文本段落主题特征表达的能力。将所提模型与目前常用作文本分割任务基准的代表模型CATS及其基础模型TLT-TS进行对比。实验结果表明在Wikicities数据集上,TS-GCN在未增加任何辅助模块的情况下比TLT-TS的评价指标Pk值下降了0.08个百分点;在Wikielements数据集上,相较于CATS和TLT-TS,所提模型的Pk值分别下降了0.38个百分点和2.30个百分点,可见TLT-TS取得了较好的分割效果。     

基于孪生自适应图卷积算法的点云分类与分割

点云数据具有稀疏性、不规则性和置换不变性,缺乏拓扑信息,导致它的特征难以被提取,为此,提出一种孪生自适应图卷积算法（SAGCA）进行点云分类与分割。首先,构建特征关系图挖掘不规则、稀疏点云特征间的拓扑关系;其次,引入共享卷积学习权重的孪生构图思想,保证点云的置换不变性,使拓扑关系表达更准确;最后,采用整体、局部两种结合方式,将SAGCA与各种处理点云数据的深度学习网络相结合,增强网络的特征提取能力。分别在ScanObjectNN、ShapeNetPart和S3DIS数据集上进行分类、对象部件分割和场景语义分割实验的结果表明,相较于PointNet++基准网络,基于同样的数据集和评价标准,SAGCA分类实验的类别平均准确率（mAcc）提高了2.80个百分点,对象部件分割实验的总体类别平均交并比（IoU）提高了2.31个百分点,场景语义分割实验的类别平均交并比（mIoU）提高了2.40个百分点,说明SAGCA能有效增强网络的特征提取能力,适用于多种点云分类分割任务。     

基于膨胀图卷积与离群点过滤的残缺点云配准

由于点云在非欧几里德空间中,受到结构不规则、噪声、离群点等不利因素的影响,如何准确配准残缺点云,仍然是一个具有挑战性的任务。针对此任务,提出了一种有效的残缺点云配准网络。为了有效提取局部点云的细粒度特征,设计了一个密集膨胀图卷积模块,通过设置不同的膨胀率增大感受野,该模块中的密集连接形式,能够在有效利用特征的同时,加强特征间的信息传递。在所提出的网络结构中,基于多层感知器的离群点过滤模块,通过利用上下文标准化过滤掉不匹配的点对。在该网络中,匹配点云所需要的转换参数,利用奇异值分解模块获取。在三个广泛使用的数据集ModelNet40、ShapeNetCore与Real Data上的实验结果,验证了所提出网络的有效性。     

基于图卷积网络的脑胶质瘤核磁共振图像分割

近年来基于卷积神经网络(CNN)的图像分割应用已十分广泛, 在特征提取的部分取得了很大进展. 然而随着卷积层数越来越深, 感受野不断增大, 使模型丢失局部特征信息进而影响模型性能. 使用图卷积网络(GCN)处理图数据结构的信息, 能够在保留局部特征同时不随层数的加深而丢失局部信息. 本文主要研究将基于CNN结构的对称全卷积网络(U-Net)特征提取与基于GCN的图像分割结合, 提取全局与局部、浅层与深层的多尺度特征集应用于多模态脑胶质瘤核核磁共振(MR)序列图像分割, 可分为两个阶段: 第1阶段利用 U-Net 对多模态脑核磁共振胶质瘤MR序列图像进行特征提取, 通过多个池化层实现多尺度特征提取及上采样进行特征融合, 其中底层输出较低级别特征, 高层输出更加抽象的高级特征; 第2阶段通过膨胀邻域及稀疏化处理将 U-Net 获得的特征图数据转化为 GCN 所需的图结构数据, 将图像分割问题转化为图节点分类问题, 最后通过余弦相似度量对图结构数据进行分类. 在BraTS 2018公开数据库上的实验结果取得分割准确度0.996、灵敏度0.892的效果. 相比其他深度学习模型, 本方法通过多尺度特征融合, 利用GCN建立高低级别特征的拓扑连接, 确保局部信息不丢失以取得较好的分割效果, 能够胜任临床脑胶质瘤核磁共振图像的分析需求, 进而有效提高脑胶质瘤诊断精度.     

融合图卷积和差异性池化函数的点云数据分类分割模型

目的 深度网络用于3维点云数据的分类分割任务时,精度与模型在全局和局部特征上的描述能力密切相关。现有的特征提取网络,往往将全局特征和不同尺度下的局部特征相结合,忽略了点与点之间的结构信息和位置关系。为此,通过在分类分割模型中引入图卷积神经网络（graph convolution neural network,GCN）和改进池化层函数,增强局部特征表征能力和获取更丰富的全局特征,改善模型对点云数据的分类分割性能。方法 GCN模块通过K近邻算法构造图结构,利用相邻点对的边缘卷积获取局部特征,在深度网络模型中动态扩展GCN使模型获得完备的局部特征。在池化层,通过选择差异性的池化函数,联合提取多个全局特征并进行综合,保证模型在数据抖动时的鲁棒性。结果 在ModelNet40、ShapeNet和S3DIS（stanford large-scale 3D indoor semantics）数据集上进行分类、部分分割以及语义场景分割实验,验证模型的分类分割性能。与PointNet相比,在ModelNet40分类实验中,整体精度和平均分类精度分别提升4%和3.7%;在ShapeNet部分分割数据集和S3DIS室内场景数据集中,平均交并比（mean intersection-over-union, mIoU）分别高1.4%和9.8%。采用不同的池化函数测试结果表明,本文提出的差异性池化函数与PointNet提出的池化函数相比,平均分类精度提升了0.9%,有效改善了模型性能。结论 本文改进的网络模型可以有效获取点云数据中的全局和局部特征,实现更优的分类和分割效果。     

用于推荐系统的图卷积交叉网络

推荐系统中,因子分解机(FM)等特征交叉模型通常孤立地对待每个用户-物品交互样本,无法显式地利用样本中对象之间的隐含关系,造成了信息孤岛问题,导致学到的特征嵌入不是是最优的、冷门物品无法获得精准的推荐.因此,论文提出结合图表示学习和特征交叉的图卷积交叉网络(GraphCross):图卷积部分利用不同训练样本中对象的关联性构建异构图,并在此基础之上进行图卷积,使得生成的对象嵌入囊括其紧密相关的邻域节点对象的信息,破除了样本的孤立状态;特征交叉部分为FM模型,利用图卷积网络生成的对象嵌入构建特征交叉.GraphCross亦可推广为基于图表示学习-特征交叉的推荐算法框架.实验结果表明,利用图结构可有效提升推荐系统性能,尤其是针对冷门物品的推荐.     

基于图卷积网络的运动想象识别

运动想象识别将大脑的神经活动信号转为编码输出以实现意念控制,是脑机接口的一个重要研究方向.近年来深度学习算法的应用进一步提高了运动想象识别的准确率,但是当前基于深度学习的运动想象分析都将多路脑电信号作为二维矩阵信号,忽视了不同节点的空间关联信息.为了解决这个问题,将图卷积网络算法应用到运动想象分类中,通过多个节点脑电信...     

基于BTM图卷积网络的短文本分类方法

由于短文本长度较短,在分类时会面临数据稀疏和语义模糊等问题.提出新型图卷积网络BTM_GCN,该网络利用双项主题模型(Biterm Topic Model,BTM)在短文本数据集上训练出固定数量的文档级潜在主题,并作为一种节点嵌入到文本异构图中,再与异构图中的文档节点进行连接,最后利用图卷积网络来捕获文档、词与主题节点...     

3维牙颌模型牙齿分割的路径规划方法

目的 从3维牙颌模型上分割出单颗牙齿是计算机辅助正畸系统的重要步骤。由于3维测量分辨率和网格重建精度的有限性,三角网格牙颌模型上牙龈和牙缝边界往往融合在一起,使得单颗牙齿的自动分割变得极为困难。传统方法容易导致分割线断裂、分支干扰等问题,且手工交互较多,为此提出一种新颖的基于路径规划技术的单颗牙齿自动分割方法。方法 为避免在探测边界时牙龈和牙缝相互干扰,采用牙龈路径和牙缝路径分开规划策略。首先基于离散曲率分析和一种双重路径规划法搜索牙龈分割路径,并基于搜索到的牙龈路径利用图像形态学和B样条拟合技术构建牙弓曲线;然后综合牙龈路径和牙弓曲线的形态特征探测牙龈路径上的牙缝凹点以划界每颗牙齿的牙龈边界轮廓,并通过匹配和搜索牙龈边界轮廓上颊舌侧凹点间的最优路径确定齿间牙缝边界路径;最后细化整个路径以获取每颗牙齿精确的封闭分割轮廓。结果 对不同畸形程度的患者牙颌模型进行分割实验,结果表明,本文方法对于严重畸形的牙齿能够产生正确的分割结果,而且简单快速,整个分割过程基本能够控制在20 s以内。和现有方法相比,本文方法具有较少的人工干预和参数调整,除了在个别牙齿边界较为模糊的位置需要手动调整外,大部分情况都是自动的。结论 提出的路径规划方法具有强大的抗干扰能力,能够有效克服牙缝牙沟等分支干扰以及分割线断裂等问题,最大程度地减少人工干预,适用于各类畸形牙患者模型的牙齿分割。     

时空图卷积网络与注意机制的视频目标分割

目的 从大量数据中学习时空目标模型对于半监督视频目标分割任务至关重要,现有方法主要依赖第1帧的参考掩膜（通过光流或先前的掩膜进行辅助）估计目标分割掩膜。但由于这些模型在对空间和时域建模方面的局限性,在快速的外观变化或遮挡下很容易失效。因此,提出一种时空部件图卷积网络模型生成鲁棒的时空目标特征。方法 首先,使用孪生编码模型,该模型包括两个分支：一个分支输入历史帧和掩膜捕获序列的动态特征,另一个分支输入当前帧图像和前一帧的分割掩膜。其次,构建时空部件图,使用图卷积网络学习时空特征,增强目标的外观和运动模型,并引入通道注意模块,将鲁棒的时空目标模型输出到解码模块。最后,结合相邻阶段的多尺度图像特征,从时空信息中分割出目标。结果 在DAVIS（densely annotated video segmentation）-2016和DAVIS-2017两个数据集上与最新的12种方法进行比较,在DAVIS-2016数据集上获得了良好性能,Jacccard相似度平均值（Jaccard similarity-mean,J-M）和F度量平均值（F measure-mean,F-M）得分达到了85.3%,比性能最高的对比方法提高了1.7%;在DAVIS-2017数据集上,J-M和F-M得分达到了68.6%,比性能最高的对比方法提高了1.2%。同时,在DAVIS-2016数据集上,进行了网络输入与后处理的对比实验,结果证明本文方法改善了多帧时空特征的效果。结论 本文方法不需要在线微调和后处理,时空部件图模型可缓解因目标外观变化导致的视觉目标漂移问题,同时平滑精细模块增加了目标边缘细节信息,提高了视频目标分割的性能。     

融合知识图谱和轻量级图卷积网络推荐系统的研究

基于协同过滤的算法是推荐系统中最重要的方法,由于冷启动和数据稀疏性的特点,限制了其推荐性能。为了应对以上问题,提出了知识图谱和轻量级图卷积网络推荐系统相结合的模型,该模型通过将知识图谱中的各个实体（项目）进行多次迭代嵌入传播以获取更多的高阶邻域信息,通过轻量聚合器进行聚合,进而预测用户和项目之间的评分。最后,在3个真实的数据集上MovieLens-20M、Last.FM和Book-Crossing的实验结果表明,该模型与其他基准模型相比可以得到较好的性能。     

基于图卷积网络嵌入社交关系的毕业去向预测

针对现有学生毕业去向预测研究工作忽略了社交关系对学生毕业去向选择的潜在影响问题,提出一种基于社交图嵌入的自注意力模型(social graph embedding-based self-attention neural network,SGE-SANN)对学生毕业去向进行预测.首先处理包含共性和个性的社交关系,并使用图卷积神经网络将其嵌入到学生成绩特征之中;然后引入自注意力机制平衡影响学生毕业去向的特征因子;最后由多层投影层进行特征融合与预测.在公开数据集上进行的实验证明了SGE-SANN模型的优越性.     

工业过程关键指标预测的知识协同进化增强图卷积网络方法

在流程工业关键变量预测领域, 已有研究致力于将过程知识与大数据相结合, 以实现更高的准确性, 降低过拟 合风险和提高可解释性. 然而, 现有工作存在准确的先验知识构建成本高、无法从丰富的数据中挖掘知识等问题, 限制 了这些方法在实际工业过程中的广泛应用. 为了解决这些挑战, 本文提出了一种基于知识协同进化的增强图卷积网络方 法. 首先, 利用易获取的过程流图构建低成本的粗粒度流程知识. 然后, 在图卷积神经网络模型训练中引入图探索, 实现 知识更新. 最后, 为了降低知识复杂度并保持一致性, 设计了一种知识过滤机制. 所提出的方法在基准的脱丁烷塔工艺 过程上进行了验证. 实验结果表明, 该方法具有出色的预测准确性, 并获得高质量的新知识.     

面向COVID-19疫情预测的图卷积神经网络时空数据学习

目的 当前的疾病传播研究主要集中于时序数据和传染病模型,缺乏运用空间信息提升预测精度的探索和解释。在处理时空数据时需要分别提取时间特征和空间特征,再进行特征融合得到较为可靠的预测结果。本文提出一种基于图卷积神经网络（graph convolutional neural network,GCN）的时空数据学习方法,能够运用空间模型端对端地学习时空数据,代替此前由多模块单元相集成的模式。方法 依据数据可视化阶段呈现出的地理空间、高铁线路、飞机航线与感染人数之间的正相关关系,将中国各城市之间的空间分布关系和交通连接关系映射成网络图并编码成地理邻接矩阵、高铁线路直达矩阵、飞机航线直达矩阵以及飞机航线或高铁线路直达矩阵。按滑动时间窗口对疫情数据进行切片后形成张量,依次分批输入到图深度学习模型中参与卷积运算,通过信息传递、反向传播和梯度下降更新可训练参数。结果 在新型冠状病毒肺炎疫情数据集上的实验结果显示,采用GCN学习这一时空数据的分布特征相较于循环神经网络模型,在训练过程中表现出了更强的拟合能力,在训练时间层面节约75%以上的运算成本,在两类损失函数下的平均测试集损失能够下降80%左右。结论 本文所采用的时空数据学习方法具有较低的运算成本和较高的预测精度,尤其在空间特征强于时间特征的时空数据中有着更好的性能,并且为流行病传播范围和感染人数的预测提供了新的方法和思路,有助于相关部门在公共卫生事件中制定应对措施和疾病防控决策。     

基于卷积神经网络的左心室超声图像特征点定位

针对传统级联卷积神经网络（CNN）在左心室超声图像中定位准确度较低的问题，提出一种融合更快速区域卷积神经网络（Faster-RCNN）模型提取区域的级联卷积神经网络，实现对超声图像中左心室心内膜和心外膜轮廓特征点的定位。首先，采用两级级联的方式改进传统级联卷积神经网络的网络结构，第一级网络利用一个改进的卷积网络粗略定位左心室心内膜和心外膜联合的特征点，第二级网络使用四个改进的卷积网络分别对心内膜特征点和心外膜特征点进行位置微调，之后定位输出左心室心内膜和心外膜联合的轮廓特征点位置；然后，将改进的级联卷积神经网络与目标区域提取融合，即利用Faster-RCNN模型提取包含左心室的目标区域并将目标区域送入改进的级联卷积神经网络；最后，由粗到细对左心室轮廓特征点进行定位。实验结果表明，与传统级联卷积神经网络相比，所提方法在左心室超声图像上的定位效果更好，更逼近真实值，在均方根误差的评价标准下，特征点定位准确度提升了32.6个百分点。     

图匹配算法激光扫描点云树干分割

目的 移动激光扫描系统能够成功采集丰富的城市行道树侧边信息,然而由于点云数据规模大、密度欠均匀和噪声多等原因,导致行道树的提取精度和效率偏低。为此,本文提出一种基于层次聚类的算法从移动激光扫描点云中提取树干。方法 采用自下而上的聚类策略合并目标区域,基于点云间欧氏距离和点云的局部主方向计算聚类所需的邻近矩阵,通过构造能量函数评估不同的簇合并方案,将能量函数最小化问题转换为计算二分图匹配问题,求解二分图的最小代价完美匹配获得全局最优的层次聚类。结果 实验在公开的巴黎场景数据集与自采集的南京黄埔路场景数据集上进行测试,本文提出的自下向上的聚类算法成功地从点云中提取出树干和主要树枝点,其中提取树干的平均正确率、完整率和F-score分别为98.5%、94.8%和0.97,与其他算法中最好的实验结果对比,分别提高了1.0%、0.6%和0.02。结论 实验结果表明,本文算法通过优化层次聚类中的簇合并,可以有效减少聚类中的“过分割”和“欠分割”,提高点云中树干的分割精度与效率。     

Research on intelligence recognition and reconstruction of engineering graph

In the paper, the authors put forward a regulation-based expert system which is used in auto-recognition and reconstruction of engineering graph. It consists of four parts-dynamic fact library, static regulation h'brary,inference control and 3D reconstruction. it discribles the knowledge and regulations to reeongnize engineering graph with regulation- expressing method, and sets up the inference mechanism according to its recognition thoughts. At last, it introduces recognition results of 3D reconstruction with AutoCAD.     

水平集活动轮廓模型的3维牙齿重建

目的 建立患者口腔每颗牙齿独立的3维模型对于计算机口腔修复的精确定位和量化评估具有十分重要的意义。针对口腔CT图像序列的牙齿形态变化和排列特点,提出一种新颖的基于水平集活动轮廓模型的3维牙齿重建方法。方法 基于层间映射机制,对不同部位牙层切片采用不同的分割模型：利用先验形状约束能量、基于Flux模型的边缘梯度能量、基于先验灰度的局部区域能量相结合构造的单相混合水平集模型分割牙根层切片轮廓;利用结合区域竞争约束的双相混合水平集模型分割牙冠层切片轮廓;最后利用这些层间轮廓重建出牙齿3维模型。结果 对不同位置的牙齿CT图像进行分割实验,结果表明,与现有的方法相比,本文方法具有较好的分割效果和较高的准确率,平均分割相似系数达到96%。结论 本文的混合水平集模型能有效克服牙髓腔和牙槽骨的干扰以及图像灰度不均匀等问题,较准确地重建出每颗牙齿独立的3维模型,从而为制定口腔修复规划、生物力学分析等奠定坚实的基础。