基于多尺度特征融合和对比池化的点云补全网络

点云补全在点云处理任务中具有重要作用,它可以提高数据质量、辅助生成精确三维模型,为多种应用提供可靠数据支撑。然而,现有基于深度网络的点云补全算法采用的单层次全局特征提取方法较为简单,没有充分挖掘潜在语义信息,并在编码过程中丢失部分细节信息。为解决这些问题,提出了一种多尺度特征逐级融合的点云补全网络,并结合注意力机制提出了一种全新的池化方法。实验结果表明,在PCN、ShapeNet34和ShapeNet55三个数据集上取得了SOTA水平,证明该网络具有更好的特征表示能力和补全效果。     

语法和语义结合的代码补全方法

在软件工程领域,代码补全是集成开发环境（integrated development environment,IDE）中最有用的技术之一,提高了软件开发效率,成为了加速现代软件开发的重要技术.通过代码补全技术进行类名、方法名、关键字等预测,在一定程度上提高了代码规范,降低了编程人员的工作强度.近年来,人工智能技术的发展促进了代码补全技术的发展.总体来说,智能代码补全技术利用源代码训练深度学习网络,从语料库学习代码特征,根据待补全位置的上下文代码特征进行推荐和预测.现有的代码特征表征方式大多基于程序语法,没有反映出程序的语义信息.同时,目前使用到的网络结构在面对长代码序列时,解决长距离依赖问题的能力依旧不足.因此,提出了基于程序控制依赖关系和语法信息结合共同表征代码的方法,并将代码补全问题作为一个基于时间卷积网络（time convolution network,TCN）的抽象语法树（abstract grammar tree,AST）节点预测问题,使得网络模型可以更好地学习程序的语法和语义信息,并且可以捕获更长范围的依赖关系.实验结果表明,该方法比现有方法的准确率提高了约2.8%.     

基于无标记点运动跟踪的步态参数提取*

〖提出一种无标记点的步态参数提取方法,采用基于模型的人体运动跟踪方法,无须标记点即可从视频图像序列中获取运动步态参数。利用粒子滤波算法跟踪人体目标运动过程,通过基于外观模型的相似度计算及边界匹配误差判断定位腿部关节点。依据曲线拟合方法在跟踪与定位结果上提取运动步态参数。实验结果表明,该方法能精确定位腿部关节点且有效地提取步态参数。     

基于无标记点运动跟踪的步态参数提取

提出一种无标记点的步态参数提取方法,采用基于模型的人体运动跟踪方法,无须标记点即可从视频图像序列中获取运动步态参数。利用粒子滤波算法跟踪人体目标运动过程,通过基于外观模型的相似度计算及边界匹配误差判断定位腿部关节点。依据曲线拟合方法在跟踪与定位结果上提取运动步态参数。实验结果表明,该方法能精确定位腿部关节点且有效地提取步态参数。     

基于局部姿态先验的深度图像3D人体运动捕获方法

提出一种基于局部姿态先验的从深度图像中实时在线捕获3D人体运动的方法.关键思路是根据从捕获的深度图像中自动提取具有语义信息的虚拟稀疏3D标记点,从事先建立的异构3D人体姿态数据库中快速检索K个姿态近邻并构建局部姿态先验模型,通过迭代优化求解最大后验概率,实时地在线重建3D人体姿态序列.实验结果表明,该方法能够实时跟踪重建出稳定、准确的3D人体运动姿态序列,并且只需经过个体化人体参数自动标定过程,可跟踪身材尺寸差异较大的不同表演者;帧率约25fps.因此,所提方法可应用于3D游戏/电影制作、人机交互控制等领域.     

基于卷积长短时记忆网络的人体行为识别研究

人体行为识别利用深度学习网络模型自动提取数据的深层特征,但传统机器学习算法存在依赖手工特征提取、模型泛化能力差等问题。提出基于空时特征融合的深度学习模型（CLT-net）用于人体行为识别。采用卷积神经网络（CNN）自动提取人体行为数据的深层次隐含特征,利用长短时记忆（LSTM）网络构建时间序列模型,学习人体行为特征在时间序列上的长期依赖关系。在此基础上,通过softmax分类器实现对不同人体行为分类。在DaLiAc数据集的实验结果表明,相比CNN、LSTM、BP模型,CLT-net模型对13种人体行为的总体识别率达到了97.6%,具有较优的人体行为识别分类性能。     

基于Transformer的街道停车位数据补全和预测

随着城市汽车数量的持续增长,街道停车难已经成为一个热点问题。解决街道停车问题的关键在于准确预测街道未来的停车位信息。移动群智感知方式(CrowdSensing)通过在车辆上安装声呐以感知路边的停车位情况,是一种低成本、高效益的感知停车位的方式,然而这种方式感知的停车位数据在时间上存在高稀疏性问题,传统模型无法直接用于预测。针对此问题,提出了一种基于Transformer的停车位序列补全和预测网络,此网络通过编码器生成缺失停车位序列的记忆,进而解码器以自回归的方式补全停车位序列中缺失的部分,同时预测出未来的停车位信息。实验结果表明,所提方法在两个高缺失的街道停车位数据集上的补全和预测效果都优于传统的机器学习和深度学习方法。     

光学动作捕捉中缺失标记重建方法研究

光学动作捕捉技术是一种常用的动作捕捉方法,目前已经在各个行业内广泛应用.尤其是在体育竞技领域,已经成为了不可或缺的训练辅助手段.在光学动作捕捉中,最常见的问题是缺失标记,可能由外部遮挡、身体自遮挡或信号丢失等原因造成.对于缺失标记问题,在以往的研究中要么需要舍弃缺失的标记,要么需要大量后处理工作来恢复缺失标记.针对这种情况,本文提出一种用于光学动作捕捉中缺失标记的重建方法,该方法使用卡尔曼滤波框架,结合运动数据来预估缺失标记点的位置,实时重建人体运动模型.实验结果证明该方法能够快速有效的恢复缺失标记,重建人体运动.     

基于深度数据的人体动作识别方法

本文提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。本文从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,本文利用Lapacian eigenmaps(LE)流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,本文用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。本文用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时本文也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文识别效果优于以往方法。实验结果表明本文所提的方法适用于基于深度图像序列的人体动作识别。     

基于深度学习的三维形状补全研究综述

三维形状补全是计算机图形学与计算机视觉的基础任务之一,具有广泛的应用背景。其目的旨在从部分缺失的形状数据中推断出完整的形状。针对现有基于深度学习的三维模型补全算法进行概述,根据描述符的形式不同,主要将其分为基于二维形状描述符的补全方法和基于三维形状描述符的补全方法两类。前者即将三维模型投影到二维空间中进行特征提取进而获得完整模型,包括基于二维图像和基于深度图的三维模型补全方法;后者即直接利用三维表示进行模型补全,按照对三维模型的表示方式不同,可进一步分为基于体素、基于点云和基于隐式的方法。同时,汇总了现有基于深度学习的三维模型补全算法所涉及的数据集与评价标准,并对该算法目前存在的问题进行分析和讨论,展望未来研究的新方向。     

融合RGB图像特征的多尺度深度图像补全方法

针对目前因缺少配对的"缺失-完整"RGB-D数据集而不能直接训练端对端深度图像补全模型的问题,提出基于随机掩码构造对应的缺失-完整数据,结合真实数据集与合成数据集交替训练模型的策略.基于随机掩码生成不同缺失比例的深度图像,并且利用合成数据集构造具有可靠真值的深度图像缺失数据,从而得到具有可靠数据的缺失-完整RGB-D数据集.以此策略为基础,搭建融合对应RGB图像特征的多尺度深度图像补全网络,该网络分别从RGB图像特征提取分支和深度图像特征提取分支提取不同尺度的RGB图像特征和深度图像特征,再经过特征融合分支在不同尺度上对RGB图像特征和深度图像特征进行融合,进而能够充分地学习RGB图像丰富的语义信息和深度图像的信息补全缺失深度.在NYU-Depth V2数据集的实验表明,该方法在不同缺失比例的深度图像补全任务中,阈值精度平均值为0.98,平均相对误差约为0.061,与现有基于神经网络和优化稀疏方程组的方法相比,其在阈值精度上平均提升了0.02,平均相对误差平均下降了0.027.     

基于外观模型的人体下肢关节点定位方法

近年来,人体下肢关节点定位成为了人体运动跟踪与分析中一个重要研究课题。提出了一种下肢关节点自动定位方法,从无关节标记的人体运动图像序列中定位下肢关节点。该方法首先采用背景剪除技术从图像序列中分割人体目标对象,并建立人体下肢骨架模型。然后,利用关节角度预测方法估计膝踝关节点的位置,在基于下肢外观模型的匹配计算基础上获得下肢关节点的真实位置。实验结果表明,该方法简单有效,下肢关节点定位结果令人满意。     

引入坐标注意力和自注意力的人体关键点检测研究

人体关键点检测在智能视频监控、人机交互等领域具有重要应用。多数基于深度学习的人体关键点检测算法仅聚焦于增加多尺度特征或加深网络模型深度,忽略了在获取低分辨率特征图过程中因重复下采样操作而造成的信息丢失。针对该问题,提出一种高分辨率的人体关键点检测网络CASANet,以实现二维图像人体姿态估计。使用HRNet作为骨干网络,引入坐标注意力模块在1/16分辨率特征图分支上捕获位置信息和通道信息,利用自注意力模块在1/32分辨率特征图分支上捕获位置信息和通道信息的内部相关性,通过这2个模块克服网络在获取低分辨率特征图过程中的信息丢失问题。在MS COCOVAL 2017数据集上进行实验,结果表明, CASANet网络可以在参数量和计算量有少量提升的情况下获得更高的检测准确度,有效提升通道信息和位置信息的提取效果,相较基线方法,CASANet的AP值提高2.4个百分点。     

一种基于图卷积网络的文本多标签学习方法

多标签学习广泛应用于文本分类、标签推荐、主题标注等.最近,基于深度学习技术的多标签学习受到广泛关注,针对如何在多标签学习中有效挖掘并利用高阶标签关系的问题,提出一种基于图卷积网络探究标签高阶关系的模型TMLLGCN.该模型采用GCN的映射函数从数据驱动的标签表示中生成对象分类器挖掘标签高阶关系.首先,采用深度学习方法提取文本特征,然后以数据驱动方式获得基础标签关联表示矩阵,为更好地建模高阶关系及提高模型效果,在基础标签关联表示矩阵上考虑未标记标签集对已知标签集的影响进行标签补全,并以此相关性矩阵指导GCN中标签节点之间的信息传播,最后将提取的文本特征应用到学习高阶标签关系的图卷积网络分类器进行端到端训练,综合标签关联和特征信息作为最终的预测结果.在实际多标签数据集上的实验结果表明,提出的模型能够有效建模标签高阶关系且提升了多标签学习的效果.     

基于骨架跟踪的动作捕捉重建方法研究

在光学动作捕捉中最常见的问题是因遮挡而产生的标记点丢失,这需要大量后处理工作来恢复缺失标记,甚至直接导致后期重建失败.针对这一问题,本文提出一种基于骨架跟踪的动作还原方法.该方法在三维重建和跟踪过程中,通过校准、三维标记重建、骨架初始化和全局拟合等步骤来预判标记的位置,并使用人体骨架模型来协助完成三维重建.实验结果证明...     

结合模糊聚类和投影近似点算法的缺失人体运动捕捉数据重构EI北大核心CSCD

针对人体运动捕捉数据缺失问题,提出一种结合模糊聚类和投影近似点算法的缺失数据重构恢复方法.首先对不完整运动序列矩阵的缺失数据位置进行线性插值预处理,粗略补全矩阵以得到较完整的运动序列;然后利用模糊C-均值算法将粗略恢复后的复杂人体运动数据细分为含有多个不同语义运动片段的时序组合;再根据相同运动语义片段数据矩阵存在低秩特性,对细分后相应的各原始运动子片段采取投影近似点算法进行缺失数据恢复,并按照运动片段的时序特性进行组合;最后将原有未缺失数据与其相应位置重构恢复后的数据进行置换,根据人体运动轨迹的局部线性特性进行线性平滑,以保证运动序列的连贯性,从而达到对整体运动捕捉数据重构恢复目的.实验结果表明,该方法能够有效地对缺失运动数据进行恢复,使得重构后的运动序列能够较好地逼近于真实运动轨迹,准确度较高.     

基于单视频图像序列的人体三维姿态重建

提出了至少存在一个深度值已知点的约束条件下,基于单视频图像序列重建人体三维姿态的方法.利用已知间距的平面点阵来标定获得摄像机参数,在透视投影模型下,根据单视频图像序列中人体关节点的二维数据,重建其三维信息.并将人体运动序列按照运动突变点划分为若干子序列,有效消除了二义性的干扰,较为精确的实现了人体三维姿态的重建.给出了该方法的实验过程及计算结果,验证了该算法的可行性和精度.     

三角形网格序列表示的人体动作识别

鉴于现有的人体动作识别研究工作主要是基于骨架和视频表示的,提出三角形网格序列表示的人体动作分类方法.首先,选用三角形网格序列中的首帧模型作为模板,利用形状差异算子计算序列的后续帧相对于模板模型的差异,并表示为形状差异信息张量;然后,将形状差异信息张量输入由二维卷积网络与长短期记忆网络组合而成的深度网络中,提取时序动作特征,实现人体动作分类.实验结果表明,该方法在人体动作数据集AMASS上的分类准确率达到了100.00%.     

嵌入Transformer结构的多尺度点云补全

目的 当前点云补全的深度学习算法多采用自编码器结构,然而编码器端常用的多层感知器（multilayer perceptron,MLP）网络往往只聚焦于点云整体形状,很难对物体的细节特征进行有效提取,使点云残缺结构的补全效果不佳。因此需要一种准确的点云局部特征提取算法,用于点云补全任务。方法 为解决该问题,本文提出了嵌入注意力模块的多尺度点云补全算法。网络整体采用编码器—解码器结构,通过编码器端的特征嵌入层和Transformer层提取并融合3种不同分辨率的残缺点云特征信息,将其输入到全连接网络的解码器中,输出逐级补全的缺失点云。最后在解码器端添加注意力鉴别器,借鉴生成对抗网络（generative adversarial networks,GAN）的思想,优化网络补全性能。结果 采用倒角距离（Chamfer distance,CD）作为评价标准,本文算法在2个数据集上与相关的4种方法进行了实验比较,在ShapeNet数据集上,相比于性能第2的PF-Net （point fractal network）模型,本文算法的类别平均CD值降低了3.73%;在ModelNet10数据集上,相比于PF-Net模型,本文算法的类别平均CD值降低了12.75%。不同算法的可视化补全效果图,验证了本文算法具有更精准的细节结构补全能力和面对类别中特殊样本的强泛化能力。结论 本文所提出的基于Transformer结构的多尺度点云补全算法,更好地提取了残缺点云的局部特征信息,使得点云补全的结果更加准确。     

人体运动非监督聚类分析

提出了一种基于非监督学习的人体运动分析方法.该方法通过使用MDL准则约束下的HMM模型对连续运动序列进行分割和聚类,并实现对运动序列的自动分割和标记.该方法由两步组成,首先通过聚类将连续运动离散化,并按照最小描述长度准则在离散域得到初始解.在此基础上,返回到连续域训练MDL准则约束下的HMM模型.使用HMM模型可以进一步利用原始序列中的动态信息获得更精确的最终结果.通过对实际人体运动序列进行的实验验证了方法的有效性.