基于卷积神经网络的光流估计模型

光流信息是图像像素的运动表示,现有光流估计方法在应对图像遮挡、大位移和细节呈现等复杂情况时难以保证高精度.为了克服这些难点问题,本文建立一种新型的卷积神经网络模型,通过改进卷积形式和特征融合的方式来提高估计精度.首先,加入调整优化能力更强的可形变卷积,以便于提取相邻帧图像的大位移和细节等空间特征;然后利用基于注意力机制...     

基于伪三维卷积神经网络的手势姿态估计

大多数现有的基于深度学习的手势姿态估计方法都使用标准三维卷积神经网络提取三维特征,估计手部关节坐标。该方法提取的特征缺乏手部的多尺度信息,限制了手势姿态估计的精度。另外,由于三维卷积神经网络巨大的计算成本和内存需求,这些方法常难以满足实时性要求。为了克服这些缺点,提出以空间滤波器和深度滤波器级联的方式模拟三维卷积,减少网络参数量。同时,在各个尺度上提取手势姿态特征并加以整合,充分利用手势的三维信息。实验表明,该方法能有效提高手势姿态估计精度,减小模型尺寸,且在具有单块GPU的计算机上能以超过119 fps的速度运行。     

基于姿态机和卷积神经网络的手的关键点估计

姿态机(PoseMachine)是一种成熟的2D人体姿态估计方法,其具有强大的对人体关键点间复杂的上下文关联的表示力(representation power)。卷积神经网络广泛应用于计算机视觉领域中,其具有出色的图像特征提取能力。基于姿态机和卷积神经网络,提出了一种的手的关键点估计方法。该方法将姿态机应用于手的关键点估计问题,且用卷积神经网络来实现姿态机的各个组件。测试表明,该方法具有与目前先进的手的关键点估计方法相当的预测性能。     

基于卷积神经网络的2D人体姿态估计综述

随着深度学习的快速发展,2D人体姿态估计作为其他计算机视觉任务的研究基础,其检测速度和精度对后续应用落地具有实际意义。对近年来基于卷积神经网络的2D人体姿态估计的方法进行梳理介绍,将现有方法分为人体检测关节点回归融合算法和人体关节点检测聚类算法,同时对当前的主流数据集及其评价准则进行总结,最后对2D人体姿态估计当前所面临的困难以及未来的发展趋势做以阐述,为姿态估计相关研究提供一些参考。     

基于多样卷积单元高效人体姿态估计

设计兼具准确率和轻量化的人体姿态估计网络模型成为了人机交互领域的迫切需求。为了满足这一需求,结合HRNet模型的高分辨率设计模式,提出了一种多样化高效卷积单元的高分辨率网络模型DU-HRNet。为了探索并增强来自不同感受野大小层的多尺度信息,鼓励卷积层间信息更加多样化,模型允许并行分支中的每一分支拥有不同类型的高效卷积单元。为了改善模型的非线性,在高效卷积单元中使用通道注意力ECANet。在MS COCO关键点检测数据集和MPII数据集中验证了模型的有效性。模型在参数量等于7.6 M、GFLOPs为2.66,没有经过任何后期处理的条件下,在COCO val2017数据集上达到了71.1 mAP(mean Average Precision,平均精度均值)分数,在COCO test-dev2017数据集上达到71.8 mAP分数。通过消融实验验证了模型整体和组成部分的有效性。     

改进YOLO V2的6D目标姿态估计算法

针对目标的三维姿态估计,结合基于深度学习的目标检测模型,提出一种基于改进YOLO V2的6D目标姿态估计算法.通过卷积神经网络提取一幅RGB图像中目标的特征信息;在2D检测的基础上将目标的位置信息映射到三维空间;利用点到点的映射关系在三维空间匹配并计算目标的自由度,进而估计目标的6D姿态.该算法不仅能检测单幅RGB图像...     

基于标签分布学习的三维手部姿态估计

快速、可靠的手部姿态估计在人机交互等领域有着广泛的应用.为了解决光照强度变化、自身遮挡以及姿态变化幅度较大等情况对手部姿态估计的影响,提出了一种基于标签分布学习的深度网络结构.该网络将手部点云作为输入数据,首先通过最远点采样和定向边界框(OBB)对点云数据进行归一化处理,然后采用PointNet++提取手部点云数据特征...     

基于卷积与Transformer的人体姿态估计方法对比研究

人体姿态估计是计算机视觉的基础性算法之一,为了探究人体姿态估计领域的研究发展趋势,文章首先介绍了基于卷积的经典人体姿态估计算法,论述各算法的基本原理及算法改进,其次对最新的基于自注意力模型(Transformer)的算法进行梳理,最后介绍了常用的公开数据集和模型评价指标,选取了几个经典算法进行对比分析,平均精度在马克斯·普朗克信息研究所(Max Planck Institute Informatik,MPII)数据集达到80%以上,在微软公共对象上下文(Common Objects in Context,COCO)数据集达到60%以上,得到卷积结构和Transformer结构互有优劣的结论。     

基于深度学习的三维点云头部姿态估计

快速、可靠的头部姿态估计算法是高级人脸分析任务的基础。为了解决现有算法存在的光照变化、遮挡、姿态尺度较大等问题,提出一种新的深度学习框架HPENet。该网络以点云数据为输入,首先通过最远点采样算法提取点云结构中的特征点,以特征点为球心,将不同半径的球体内的点构成多个分组,用于后续的特征描述;然后采用多层感知器和最大池化层实现点云的特征提取,提取的特征通过全连接层输出预测的头部姿态。为了验证HPENet的有效性,在公共数据集Biwi Kinect Head Pose上进行测试。实验结果显示,HPENet在俯仰角、侧倾角和偏航角上的误差分别为2.3°、1.5°、2.4°,平均每帧的时间消耗为8 ms。与其他优秀算法相比,所提方法在准确度和计算的复杂度方面都具有更好的性能。     

基于SLAM的虚拟现实六自由度输入系统研究

在虚拟现实(VR)系统中,手控器的三维位姿定位与追踪是至关重要的功能。虽然被动式的六自由度(6DoF)输入方案比较稳定,但是这种系统通常需要额外的硬件,因此比较昂贵,并且其建立和初始化需要额外的空间和时间成本。因此基于视觉惯性即时定位与地图构建(SLAM)的主动式定位,提出一种易于部署且便于携带的六自由度输入系统,作为虚拟现实的手控器。为验证其在三维交互任务中的表现,设计了一组与现有商业手控器的用户对比实验。用户对比实验表明,所提出的主动式六自由度输入系统在虚拟现实交互任务中与现有的商业控制器具有相当的性能。     

融合逆密度函数与关系形状卷积神经网络的点云分析

目的 3D点云与以规则的密集网格表示的图像不同,不仅不规则且无序,而且由于输入输出大小和顺序差异,具有密度不均匀以及形状和缩放比例存在差异的特性。为此,提出一种对3D点云进行卷积的方法,将关系形状卷积神经网络（relation-shape convolution neural network,RSCNN）与逆密度函数相结合,并在卷积网络中增添反卷积层,实现了点云更精确的分类分割效果。方法 在关系形状卷积神经网络中,将卷积核视为由权重函数和逆密度函数组成的3D点局部坐标的非线性函数。对给定的点,权重函数通过多层感知器网络学习,逆密度函数通过核密度估计（kernel density estimation,KDE）学习,逆密度函数的引入对点云采样率不均匀的情况进行弥补。在点云分割任务中,引入由插值和关系形状卷积层两部分组成的反卷积层,将特征从子采样点云传播回原始分辨率。结果 在ModelNet40、ShapeNet、ScanNet数据集上进行分类、部分分割和语义场景分割实验,验证模型的分类分割性能。在分类实验中,与PointNet++相比,整体精度提升3.1%,在PointNet++将法线也作为输入的情况下,精度依然提升了1.9%;在部分分割实验中,类平均交并比（mean intersection over union,mIoU）比PointNet++在法线作为输入情况下高6.0%,实例mIoU比PointNet++高1.4%;在语义场景分割实验中,mIoU比PointNet++高13.7%。在ScanNet数据集上进行不同步长有无逆密度函数的对比实验,实验证明逆密度函数将分割精度提升0.8%左右,有效提升了模型性能。结论 融合逆密度函数的关系形状卷积神经网络可以有效获取点云数据中的局部和全局特征,并对点云采样不均匀的情况实现一定程度的补偿,实现更优的分类和分割效果。     

量型图像分类神经网络改进研究

当前普遍使用的轻量型神经网络仍然存在计算量与参数量过大的问题,导致算力较低的廉价移动设备无法快速完成图像分类任务.针对此问题提出了一种更适合于应用在算力较低的廉价移动设备上的轻量型神经网络,引入了代价较小的线性操作与特征图合并操作用于减少神经网络的计算量与参数量,还引入了改进的残差结构、注意力机制和标签平滑技术用于提高结果判断的准确率.基于PD-38数据集的实验表明,该神经网络相比传统的轻量型神经网络使用较小的计算量与参数量可以达到较高的分类准确率.在公共数据集CIFAR-10上的实验进一步表明该神经网络具有通用性.     

轻量金字塔解码结构的单目深度估计网络

针对单目深度估计网络庞大的参数量和计算量,提出一种轻量金字塔解码结构的单目深度估计网络,可以在保证估计精度的情况下降低网络模型的复杂度、减少运算时间。该网络基于编解码结构,以端到端的方式估计单目图像的深度图。编码端使用ResNet50网络结构;在解码端提出了一种轻量金字塔解码模块,采用深度空洞可分离卷积和分组卷积以提升感受野范围,同时减少了参数量,并且采用金字塔结构融合不同感受野下的特征图以提升解码模块的性能;此外,在解码模块之间增加跳跃连接实现知识共享,以提升网络的估计精度。在NYUD v2数据集上的实验结果表明,与结构注意力引导网络相比,轻量金字塔解码结构的单目深度估计网络在误差RMS的指标上降低约11.0%,计算效率提升约84.6%。     

基于注意力机制的混合神经网络关系分类方法

关系分类是自然语言处理领域的一项重要语义处理任务。传统的关系分类方法通过人工设计各类特征以及各类核函数来对句子内部2个实体之间的关系进行判断。近年来,关系分类方法的主要工作集中于通过各类神经网络获取句子的语义特征表示来进行分类,以减少手动构造各类特征。在句子中,不同关键词对关系分类任务的贡献程度是不同的,然而重要的词义有可能出现在句子中的任意位置。为此,提出了一种基于注意力的混合神经网络关系分类模型来捕获重要的语义信息,用来进行关系分类,该方法是一种端到端的方法。实验结果表明了该方法的有效性。     

融合非局部神经网络的行为检测模型

针对在视频行为检测中卷积神经网络(CNN)对时域信息理解能力不足的问题,提出了一种融合非局部神经网络的行为检测模型.模型采用一种双分支的CNN结构,分别提取视频的空间特征和运动特征.将视频单帧和视频连续帧序列作为网络输入,空间网络对视频当前帧进行2D CNN特征提取,时空网络采用融合非局部模块的3D CNN来捕获视频帧...     

基于双向消息链路卷积网络的显著性物体检测

有效特征的提取和高效使用是显著性物体检测中极具挑战的任务之一。普通卷积神经网络很难兼顾提取有效特征和高效使用这些特征。本文提出双向消息链路卷积网络（bidirectional message link convolution network,BML-CNN）模型,提取和融合有效特征信息用于显著性物体检测。首先,利用注意力机制引导特征提取模块提取实体有效特征,并以渐进方式选择整合多层次之间的上下文信息。然后使用带有跳过连接结构的网络与带门控函数的消息传递链路组成的双向信息链路,将高层语义信息与浅层轮廓信息相融合。最后,使用多尺度融合策略,编码多层有效卷积特征,以生成最终显著图。实验表明,BML-CNN在不同指标下均获得最好的表现。     

基于注意力神经网络的糖尿病视网膜病变识别

针对目前糖尿病视网膜病变识别主要依赖于医生的临床经验,病变特征难以用肉眼区分且识别率较低等问题,提出一种基于注意力神经网络的糖尿病视网膜病变分类方法。首先,对原始数据集中的视网膜图像进行归一化、直方图均衡化和数据增强等预处理;其次,调整经典的DenseNet,在避免梯度消失和保证分类精度的前提下,有针对性地减少连接数,提出了2-DenseNet,同时将注意力模块嵌入到2-DenseNet中,指导网络关注视网膜图像中的渗出物、厚血管和微动脉瘤等特征,使用改进后的网络对预处理后的图像进行训练并测试;最后,在公开的Kaggle数据集上对多个网络进行对比,实验结果表明,该网络对糖尿病视网膜病变的分类性能高于其他对比网络。     

基于自适应图卷积注意力神经协同推荐算法

随着互联网的快速发展,推荐系统可以用来处理信息过载的问题。由于传统推荐系统的诸多问题导致其无法处理发掘隐藏信息,提出一种自适应图卷积注意力神经协同推荐算法（ANGCACF）。首先获取用户和项目交互图,通过图卷积神经网络自适应的聚合用户和项目特征信息;其次对用户和项目特征信息添加自适应扩充数据,以解决数据稀疏性,利用注意力机制对用户和项目特征信息及添加的自适应扩充数据重新分配权重;最后将得到的用户和项目特征表示使用基于矩阵分解的协同过滤的算法框架得出最终推荐结果。在MovieLens-1M、MovieLens-100K和 Amazon-baby三个公开数据集上的实验表明,该算法在推荐准确率、召回率、MRR、命中率和 NDCG 五个指标上均优于基线方法。