基于改进沙漏网络的人体姿态估计方法

近年来人体姿态估计已成为计算机视觉领域的热门研究方向,堆叠沙漏网络是人体姿态估计领域中最具代表性的研究成果之一,但该网络对于图像细节特征的提取能力较差。为增强网络对细节特征的处理能力,本文提出了基于改进沙漏网络的人体姿态估计模型。该模型使用ResNet50提取高质量的图像底层特征,用步长为2的3×3卷积核代替maxpooling进行下采样,最大程度保留原有图像信息;考虑到不同分辨率下的特征丰富度具有一定差异性,使用不同的残差模块对不同分辨率的feature map进行处理,增强网络对特征的学习能力;最后使用反卷积最大化还原原始图像的局部特征。实验结果显示,本文模型在COCO测试集上的平均精度达到74.1%,比堆叠沙漏网络高出4.7%,检测精度有较大提升。     

基于多特征提取的3D人体姿态估计算法

作为人工智能计算机视觉领域一项重要的任务,3D人体姿态估计受到了广泛的关注,并成功地应用在人机交互、电影游戏制作等领域。然而,3D人体姿态估计仍然面临着很大的挑战,主要是人体遮挡问题和数据集视角冗余问题,这些问题严重影响了3D人体姿态估计结果精度与速度的提升。本文提出了一种基于多特征提取的3D人体姿态估计方法。首先通过采集多个相机视角下的图片数据,将所采图片数据放入2D人体关节点检测网络模型中,得到人体2D关节点。接着将采集到的人体数据输入到关节点置信度计算网络模型,得到视角图片中各个关节点的权重值。随后将2D人体关节点热图通过一个热图权重计算网络计算出热图权重,将各个视角下的权重特征计算融合得到加权后的2D人体关节点热图。最后将所得加权后的2D人体关节点热图和视角图片中各个关节点的权重值输入到三角化算法中,映射得到空间中的3D人体关节点。本文的关键思想是设计一个关节点置信度计算网络从输入图像中学习每个关节的置信度权重,同时提取了反映热图特征质量的权重矩阵,以提高遮挡视图中热图的特征质量。此外,使用感知哈希算法对Occlusion-Person数据集进行去视角实验,在保证结果准确性的同...     

基于改进沙漏网络的人体姿态估计模型

堆栈沙漏网络(SHN)是人体姿态估计中的代表性研究成果,但该网络忽略了关节局部信息.因此,提出了一种基于改进沙漏网络的人体姿态估计模型.首先,利用多个残差模块及步长为2的卷积层获取低层次到高层次的特征,同时随着网络层数的加深,相应调整残差模块的数目和通道数,以突出局部细节特征信息.然后,为了提取遮挡部位的纹理和形状等局部特征,融合了在线困难关键点挖掘模块.最后,采用反卷积最大化恢复原始的局部特征.实验结果表明,本模型在COCO数据集上的平均精度达到了74.6％,总参数量为1.5×107,比叠加8个SHN(8-SNH)的平均精度高5.1个百分点,且其总参数量仅为8-SNH的1/3.     

带特征监控的高维信息编解码端到端无标记人体姿态估计网络

针对点云空间三维信息非结构化和旋转易变性对预测结果的影响,提出一种带特征监控的三维信息编解码卷积神经网络,该网络可实现三维空间下单目深度图的端对端无标记人体姿态估计.所设计的网络由特征监控编解码组件串联而成,该组件第一部分使用三维卷积模块以类似沙漏结构的形式组合设计,实现对特征图的编码和解码;第二部分以不同参数残差块并联,实现对特征图的监控融合,第一部分与第二部分首尾连接构成组件.特征监控编解码组件能根据数据集大小,通过串联的方式搭建不同深度的网络,同时根据数据分辨率,设置组件参数,实现由粗到精的特征学习,最终获得最佳网络.通过ITOP数据库的实验表明,该网络实现了空间三维信息的端到端深度学习,显著提高了系统性能并具有更高的精度.     

基于姿态估计的驾驶员手部动作检测研究

为有效检查驾驶员在行驶过程中的不当行为,本文研究结合人体姿态估计信息的检测算法,通过对检测目标的约束,建立起一套具有多阶段的手部动作检测方法。该方法包含三个模块。第一,人体姿态估计模块,选取人体姿态估计网络关节的高斯热图层,通过输出的人体姿态高斯热图信息,达到对检测目标的空间信息的获取;第二,手部检测模块,基于CNN的检测网络,在网络输入层融合人体姿态高斯热图后,达到对手部的检测率提高的效果;第三,手部动作分类模块,通过接受手部检测模块的输出,消除对检测结果产生干扰的背景,将分类网络的特征提取约束在手部局部位置,提高手部动作分类的准确率,将手部区域输入至分类网络得到驾驶员手部动作,从而判断驾驶员是否存在抽烟、接听电话等不当行为,实现驾驶员的行为检测。为了验证本文提出的多阶段的手部动作检测方法,已在自制数据集上进行了相应实验。      

基于语义导向的光场图像深度估计

光场图像的深度估计是3维重建、自动驾驶、对象跟踪等应用中的关键技术。然而,现有的深度学习方法忽略了光场图像的几何特性,在边缘、弱纹理等区域表现出较差的学习能力,导致深度图像细节的缺失。该文提出了一种基于语义导向的光场图像深度估计网络,利用上下文信息来解决复杂区域的不适应问题。设计了语义感知模块的编解码结构来重构空间信息以更好地捕捉物体边界,空间金字塔池化结构利用空洞卷积增大感受野,挖掘多尺度的上下文内容信息;通过无降维的自适应特征注意力模块局部跨通道交互,消除信息冗余的同时有效融合多路特征;最后引入堆叠沙漏串联多个沙漏模块,通过编解码结构得到更加丰富的上下文信息。在HCI4D光场数据集上的实验结果表明,该方法表现出较高的准确性和泛化能力,优于所比较的深度估计的方法,且保留较好的边缘细节。     

融合序列影像相关区域信息的光流估计网络

针对现有光流估计方法在目标轮廓分割不清晰、缺乏细粒度的问题，本文提出融合序列影像相关区域信息的光流估计网络。通过特征编码器和全局编码器分别提取图像的编码特征和上下文特征，并通过下采样处理缩减特征尺寸。在构建4D相关体前，对输入的连续两帧特征图进行分区处理，以强弱相关的方式计算稠密的视觉相似度，建立更为精细的4D相关体积。在迭代更新阶段，提出残差卷积滤波器和细粒度模块，分别应用于处理相关体和光流传递，使得在融合相关体信息和光流信息前保留更多的局部小位移信息。在KITTI-2015数据集和MPI-Sintel数据集上与其他方法进行对比，光流估计评价指标分别提升了8.2%和6.15%。本文给出的网络模型可以更好地提高光流估计的准确性，有效解决了光流场过于平滑、缺乏细粒度和忽略小物体运动等问题。     

基于视觉的定点监控飞艇姿态和位置估计

为了提高飞艇定点监控的自主性和准确性,研究了一种基于视觉信息的定点监控飞艇姿态和位置估计算法。由射影几何学原理和特殊的双目摄像机安装方法来提取飞艇的姿态。基于双目立体视觉基本原理,得到特征点在摄像机坐标系下的位置。根据坐标转换关系,可以获得飞艇在地面坐标系下的位置和姿态非线性方程组。把姿态信息载入非线性方程组中,从而求得飞艇的位置信息。最后用仿真实例验证了飞艇姿态和位置算法的有效性。     

图像和视频中基于部件检测器的人体姿态估计

人体姿态估计是计算机视觉领域中的一个关键问题,可以应用于人体活动分析,人机交互以及视频监视等方面。该文针对单目图像和视频中的人体姿态估计问题,基于部件及图推理的方法,对观测模型和推理方法提出改进。该文设计实现了一种旋转不变的边缘力场特征,采用基于边缘力场特征的Boosting分类器作为观测模型,并利用一种基于粒子采样和置信度传播的优化算法进行姿态估计。算法的性能和速度在几个数据集上得到了验证。     

基于双流独立循环神经网络的人体动作识别

针对RGB视频中遮挡物以及其他外界因素对人体动作识别产生影响,以及识别精确度有待提升的问题,提出基于双流独立循环神经网络人体动作识别算法。在提取特征方面,时间网络采用分层IndRNN对时序中3D骨架坐标信息进行特征提取;空间网络采用深层的IndRNN对每个时刻骨架的空间位置关系进行特征提取,其中骨架的空间结构采用了图遍历的方法。对于空间网络和时间网络的特征融合采用加权求和的方式,最后用softmax对动作进行分类。在3D骨架动作数据集(NTU RGB+D)以及交互数据集(SBU Interaction Dataset)上验证了模型的有效性。     

基于D-LinkNet与形态学计算的高分遥感图像车流量监测

针对城市交通路面车流量监测实时性和准确性高的需求,设计了一种利用高分遥感图像进行道路网自动提取和车辆自动监测的处理方法。综合利用D-LinkNet和形态学计算实现道路区域的二值化语义分割及连贯性、边缘扩展以及平滑性优化,同时将道路信息作为掩码并外溢后进行车辆目标检测,有效避免非道路区域车辆目标干扰。提出采用热力图的形式改进车流量监测方法,可以更直观显示道路拥挤程度。综合利用现有数据集对所提方法进行评价,车辆检测的平均精度达91.7%,道路提取平均交并比达85.3%,可以实现道路车流量的有效监测。     

Network traffic classification method basing on CNN

Since the feature selection process will directly affect the accuracy of the traffic classification based on the traditional machine learning method,a traffic classification algorithm based on convolution neural network was tailored.First,the min-max normalization method was utilized to process the traffic data and map them into gray images,which would be used as the input data of convolution neural network to realize the independent feature learning.Then,an improved structure of the classical convolution neural network was proposed,and the parameters of the feature map and the full connection layer were designed to select the optimal classification model to realize the traffic classification.The tailored method can improve the classification accuracy without the complex operation of the network traffic.A series of simulation test results with the public data sets and real data sets show that compared with the traditional classification methods,the tailored convolution neural network traffic classification method can improve the accuracy and reduce the time of classification.     

基于时空多特征融合网络的三维人体姿态估计北大核心CSCD

目前,常见的三维(3D)人体姿态估计算法在表征学习上取得很好的效果,但是在人体骨架关节点处依然存在估计精度不佳等问题,因此,如何从单目RGB图像中利用冗余的二维(2D)姿态序列时空信息来估计人体姿态的有效方式是一个研究的难点。本文提出一种基于时空多特征融合网络的三维人体姿态估计算法,具体是结合一种图像外观信息和运动时序信息时空多特征融合层级方法,该方法利用一种紧凑的卷积神经网络(convolutional neural network, CNN)学习时空信息将二维关节点位置信息建模为三维关节点位置。实验结果表明,本文所提出的方法能实现较为先进的端对端姿态估计精度,而且不需要任何后处理阶段的姿态优化方法,本文得到的姿态估计在平均精度上得到有效的提升,证明本文方法能够有效提高人体姿态估计的准确性。     

基于动态加权LS-SVM的网络流量混沌预测

网络流量是具有复杂非线性、不确定时变性的混沌时间序列.为提高标准最小二乘支持向量机的预测精度与自适应性,提出一种基于动态加权最小二乘支持向量机的网络流量混沌预测方法.该方法在标准LS-SVM回归机的训练样本误差设置时间权,增强对非线性样本的逼近能力.然后结合滚动窗与迭代求逆法实现模型动态在线校正,进而克服网络变化时的累积误差.仿真实验结果表明,相对常规LS-SVM,该模型能降低预测误差、减少计算时间,实现高精度实时混沌流量估计.     

一种基于残差网络的改进网络流量分类算法

基于卷积神经网络的网络流量分类算法中,为了提高分类准确度,其结构设计日趋复杂,容易出现梯度下滑甚至梯度消失,导致预测准确度不升反降.文章提出了一种基于残差网络的改进流量分类算法,引入残差网络层代替传统卷积神经网络中的卷积层和池化层,不仅缓解了传统卷积网络因层次太深导致难以训练的问题,同时与传统卷积运算相比,所提出的残差...     

基于局部注意力和位姿迭代优化的自监督单目深度估计算法

自监督单目深度估计在自动驾驶、智能制造等领域有着广泛的应用。然而由于自监督训练存在大量训练噪声,其估计精度受到了极大限制。针对自监督单目深度估计算法中深度估计精度有限的问题,本文提出了一种基于局部注意力机制和迭代调优的自监督单目深度估计框架。首先,对于深度估计网络,基于局部像素间深度值的高度相关性,本文设计了一种局部注意力机制来融合高分辨率特征图的局部特征,提升深度估计的准确性;其次,对于位姿估计网络,本文设计了一种迭代调优的位姿估计结构,利用残差优化的方式降低位姿估计难度,提升位姿估计的准确性进而提升深度估计网络的性能。实验表明,本文提出的改进自监督单目深度估计算法有效提升了深度估计的精度。      

基于改进SSD的轻量化小目标检测算法

为提高SSD目标检测算法的小目标检测能力,提出在SSD算法中引入转置卷积结构,采用转置卷积将低分辨率高语义信息特征图与高分辨率低语义信息特征图相融合,增加低层特征提取能力,提高SSD算法的平均精准度。同时针对SSD算法存在模型过大,运行内存占用量过高,无法在嵌入式ARM设备上运行的问题,以DenseNet为基础,结合深度可分离卷积,逐点分组卷积与通道重排提出轻量化特征提取最小单元,将SSD算法特征提取部分替换为轻量化特征提取最小单元的组合后,可在嵌入式ARM设备上运行。在PASCAL VOC数据集和KITTI自动驾驶数据集上进行对比实验,结果表明改进后的网络结构在平均精准度上得到明显提升,模型参数数量得到有效降低。     

基于改进双目视觉算法的三维重建研究

为解决现有立体匹配算法在图像弱纹理等区域鲁棒性差以及模型参数较大的问题,对PSMNet立体匹配方法进行改善,通过使用空洞空间卷积池化金字塔结构(atrous spatial pooling pyramid,ASPP)提取图像在不同尺度下的空间特征信息。随后引入通道注意力机制,给予不同尺度的特征信息相应的权重。融合以上信息构建匹配代价卷,利用沙漏形状的编解码网络对其进行规范化操作,从而确定特征点在各种视差情况下的相互对应关系,最后采用线性回归的方法得到相应的视差图。与PSMNet相比,该研究在SceneFlow和KITTI2015数据集里的误差率各自减少了14.6%和11.1%,且计算复杂度下降了55%。相比较于传统算法,可以改善视差图精度,提升三维重建点云数据质量。