三维动作识别时空特征提取方法

针对传统的彩色视频中动作识别算法成本高,且二维信息不足导致动作识别效果不佳的问题,提出一种新的基于三维深度图像序列的动作识别方法。该算法在时间维度上提出了时间深度模型(TDM)来描述动作。在三个正交的笛卡尔平面上,将深度图像序列分成几个子动作,对所有子动作作帧间差分并累积能量,形成深度运动图来描述动作的动态特征。在空间维度上,用空间金字塔方向梯度直方图(SPHOG)对时间深度模型进行编码得到了最终的描述符。最后用支持向量机(SVM)进行动作的分类。在两个权威数据库MSR Action3D和MSRGesture3D上进行实验验证,该方法识别率分别达到了94.90%(交叉测试组)和94.86%。实验结果表明,该方法能够快速对深度图像序列进行计算并取得较高的识别率,并基本满足深度视频序列的实时性要求。     

基于VRML的虚拟交互系统触摸感知控制仿真研究

针对虚拟交互系统触摸感知控制过程中图像存在噪声干扰,导致触摸感知效果下降的问题,提出了基于VRML的虚拟交互系统触摸感知控制方法。将初始的三维立体空间图像转换为二维平面空间图像,将不间断的图像加以变换,得到离散型的数据,通过图像中不同像素点的平均值来取代该点的灰度值,得到无噪声数字图像。针对图像中任意像素点,对其边缘点进行检测,完成边缘图像细节信息识别获取。在上述基础上,对目标图像进行轮廓提取,采用改进后的归一化傅里叶描述子对经过去噪处理的图像进行三维识别,利用VRML重建识别结果,实现虚拟交互系统触摸感知。通过具体的仿真数据充分验证了所提方法的综合有效性。     

基于轮廓特征的人体行为识别

提出了一种以人的动作序列图像的轮廓为特征、基于隐条件随机场的行为识别方法。首先,利用背景差分法 和阴影消除技术提取运动人体轮廓。星型骨架方法只采用单一质心一边界距离来描述人体轮廓,因此对轮廓的局部特 征描述能力较弱。定义一种新的基于距离组的轮廓描述方法,它将时变的2D轮廓形状转换为对应的1D距离向量。 最后利用判别隐条件随机场对行为进行训练和识别。实验结果表明,本方法的正确识别率达到91. 4%以上,识别结 果较为理想。     

虚拟手术中肝脏体实时切割系统

在检测二维医学图像的过程中利用医学图像的三维可视化技术有利于医生更加全面地分析图像数据,从而对病情做出准确的应对措施.以肝脏为例,首先提取可视人体数据集中连续横断面图像,采用区域生长的图像分割算法从连续的横断面图像中提取出肝脏轮廓的区域.然后对肝脏轮廓进行层间插值,利用VTK工具包结合面绘制方法构建出肝脏的三维模型.接着对初始模型进行一定程度的网格削减,降低数据冗余度,完成虚拟肝脏体的三维重建.采用CUDA架构进行肝脏体纹理的合成与映射工作,兼顾了体纹理的真实感和虚拟手术系统的实时性,对虚拟肝脏手术的发展有着重要的促进作用.     

One-eyed stereo: a general approach to modeling 3-d scene geometry

A single two-dimensional image is an ambiguous representation of the three-dimensional world?many different scenes could have produced the same image?yet the human visual system is ex-tremely successful at recovering a qualitatively correct depth model from this type of representation. Workers in the field of computational vision have devised a number of distinct schemes that attempt to emulate this human capability; these schemes are collectively known as ``shape from...' methods (e.g., shape from shading, shape from texture, or shape from contour). In this paper we contend that the distinct assumptions made in each of these schemes is tantamount to providing a second (virtual) image of the original scene, and that each of these approaches can be translated into a conventional stereo formalism. In particular, we show that it is frequently possible to structure the problem as one of recovering depth from a stereo pair consisting of the supplied perspective image (the original image) and an hypothesized orthographic image (the virtual image). We present a new algorithm of the form required to accomplish this type of stereo reconstruction task.     

基于深度学习的人体动作识别方法

对基于机器视觉的人体动作识别的成果进行研究,为提高视频数据集中人体动作的识别率,提出一种改进的深度网络模型。采用稠密光流方法处理数据,结合二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)对动作特征进行提取,利用Softmax分类器识别分类。通过KTH数据集进行实验对比验证,分析结果表明,改进模型相比其它已有模型具有更高的识别率,动作识别效果更优。     

深度时空能量特征表示下的人体行为识别

目的 利用深度图序列进行人体行为识别是机器视觉和人工智能中的一个重要研究领域,现有研究中存在深度图序列冗余信息过多以及生成的特征图中时序信息缺失等问题。针对深度图序列中冗余信息过多的问题,提出一种关键帧算法,该算法提高了人体行为识别算法的运算效率;针对时序信息缺失的问题,提出了一种新的深度图序列特征表示方法,即深度时空能量图（depth spatial-temporal energy map,DSTEM）,该算法突出了人体行为特征的时序性。方法 关键帧算法根据差分图像序列的冗余系数剔除深度图序列的冗余帧,得到足以表述人体行为的关键帧序列。DSTEM算法根据人体外形及运动特点建立能量场,获得人体能量信息,再将能量信息投影到3个正交轴获得DSTEM。结果 在MSR_Action3D数据集上的实验结果表明,关键帧算法减少冗余量,各算法在关键帧算法处理后运算效率提高了20% 30%。对DSTEM提取的方向梯度直方图（histogram of oriented gradient,HOG）特征,不仅在只有正序行为的数据库上识别准确率达到95.54%,而且在同时具有正序和反序行为的数据库上也能保持82.14%的识别准确率。结论 关键帧算法减少了深度图序列中的冗余信息,提高了特征图提取速率;DSTEM不仅保留了经过能量场突出的人体行为的空间信息,而且完整地记录了人体行为的时序信息,在带有时序信息的行为数据上依然保持较高的识别准确率。     

实时动作识别方法研究

针对传统RGB视频中动作识别算法时间复杂度高而识别准确率低的问题,提出一种基于深度图像的动作识别方法。该方法首先对深度图像在三投影面系中进行投影,然后对三个投影图分别提取Gabor特征,最后使用这些特征训练极限学习机分类器,从而完成动作分类。在公开数据集MSR Action3D上进行了实验验证,该方法在三组实验上的平均准确率分别为97.80%、99.10%和88.35%,识别单个深度视频的用时小于1 s。实验结果表明,该方法能够对深度图像序列中的人体动作进行有效识别,并基本满足深度序列识别的实时性要求。     

人体动作识别中基于HTM架构的时空特征提取方法

针对人体动作识别中时空特征提取问题,提出一种基于层次时间记忆(HTM)架构的深度学习模型,用来提取图像帧的时空特征。首先,将图像帧构建成树形节点层次结构。然后,在每一层中,通过欧氏距离分组来提取图像样本的空间特征,利用时间邻接矩阵提取样本的时间特征,利用置信传播方法将各层局部特征组进行汇总归类,最终得到整体特征组,作为该图像帧的时空特征。此外,在节点操作中引入张量代数,从而避免出现高维特征。最后,将特征送入支持向量机(SVM)分类器进行识别分类。在MSR Gesture 3D动作数据库和KTH动作数据库上的实验结果表明,提出的方法能够有效提取出高分类性能的时空特征,分类准确率高于其他几种较新的方法。     

基于视频图像的影子运动轨迹检测方法

本文提出的运动轨迹检测方法包括图像分割和透视变换。首先处理视频采集图像,然后进行灰度化、二值化、 连通域标记等处理,再引入Canny 边缘检测算法提取图像轮廓,经MATLAB 编程求得影子的轮廓像素坐标。最后根据透视变 换,求得视频中影子的实际坐标,并在二维和三维坐标系下描绘了其运动轨迹图。     

基于AutoCAD和3DSMAX的虚拟校园三维场景构建研究

当前的虚拟校园三维场景构建方法是利用osgEarth获取GoogleEarth数据,构建虚拟校园三维地图,然后依据本地地形信息与三维场景模型完成对虚拟校园的三维场景构建;该方法在三维场景构建过程中没有考虑到校园后续建设发展,只凭现在所需进行三维场景构建,导致虚拟校园三维场景杂乱,存在虚拟校园三维场景构建顾虑不周的问题;为此,提出一种基于AutoCAD和3DSMAX的虚拟校园三维场景构建方法;该方法首先利用Kinect的RGB深度摄像头获取校园平面数据、影像数据和贴图资料,采用相机阵列合成算法对所得校园图像进行特征提取,然后依据非局部均值滤波方法对获取的校园图像进行去噪操作,最后利用边缘方向和梯度表示中的结构方向与强度,对校园图像外轮廓的纹理特征进行收敛,依据外轮廓纹理特征收敛实现校园图像内轮廓的准确定位,将校园图像与虚拟校园三维场景构建所需图像进行匹配,由此完成对虚拟校园三维场景的构建;实验结果证明,所提方法是虚拟校园三维场景构建领域革命性的突破,提高了学校的招生率,增加了校园文化历史的展现机会,为该领域的研究发展提供了有效依据。     

基于深度图像的人体运动姿态跟踪和识别算法

由于人体运动的复杂性,现有基于低质量深度图像的三维立体姿态跟踪和识别 方法的准确性较低、鲁棒性较差。针对低质量深度图像的人体运动姿态和识别问题,本文设 计了一种基于三步搜索算法的人体运动姿态的跟踪和识别方法。该方法首先对获取的深度信 息进行分析,从而判定人体轮廓;然后通过基于深度图像的骨骼跟踪方法跟踪特定骨骼点, 并采用三步搜索算法进行运动估计,跟踪获取人体运动轨迹;最后利用获取的骨骼点坐标实 现人体运动姿态的识别。实验结果表明,该算法克服光照影响的鲁棒性较强,且能有效地提 高人体运动姿态跟踪与识别的准确性。