基于Kinect相机的深度图像修复算法

针对Kinect相机获取深度图像存在空洞和噪声的问题,提出了一种基于联合双边滤波和中值滤波相结合的深度图像处理方法.将Kinect获得的彩色(RGB)图像和深度图像裁剪对齐,利用联合双边滤波器修复深度图像中的空洞,用中值滤波器滤除噪声.实验结果表明:与其他方法相比,所提算法能够有效填充深度图中的空洞区域,并去除图像中的...     

基于Kinect深度和骨架信息的指尖检测方法

为克服指尖检测方法易受不同光照、复杂背景和手腕信息的影响,提出了一种基于深度和骨架信息的指尖检测方法.首先对Kinect获取的深度图像进行中值滤波和形态学闭操作处理,以消除噪声和填充空洞; 接着通过骨架跟踪得到的右手关节点锁定用户并进行手势分割; 然后在计算手心和最高指尖点位置的基础上,利用Freeman链码提取手势左右轮廓; 最后根据指尖点之间的轮廓曲线特征提取其他指尖点.实验结果表明,该方法具有良好的指尖检测效果,且对光照、背景和手腕信息鲁棒.     

基于Kinect深度信息的手势识别

设计了一种基于Kinect深度信息和双阈值分割的运动手势识别算法。结合OpenCV和OpenNI,在vs2010环境下实现了该算法。利用Kinect的深度摄像头获取深度图像;对该图像进行双阈值分割,获取手部图像;再对手部图像进行形态学处理,获取完整的手形;最后,利用OpenNI的手势生成器GestureGenerator对手势进行跟踪识别。利用深度图像进行手势识别,通过双阈值分割,不仅去除了背景干扰,也能去除一部分前景干扰。用不同颜色点、圆和线的形式表示各种手势,可以清晰地实时显示识别效果。     

基于Kinect深度信息的指尖检测

指尖检测是目前人机交互研究的热点之一,针对基于普通摄像机的指尖检测容易受到复杂背景的影响而无法准确定位的问题,提出了基于Kinect深度信息的指尖获取方法。利用Kinect获取的深度信息将手单独分离出来,从而更好的实现手或手指与虚拟物体的交互。研究了一种利用NITE库函数定位手的位置的方法,根据获取的手的位置能够迅速而准确的从复杂背景中提取手部信息。再利用道格拉斯-普克算法得到手的轮廓曲线,最后利用轮廓分析法从凸包点中识别出指尖。实验表明该方法能够精确的定位到手的各个指尖位置,识别率达到80%,该方法实现简单,实时性好,有较好的鲁棒性。     

基于边缘检测的Kinect深度图像去噪算法

Kinect实时提取的深度图像映射得到的彩色图像以及目标背景分离图像边缘存在明显锯齿,且图像噪声大,质量较差。对此提出一种针对Kinect深度图像去噪算法。运用基于Prewitt算子的分块自适应阈值边缘检测算法可得到比较精细的图像边缘;进而根据获取边缘信息对深度图像进行分类,边缘区采用单向多级中值滤波算法进行降噪处理,而非边缘区采用双向多级中值滤波算法进行降噪处理。最终利用Kinect得到边缘清晰,噪声较小的高质量深度图像,实验证明了算法的有效性。     

基于Kinect深度信息的动态手势识别

针对复杂动态手势识别问题,本文首先通过体感传感器Kinect获取人体深度图像,利用阈值分割法分割出手势深度图像,然后建立由隐马尔可夫模型(HMM)和模糊神经网络(FNN)相结合的HMM-FNN模型进行动态手势识别。本文的动态手势主要是针对虚拟变电站中对设备的常用操作手势来进行人机交互研究的。HMM-FNN模型将复杂动态手势特征分解为三个子特征序列,分别建立HMM模型,然后进行模糊推理对手势进行分类识别。经实验验证,HMM-FNN模型能快速有效识别复杂动态手势,且鲁棒性强,识别效果明显优于HMM模型。     

基于图像分解的敦煌壁画图像修复方法

提出一种基于分解的图像修复算法,该算法对敦煌壁画的数字图像进行修复。选择用Lαβ色彩空间进行通道分解实现彩色图像的修复,并利用整体变分降噪模型进行图像分解,该分解算法不需要进行Banach空间范数的计算,不仅降低模型的数值计算复杂度,还可以降低敦煌壁画中的噪声对修复结果的影响。实验证明:该算法很好地解决壁画中的划痕和脱落等现象的破损,修复效果较好。     

基于Kinect深度信息的人体运动跟踪算法

大多数人体跟踪算法鲁棒性不高的主要原因是对人体的颜色特征进行跟踪,针对此问题设计了基于Kinect深度信息的人体运动跟踪算法。通过分析Kinect获取的深度图信息来对人体轮廓进行区分判定,提取前景目标区域以及计算目标区域的深度直方图。通过对深度直方图进行分析去除背景区域部分,根据获取的深度直方图求取跟踪图像的深度反向投影;最后结合Camshift算法确定当前选取目标区域的尺寸和中心位置来进行对人体的实时跟踪。实验结果表明,该算法提取的目标特征具有较强的鲁棒性,避免了光照变化和背景相似情况下的不稳定问题,能实现复杂场景下的人体目标跟踪。     

基于深度学习编码模型的图像分类方法

针对矢量量化编码的量化误差严重,而稀疏编码只是一种浅层学习模型,容易导致视觉词典对图像特征缺乏选择性的问题,提出了一种基于深度学习特征编码模型的图像分类方法。首先,采用深度学习网络无监督的受限玻尔兹曼机（RBM）代替传统的K-Means聚类及稀疏编码等方法对SIFT特征库进行编码学习,生成视觉词典;其次,对RBM编码添加正则化项分解组合每个特征的稀疏表示,使得生成的视觉单词兼具稀疏性和选择性;然后,利用训练数据的类别标签信息有监督地自上而下对得到的初始视觉词典进行微调,得到图像深度学习表示向量,以此训练SVM分类器并完成图像分类。实验结果表明,本文方法能有效克服传统矢量量化编码及稀疏编码等方法的缺点,有效地提升图像分类性能。     

基于深度学习的图像自动标注方法综述

图像自动标注是目前计算机视觉和自然语言处理交叉研究领域的一个研究热点。对图像自动标注领域中的深度学习方法进行综述;针对图像自动标注领域的国内外研究现状,按照基于多模态空间、基于多区域、基于编码-解码、基于强化学习和基于生成式对抗网络等五个分类标准进行详细综述;介绍图像自动标注领域相关的数据集和评价标准,对比不同图像自动标注方法的优缺点;通过分析图像自动标注领域的当前研究现状,提出该领域亟待解决的3个关键问题,进一步指出未来的研究方向,并对本研究进行总结。     

基于阵列图像立体匹配的深度信息获取方法

本文实现了一种对3×3微阵列镜头获取的阵列图像进行匹配计算得到带有深度信息图像的方法.方法首先对3×3微阵列镜头进行单个镜头标定以及单个镜头分别和中心镜头进行立体标定,得到相机参数;然后建立对应的能量代价函数,构建马尔可夫随机场,设定其初始深度,在空间进行划分层次;最后运用图割算法求解能量函数最小化,选择最优匹配值,进而得到带有深度信息的匹配图.实验结果表明本文基于阵列图像立体匹配的深度信息获取方法是有效的;相比一般双目视觉系统,微阵列镜头的体积尺寸小、可以同时拍摄获取图像,能够得到比双目视觉更准确的深度信息.     

基于深度卷积特征的图像实例检索方法

针对计算机视觉领域的图像实例检索问题,提出了一种从卷积神经网络提取图像全局特征表示和目标对象区域特征表示的图像实例检索方法。该方法首先利用区域生成网络学习目标实例的区域位置坐标,并结合相关卷积网络提取的图像区域特征构建由过滤阶段和空间重排阶段组成的实例检索系统。在此基础上提出过滤阶段和空间重排两阶段查询扩展方法进一步提高系统检索性能。最后,提出了两种微调网络模型策略,更新网络前两个卷积层后所有层的权重以适应图像实例检索和位置坐标。通过在两个公用实例检索数据集(Oxford Buildings 5k和Paris Buildings 6k)上进行详尽实验验证,结果表明,提出的基于深度卷积特征的图像实例检索方法有效地提高了图像实例检索的准确率和可靠性,降低了实例检索误检率,得到的实例位置更加准确。     

基于深度学习的图像配准方法综述

图像配准是图像处理和计算机视觉领域中的关键技术。近年来,随着深度学习在图像处理和计算机视觉领域取得突破性进展,基于深度学习的图像配准方法也不断涌现。系统介绍了基于深度学习的图像配准方法,将其分为基于特征的组合配准方法、有监督学习的直接配准方法以及无监督学习的直接配准方法三大类,比较分析了各种配准方法的优劣。并以此为基础,对基于深度学习的图像配准方法未来的研究趋势进行了展望。     

基于Kinect传感器的机器人室内环境检测方法

针对移动机器人室内环境检测问题,提出了一种基于Kinect传感器的目标物体检测方法.利用Kinect传感器采集的视频图像和深度数据来实现对机器人工作环境中已知特征目标物体和完全未知目标物体的检测及定位.对于已知特征目标通过颜色特征分析来完成检测,而对于完全未知的物体则通过深度地面消除算法和提取深度图像的轮廓来进行检测.利用传感器成像模型对检测出的目标区域进行三维空间定位,从而获取目标物相对于机器人的空间位置信息.基于移动机器人平台进行实验,结果表明,该方法能够有效地实现室内环境信息的检测及定位.     

基于Kinect的人体作业仿真方法研究

为了提高生产企业作业分析的效率和改善作业,提出了一种基于非介入式运动捕捉设备Kinect的人体作业仿真方法。首先利用Kinect对真实的人体作业动作进行捕获,获取所需的人体运动数据,接着在Kinect人体模型和人机工效软件DELMIA的人体模型之间建立映射,并在此基础上对DELMIA软件进行二次开发,最终实现由Kinect获取的人体运动数据驱动DELMIA里的虚拟人体进行仿真作业。仿真结果表明：基于Kinect的作业仿真方法在运动捕捉的适用环境、精确性和响应速度等方面都能很好地满足企业应用的要求。     

基于Kinect视觉功能的机器人控制方法

介绍了一种基于Kinect装置的机器人控制方法,该方法涉及机器人控制领域,并且具体应用于两轮自平衡机器人运动控制和人机交互系统。该方法针对两轮自平衡机器人的运动控制系统利用Kinect与DTW手势识别算法对其进行控制。实验结果表明：该方法能够实现人与两轮自平衡机器人的自然交互控制,并且具有良好的实时性和鲁棒性。     

基于有限元与深度学习的BLT图像重建方法

对生物发光断层成像(Bioluminescence Tomography, BLT)进行研究,提出一种结合有限元方法与深度学习的BLT图像重建方法。该方法使用一种基于有限元网格拓扑结构的神经网络和监督学习实现图像重建,利用的神经网络由一个网格拓扑层和若干全连接层组成,该神经网络通过监督学习方式被训练成一个表面光子密度测量值到被成像物体内部光子密度分布的表达器。在通过神经网络补全获取光子密度分布后,再利用有限元计算获得发光源分布。通过与端到端的全连接神经网络和基于可行域的迭代重建方法对比,实验结果表明,所提方法在500个样本的测试集上的均方差误差显著低于所对比方法,其表现优于直接端到端的全连接网络以及基于可行域的迭代重建方法。     

基于Gabor滤波器和深度学习的图像检索方法

针对图像数据库日渐庞大的问题,研究了将特征提取与深度学习相结合进行图像检索的方法,提出了基于Gabor小波变换和受限玻尔兹曼机(RBM)的特征提取和降维模型.将整幅图像划分成局部图像块,利用Gabor滤波器组提取图像特征,通过RBM对特征进行学习和编码,从而实现图像特征的降维处理.采用基于深度信念网络(DBN)和Softmax分类器的图像检索算法,利用Corel图像库进行新方法的图像检索实验,并与其他两种方法进行比较.结果表明,本文方法在准确率、查全率和检索时间上均具有较好的性能,能得到更好的图像检索结果.     

深度图像修复的动态特征融合取证网络

基于深度学习的图像修复方案在篡改后图像中遗留很少的痕迹信息给取证带来了极大的困难。目前针对深度图像修复的取证工作研究较少,并且存在篡改区域定位不准确的问题。为此,本文提出了一种动态特征融合取证网络(dynamic feature fusion forensics network, DF³Net)用于定位经过深度图像修复操作的篡改区域。首先,该网络采用不同的篡改痕迹增强方式包括SRM滤波、空间域高通滤波和频率域高通滤波将单输入图像扩展到多输入,并提出动态特征融合模块对多种输入提取有效的修复痕迹特征后进行动态的特征融合;其次,网络采用编码器-解码器架构作为基础框架,并在编码器末端增加多尺度特征提取模块以获取不同尺度的上下文信息;最后,本文还设计了空间加权的通道注意力模块用于编、解码器之间的跳跃连接,以期实现有侧重地补充损失的边界细节。实验结果表明,面对不同的深度修复方案以及不同的图像数据库,DF³Net相较于现有的图像修复取证方法均可以更准确地定位篡改区域,并且对于JPEG压缩和高斯噪声具有较强的鲁棒性。     

基于Kinect的配电作业机器人智能人机交互方法

为实现操作人员与配电作业机器人的自然交互,提出一种基于Kinect手势识别的配电作业机器人智能人机交互方法。通过Kinect的深度信息及骨骼信息对操作人员的手势进行分割,选取几何不变矩Hu矩作为手势特征,采用支持向量机(support vector machine, SVM)的机器学习方法分类识别操作人员的手势。将手势映射为机器人的运动,通过手势对机器人进行运动控制。试验结果验证了本研究所提的配电作业机器人智能人机交互方法的可行性。