kinect深度数据随机跳变误差分析及修正算法研究

采用微软空间扫描设备kinect的测距数据会产生随机跳变误差现象。通过分析误差原因及实验验证了跳变误差随距离增加曲线上升的特点。为修正该误差设计了一个基于像素滤波技术的误差修正算法。在kinect有效距离内连续观测三个待测物的空间深度数据和滤波数据。经实验验证在使用10帧深度数据可以将跳变误差在1.5m以内的跳变误差控制在5mm以内;1.5~3m以内的随机跳变误差控制大部分在10mm以内;超过3m的随机误差均匀分布在25mm以内。     

基于三维分层图模型的复杂情况下多运动目标跟踪

复杂情况下的多运动目标跟踪是视频监控中的关 键问题,在多目标运动中相互遮挡时二维视觉信息容易丢失而造 成无法准确跟踪识别目标。本文采用kinect摄像机获取三维视觉信息,从节点、边、空间结 构三个层次上建立目标的三维分 层图模型表征目标的三维特征,并在每层进行通过视频帧间的匹配从而获得三维分层图模型 匹配结果,并根据匹配结果先初 步分析目标跟踪情况,如发生遮挡则通过遮挡区域聚类块与三维分层图模型中各特征匹配确 定其匹配结果,从而得到多运动 目标在复杂运动情况中的跟踪结果。实验表明,在实验室kinect拍摄的视频序列上当目标出 现遮挡等复杂情况,也能取得较 好的跟踪结果,在实验视频中比经典方法的跟踪总体性能指标改善约3%,说明本方法能较好 地实现复杂情况下的多运动目标跟踪。     

基于unity3D AR 体感游戏的设计与实现

针对传统游戏方式存在影响人身心健康的弊端,设计基于kinect2.0 体感设备和 unity3D 2017.4.3 开发AR 体感游戏。介绍游戏总体设计,给出开发流程图,详细阐述游戏开发过程中的关键技术、方法和插件,程序首次大 胆地将人物体感过程中的自拍照片按照Sisley 油画风格和多尺度弧形笔刷风格进行处理。实验结果表明：该游戏运 行流畅,功能和创新达到设计要求,能让玩家在娱乐中保留美好油画回忆。     

移动高光对三维场景重建的影响与消除

针对制造车间光滑地面在阳光或灯光照射下的扫描图像往往存在反射光斑,且随相机位置变化而变化,会严重干扰图像处理和利用的问题,提出了一种识别和去除高光的方法,用于改善图像处理效果和三维重建精度。基于扫描序列图像的三维场景重建流程和SURF特征原理,分析移动的高亮反光斑对图像特征点提取和匹配的影响;对于缺乏表面纹理的灰度图像,提出一种基于逐行多级阈值和动态模板高光识别与去除方法,保留非高光点的特征信息,识别与修复同步完成。实验结果表明,无高反光的前后两帧图像的匹配特征点对比有高光情况下至少高出8%,优化后的余留匹配特征点更多;扫描一段30m长的车间场景序列图像,用提出的方法修复高光后进行三维重建,点云拼接误差减小了10cm。表明移动高光对图像序列三维重建有不可忽视的影响,本文提出的方法能有效地去除高光。     

基于深度学习的动态手势识别方法

为了提高动态手势的识别准确率,并避免动态手势的数据预分割和后输出处理过程,设计了一种融合卷积神经网络(CNN)和双向长短时记忆(BiLSTM),引入连接主义时间分类(CTC)作为损失函数的串联型网络模型。使用CTC训练网络来判断输入流中的类标签,以完成动态手势的识别工作。在公开视频手势数据集Jester和通过Kinect自建的包含9个动态手势的数据集上进行了实验验证,结果表明提出的串联型融合网络模型在Jester上能得到较高的识别率,并且引入CTC算法用于手势识别领域是可行的,该方法高效且具有很高的识别率,对9个动态手势最好识别正确率可达98.11%。     

基于Kinect传感器的室内机器人自定位研究

针对同步定位地图创建（SLAM）中的定位问题,提出一种基于Kinect传感器的室内机器人自定位方法。利用Kinect传感器采集图像信息和深度信息,获取场景图像的SIFT匹配特征点集,并将特征点集的像素和深度信息转为三维数据,利用ICP算法计算机器人相邻位姿的旋转矩阵与平移向量。采用RANSAC方法去除SIFT匹配外点,提高了运动参数的计算精度。通过实验验证该方法的可行性。     

Light Harvest: an interactive sculptural installation based on folding and mapping proteins

ABSTRACT

Light Harvest is an interactive sculptural installation that explores a protein called Light-Harvesting Complex II (LHCII) in the realm of materials, digital fabrication, projection mapping and interaction design. This article gives an account of the making of Light Harvest, a collaboration between an artist/designer, a structural biologist, and an interaction design technologist. The artistic concepts in material construction and digital techniques are drawn from protein folding, sophisticated mapping processes in protein X-ray crystallography, and the remarkable abilities of LHCI proteins to convert full-spectrum visible sunlight to useful energy for life. Through its interactive installation, Light Harvest engages us in an appreciation and understanding of the biological processes studied and the scientific techniques used to study them.     

基于Kinect的服务机器人任务操控学习方法的研究

本文围绕中国科学院深圳先进技术研究院认知技术研究中心自行研发的搭载有Kinect传感器的服务机器人操控平台,从Kinect传感器带来的彩色图像、深度图像和真三维点云信息中提取基于图像的2D和基于点云的3D特征,并将它们进行融合,作为待识别物体几何模型归类的依据,为手爪选择合适抓取姿态提供判断准则。同时结合人体示范学习框架（Learning from demonstration,LFD）,研究了一种通过提高机器人的认知学习能力来完成人类生活环境中室内日常物品操控任务的方法,如：自行识别门把手的位置并完成开门动作,从橱柜中识别出目标物,抓取目标物体并送到指定目标地点等。最后,我们通过实验验证,该方法能够保证服务机器人成功抓取一些类似圆柱状、长方体等几何形态的物体并能在抓取之后顺利完成与周围环境进行交互过程中的轨迹规划这一复杂任务。     

Restoration of traditional Chinese shadow play‐Piying art from tangible interaction

Piying, the world's intangible culture heritage, is a characteristic Chinese folk shadow play and one of the origins of modern movie. The spirit of traditional Piying is to express rich emotion and stories through impromptu action change by professional artists. Now Piying gradually fades away in people's lives, encountering the risk of extinction. We focus on transforming the traditional Piying play into an interactive system, which can be seamlessly performed by ordinary people and bring a strong sense of immersion to the users. Two interactive systems were developed, with Kinect‐based interaction or sensors, users can create own digital Piying animations by employing their body movement as input. A field study was presented with 20 students in a primary school. The result showed that our system was far more effective in emotion induction and Piying understanding than traditional one. We demonstrated this system in a charitable foundation and a workshop of a tangible conference. It is also honored to be collected by China's intangible cultural heritage network. Copyright © 2013 John Wiley & Sons, Ltd.     

基于体感遥控的全向移动机器人的系统设计

设计一款利用人体骨骼移动信息生成控制指令控制基于麦克纳姆轮的具有全向移动抓取功能的机器人及其控制系统.首先通过kinect获取人体深度图像数据,然后利用骨骼追踪技术提取人体各个关节点,并建立空间坐标系,最后通过空间向量计算法计算出人体关节转动角度,从而识别出控制动作并映射成相关控制命令.之后利用WiFi无线传输,将控制命令传输到机器人使其执行相应动作.对系统动作识别效率和模拟场景任务执行进行测试,并给出测试结果.