图像识别的静态手势识别与动态跟踪系统设计

本文研究了图像手势识别和增强现实技术,设计了可以进行静态手势识别和动态跟踪的系统,通过提前录入不同手势,利用皮肤颜色对图像进行OSTU自适应阈值划分,建立二值化图像,与已知的手势进行匹配,以得到手势结果.实验结果表明,准确率达到96.8％,识别速度达到0.55 s.动态跟踪利用检测每帧图像中手部的位置进行定位和捕捉,图...     

基于Kinect的民族弓弦乐器虚拟演奏系统

利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.     

基于单目视觉的虚拟鼠标方法

自然的交互方式有利于提高增强现实系统的真实感和沉浸感,是增强现实技术的重要研究内容。针对这一问题,提出一种基于单目视觉的虚拟鼠标实现方法,只需要使用单个摄像头,即可对裸手手势进行识别进而模拟真实鼠标动作,最后基于该方法开发了基于单目视觉的虚拟鼠标系统。首先,根据色度信息,分割手部肤色区域;然后,基于指尖的形态学特征识别指尖点,并过滤以排除误检点;最后根据指尖点及其坐标控制光标模拟鼠标动作。实验结果表明,该系统设备简单、精度较高,完全可以实现各种鼠标动作的模拟。     

基于多尺度形状描述子的手势识别

随着计算机性能的提高和人机交互技术的发展,手势识别越来越受到人们的重视,尤其是基于视觉通道的手势识别,使人机交互变得更加便捷。但由于人手是复杂形变体,现有的方法对运动过程中手的形变的描述不够充分。该文从视觉角度提出了一种新的手势建模的方法-多尺度形状描述子。从分析手的基本形状入手,利用了圆形的轴对称和中心对称的几何特点,具有旋转和尺度不变性。该描述子从多个尺度对手势进行形状描述,在一定程度上解决了手势的精细区分问题。     

基于AdaBoost的手势识别

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统,是一种靠动作/视觉交际的语言。手语识别的研究目标是让机器看懂聋人的语言。手语识别和手语合成相结合,构成一个人-机手语翻译系统,便于聋人与周围环境的交流.手语识别问题是动态手势信号即手语信号的识别问题。将 AdaBoost 这一算法引入手势识别中,自行建立了实验用的小型手势图片库。在分类器训练前对训练用图像进行了较有效的预处理,缩短了 AdaBoost 算法的训练识别时间,提高了多层分类器的识别速度,最好测试结果其平均准确率可达到90%。     

互动式多媒体课件的交互性设计与实现

当前,中小学教师自己制作的多媒体课件虽然数量很多,但是大多数质量不高;特别是课件中的交互形式较少、设计得不够科学合理。文章阐述了多媒体课件交互性设计的相关理论,并在理论指导下制作了一个互动式多媒体课件,通过实例阐述了教学内容、学习情境、交互控制和教学媒体的整合与实现。     

多媒体技术研究:2017——记忆驱动的媒体学习与创意

目的 借鉴大脑的工作机理来发展人工智能是当前人工智能发展的重要方向之一。注意力与记忆在人的认知理解过程中扮演了重要的角色。由于\"端到端\"深度学习在识别分类等任务中表现了优异性能,因此如何在深度学习模型中引入注意力机制和外在记忆结构,以挖掘数据中感兴趣的信息和有效利用外来信息,是当前人工智能研究的热点。方法 本文以记忆和注意力等机制为中心,介绍了这些方面的3个代表性工作,包括神经图灵机、记忆网络和可微分神经计算机。在这个基础上,进一步介绍了利用记忆网络的研究工作,其分别是记忆驱动的自动问答、记忆驱动的电影视频问答和记忆驱动的创意（文本生成图像）,并对国内外关于记忆网络的研究进展进行了比较。结果 调研结果表明：1）在深度学习模型中引入注意力机制和外在记忆结构,是当前人工智能研究的热点;2）关于记忆网络的研究越来越多。国内外关于记忆网络的研究正在蓬勃发展,每年发表在机器学习与人工智能相关的各大顶级会议上的论文数量正在逐年攀升;3）关于记忆网络的研究越来越热。不仅每年发表的论文数量越来越多,且每年的增长趋势并没有放缓,2015年增长了9篇,2016年增长了4篇,2017年增长了9篇,2018年增长了14篇;4）基于记忆驱动的手段和方法十分通用。记忆网络已成功地运用于自动问答、视觉问答、物体检测、强化学习、文本生成图像等领域。结论 数据驱动的机器学习方法已成功运用于自然语言、多媒体、计算机视觉、语音等领域,数据驱动和知识引导将是人工智能未来发展的趋势之一。     

基于视觉的动态手势识别研究综述

手势自古以来在人类交流方面扮演着非常重要的角色,而基于视觉的动态手势识别技术是利用计算机视觉、物联网感知等新兴技术和3D视觉传感器等新型设备让机器能够理解人类的手势,从而让人类能和机器更好地交流,因此对于人机交互等领域的研究很有意义。介绍了动态手势识别中所用到的传感器技术,并比较了相关传感器的技术参数。通过追踪近年来国内外关于视觉的动态手势识别技术,陈述了动态手势识别的处理流程：手势检测与分割、手势追踪、手势分类。通过对比各流程所涉及的方法,可以发现深度学习具有较强的容错性、高度并行性、抗干扰性等一系列优点,在手势识别领域取得了远高于传统学习算法的成就。最后分析了动态手势识别目前遇到的挑战和未来可能的发展方向。     

基于手势的交互式虚拟环境

交互式虚拟现实系统能够为用户提供直观自然的用户接口。使用手势,用户可以更加高效地与虚拟环境进行交互。但随着系统中识别手势的增多,正确手势的识别率和系统的性能会跟着下降。文章提出用交互状态解决手势识别率和系统性能下降问题,并给出了实现方案。     

基于异步多时域特征的动态手势识别方法

准确及时地手势识别在增强现实技术中具有重要的意义。针对表征复杂手势序列的时空特征,提出了一种基于异步多时域时空特征的手势识别方法。该方法通过轻量级三维卷积网络提取视频序列的不同时间步态的短期时空特征,通过改进的卷积长短期记忆网络学习长期时空特征,将不同步态的时空特征融合为异步多时域特征,以此来对手势进行分类识别。通过与其他主流方法进行比较,实验结果证明了提出的方法具有较高的动态手势识别率。     

基于DSSD的静态手势实时识别方法

手势识别作为一种自然和谐的人机交互方式,具有广泛的应用前景,而传统手势识别方法准确率不高、实时性较差.为此,在DSSD网络模型的基础上,提出一种静态手势实时识别方法.自制手势数据集,通过K-means算法及手肘法选取先验框的宽高比,采用迁移学习的方法解决数据量小导致的检测精度低的问题,同时根据识别精度选择ResNet1...     

Interactive flashlights in special needs education

Abstract

Flashlight torches are cheap, robust, familiar and fun and so make interesting devices upon which to base interaction technologies. Computer vision software has been developed that can recognise and distinguish between different flashlight beams and these can be used to activate digital media including audio, video or special effects. The technology appears to ’magically bring to life’ objects and areas of the environment merely by shining a torch on them and has been used successfully to enhance visitor attractions such as museum exhibits and displays. This paper considers the potential for using this technology in special needs education, providing a means for children to explore their immediate environment and discover something new. Potential applications for supporting learning are proposed and a feasibility study is presented. Three case examples were conducted to assess the practicalities of configuring interactive learning experiences within the schoolenvironment and pupil’s responses to the technology.     

Augmented reality in language learning: A state-of-the-art review of 2014–2019

This systematic review study synthesizes research findings pertaining to the use of augmented reality (AR) in language learning. Published research from 2014 to 2019 has been explored and specific inclusion and exclusion criteria have been applied resulting in 54 relevant publications. Our findings determined: (a) devices and software employed for mastering AR; languages and contexts in which AR had been applied; theoretical perspectives adopted for guiding the use of AR; the number of participants in AR activities and benefits from using AR as an educational tool in the language classroom; (b) alignment of the affordances of Augmented Reality with the KSAVE (Knowledge, Skills, Attitudes, Values, Ethics) 21st-century skills framework; (c) future directions in AR research and practice. The main findings from this review demonstrate the popularity of mobile-based AR for supporting vocabulary (23.9%), reading (12.7%), speaking (9.9%) writing (8.5%) or generic language skills (9.9%). Our findings also uncovered areas that merit future attention in the application of AR in language learning – for instance learning theories were not often considered in the implementation of AR. The study concludes with suggestions for future research especially in the areas of instructional design and user experience.