手持移动计算中的多通道交互

手持移动计算已逐渐成为当今主流的计算模式之一,人机交互是其中的关键问题.多通道用户界面和多通道交互方式能够有效地提高移动环境中人机交互的效率.讨论了移动环境中的多通道交互模型,并结合设计开发的移动导游系统TGH(tour guide on hand),分析了多通道交互在手持移动计算中的应用.性能测试表明,笔和语音结合的多通道交互方式在移动环境中能够较好地提高人机交互效率.     

手持移动计算中的人机交互技术研究

叙述了在手持移动计算设备上的基于上下文感知的多通道交互模型、多通道汉字输入、移动计算中的小屏幕网络浏览策略等方面的研究成果。实现了一个智能导游系统TGH,对这些模型和方法进行了应用和测试。最后总结了手持移动计算中人机交互技术研究的一些结论。     

人机交互的进展及面临的挑战

叙述了人机交互的最近进展，尤其是我国的一些优秀成果，包括多通道交互、交互模型、虚拟现实和三维交互、可穿戴计算和移动计算、智能空间、标准化；并论述了无所不在计算等对人机交互提出的挑战．最后发表了若干看法。     

融合触、听、视觉的多通道认知和交互模型

以触觉相关的多通道交互研究为立足点,结合经典的多通道假设和最新的认知理论,提出一种融合触觉、听觉、视觉的多通道信息认知加工模型,并就计算机端的信息处理过程提出了多通道交互的分层处理模型,分析了相应的多通道整合方法.该模型对交互界面与程序主体功能定义不同的实现路径,区分交互设备和交互信息处理过程,有利于从不同角度对交互界面的研究工作进行简化,避免高耦合度带来的冗余工作量;实现了一个融合触、听、视觉交互的实例.实例结果表明,利用文中模型能够降低多通道交互研究的分析难度并提高实验效率.     

手持移动设备中多通道交互的通用开发框架

提出的多通道交互通用开发框架可以快速地开发出支持多通道交互的应用,也可以将已经存在的应用快速更改为多通道交互应用;基于此理论,设计和实现了一种支持手写笔和语音输入的多通道家电开关控制系统.具体地阐明了实际开发中应该重点注意的环节,希望能够对当前手持移动设备的多通道交互化有所借鉴.     

基于上下文的多通道语义融合

多通道交互已经成为人机交互领域一个重要的研究方向,对多通道输入的信息进行语义融合是其中的关键问题.提出了一种将上下文与传统语义融合相结合的方法,并将这一方法应用在面向儿童使用的讲故事原型系统中.儿童通过受限的自然语言、笔的勾画等方式进行故事创作.结果表明,笔和语音结合的多通道交互方式能够使得儿童更方便、自然地与计算机进行交互,结合上下文的语义融合方法能够在一定程度上修正输入错误.     

普适计算中多通道交互建模研究

计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力,其中一个重要原因就是缺少一个与之相适应的高效、自然的人机交互界面.普适计算的发展为人们提供了一个无处不在的获取服务的环境,而多通道用户界面允许用户使用自然的交互方式,如语音、手势、表情等在此环境中与系统进行协同工作,改变了传统交互手段的局限性.重点讨论了基于笔和语音的多通道交互,给出了普适环境中对多通道交互建模的框架,进一步研究了在图形信息应用中的多通道交互实例,论证了创建自然多通道交互方式的优势.     

基于MAS的智能用户界面建模

提出一种基于多Agent系统(MAS)的智能用户界面分层模型和交互框架。采用基于互信息的“化学键”模型解决多通道融合和多媒体展现问题,使用基于环境感知的“变色龙”机制实现移动的普适访问策略,利用经济学“市场”模型和Web服务技术实现P2P协同网格计算,并给出系统动态交互模拟的化学抽象机定义。应用实例表明,该模型能提供自然高效的交互模式,减少人机隔阂。     

基于肌肉感知的手势交互模型

在人机交互技术由以计算机演化为以人为中心的背景下,通过感知肌肉活动的手势识别方法,因其可穿戴性、隐式交互性和可靠性的特点在近几年得到了人机交互研究领域的高度关注.但目前的相关研究缺乏统一的语义分析模型和系统模型支持研究和开发.为此,分析讨论了交互手势的分类并归纳总结出适合肌肉感知方法的输入原语,提出基于肌肉感知的手势交互语义分析模型和分层处理的系统结构模型,旨在提高该类型交互应用的研究和开发工作效率.最后分析了办公室环境下的操作手势交互应用场景,给出了该语义分析模型和分层系统结构模型的应用实例.     

自动驾驶场景下的轨迹预测技术综述

轨迹预测是自动驾驶和智能交通领域的关键技术,对于车辆和移动行人轨迹的准确预测可提升自动驾驶系统对周围环境变化的感知能力,保障自动驾驶系统的安全性。数据驱动轨迹预测方法可捕捉智能体之间的交互特征,对场景内智能体历史运动和静态环境信息进行分析,准确预测智能体的未来轨迹。介绍轨迹预测的数学模型并将其分为传统轨迹预测方法和数据驱动轨迹预测方法 2类,阐述主流数据驱动轨迹预测方法所面临的智能体交互建模、运动行为意图预测、轨迹多样性预测、场景内静态环境信息融合等4个主要挑战,从轨迹预测数据集使用、性能评价指标、模型特点等方面出发对典型数据驱动轨迹预测方法进行分析与对比,总结归纳这些典型数据驱动轨迹预测方法针对上述挑战的解决思路和应用场景,并对自动驾驶场景下轨迹预测技术的未来发展方向进行展望。     

多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

工业环境下的人机交互状态数据仿真研究

传统人机交互状态数据模拟过程数据视域特征采集不准确、数据模拟不连续,导致人机交互状态数据检测能力偏低,提出基于模糊关联聚类分析的人机交互状态数据模拟及挖掘方法.采用定量递归分析法完成数据模糊关联聚类.利用关联特征分布序列调度法,得到人机交互状态数据的规则训练集.在模糊扰动约束下,得到人机交互状态数据的聚类目标函数.采用...     

基于改进人工神经网络的人体姿态识别方法在人机交互医疗设备中的应用

为提升人机交互医疗设备对久坐不动、常年卧床等状态下人体的监测效果,在利用无线体域网(Wireless Body Area Network, WBAN)建立人体姿态识别系统的基础上,设计了相应的改进人工神经网络与WBAN系统进行融合,并将其应用于人机交互医疗设备中。结果表明,在HiEve数据集中,该方法于20次迭代时开始收敛,损失函数值为0.0112。在患者不同姿势的识别验证中,该方法下的人机交互医疗设备识别准确率均显著高于90%,并且耗时最短仅为23.16s,具有较高的识别准确率和效率,为人体姿态识别及相关医疗设备的应用提供了更为可靠的技术参考。     

交互式蚂蚁算法

传统蚁群算法需利用显式评估函数引导算法搜索,因而不适用于那些优化性能指标不能或者难以数量化的系统.为此,提出一种将人对问题解的数量评价值作为目标函数值的交互式蚂蚁算法.从人机交互的特点出发,设计了算法模型的结构、信息素的放置方式与更新策略和用户的评价方式.最后利用模拟算法环境的函数优化实验和汽车造型草图设计实验进行了测试,测试结果表明所提出的算法具有较高的运行效率,并能较好地克服用户疲劳问题.     

A comprehensive survey on multimodal medical signals fusion for smart healthcare systems

Smart healthcare is a framework that utilizes technologies such as wearable devices, the Internet of Medical Things (IoMT), sophisticated machine learning algorithms, and wireless communication technology to seamlessly access health records, link individuals, resources, and organizations, and then effectively handle and react to health environment demands intelligently. One of the main ingredients of smart healthcare is medical sensors or IoMT. Due to the complex nature of diseases, in many cases, there is a need for multimodal medical signals for their diagnoses. While using multimodal signals, the most important issue is how to fuse them – an area of burgeoning interest within the research community. This paper presents a comprehensive survey of multimodal medical signals fusion schemes that have been proposed for smart healthcare applications. Research works included in major repositories, such as IEEE Xplore, Science Direct, Springer Link, and ACM digital library have been surveyed to address several related research questions. Focus is placed on recent developments, thus only works published between 2014-2020 are considered. Finally, key research challenges and possible future directions are also provided.     

Multimodal object oriented user interfaces in mobile affective interaction

In this paper, we investigate an object oriented (OO) architecture for multimodal emotion recognition in interactive applications through mobile phones or handheld devices. Mobile phones are different from desktop computers since mobile phones are not performing any processing involving emotion recognition whereas desktop computers can perform such processing. In fact, in our approach, mobile phones have to pass all data collected to a server and then perform emotion recognition. The object oriented architecture that we have created, combines evidence from multiple modalities of interaction, namely the mobile device’s keyboard and the mobile device’s microphone, as well as data from emotion stereotypes. Moreover, the OO method classifies them into well structured objects with their own properties and methods. The resulting emotion detection server is capable of using and handling transmitted information from different mobile sources of multimodal data during human-computer interaction. As a test bed for the affective mobile interaction we have used an educational application that is incorporated into the mobile system.     

一种基于MEMS惯性传感器的手势识别方法

随着手机等移动电子设备的发展,应用于嵌入式平台的基于MEMS惯性传感器的手势识别成为一个研究热点.提出了一种简单有效的手势识别方法:通过分析手势的运动学特征,在线实时提取手势的加速度和角速度信号特征量,截取手势信号段,利用决策树分类器进行预分类,根据手势信号的变化规律实时识别具体的手势.该方法在20位实验者中获得了96％的平均准确率,手势识别时间小于0.01s.实验结果表明该算法在嵌入式平台下能快速准确地识别手势,满足了实时人机交互的要求.     

柔性触觉传感技术及其在医疗康复机器人的应用

柔性触觉传感器易于贴合皮肤等不规则表面,相比刚性传感器具有更强的信号感知能力、更高的精度和更佳的穿戴舒适性,在人机交互、医疗设备、可穿戴设备、健康监测等领域发挥着重要作用.鉴于此,从传感器不同工作原理出发,对柔性触觉传感器进行系统地介绍和对比,从结构优化的角度分析传感器性能优化方法,整理出微结构、结构疏松化、多模态测量...