面向情绪调节的多模态人机交互技术

目的 现代社会存在心理问题的人日趋增多,及时调节其负面情绪对社会和谐稳定具有重要现实意义。传统的情绪调节方法需要花费大量人力,为此提出一种面向情绪调节的多模态人机交互方法,识别用户情绪,采用文本对话和体感交互实现对用户情绪的调节。方法 综合运用了表情识别、文本对话和手势来实现对用户情绪的识别,构建了具有情绪表现力的智能体。用户的表情识别采用支持向量机方法,文本对话采用基于规则和融入情绪因素的Seq2Seq模型实现。设计了聊天、过生日和互动游戏（打篮球）等交互剧情,采用手势和肢体动作来辅助交互。为了更好地体现情绪调节的作用,在互动游戏中设计了强化学习算法,可根据用户的情绪反馈来自动调整游戏难度,最终让用户情绪调整到积极状态。结果 通过实验发现,采用单模态交互很难感知到用户的背景信息,因此对用户的情绪识别可能出现误判。而采用多模态的人机交互方式,可以通过文本对话了解用户的背景信息,从而对用户情绪的识别更为合理。在多模态的人机交互剧情中,用户能以更自然的方式实现情景互动,智能体在多模态交互中更能发挥情绪调节作用。结论 本文提出一种基于多模态人机交互的情绪调节方法,该方法不需要昂贵的硬件设备,便于推广普及,为消极情绪的调节提供了一种可计算方案。     

面向老年人的智能家居多模态交互系统研究

提出了应用于智能家居老年人帮助的新型多模态人机交互模式。构建了基于avatar的智能家居人机交互原型系统,集成了语音处理和视线追踪功能,实现了视觉和听觉双通道交互;同时采用基于规则的任务推理方法感知用户任务信息。测试结果表明,该交互模式提高了老年人的交互体验。     

基于多模态交互的智能车载助手设计研究

为探究多模态交互方式在智能车载助手设计中应用的可能性及其流程与方法，提升用户驾驶过程中的情感体验，文章以当下互联网与物联网技术的智慧交通趋势和多模态交互方式为背景，通过对多模态交互方式的元素进行分析和调研，总结用户驾驶过程中的行为需求，构建用户体验旅程图。并进一步探究多模态交互方式在智能车载助手中的设计应用触点，建立智能车载助手的多模态交互设计框架。该框架基于用户在驾驶过程中的行为痛点，充分采用多模态交互方式，将面部识别、视觉呈现、语音交互、触控交互、手势交互等多元的表征方式进行了有效的组合，在保证多模态交互平衡的条件下充分调动用户视听触嗅等多感官属性协调作用，使智能车载助手在与人交互的过程中更加趋于真实自然，为智能车载助手未来的用户体验设计创新提供了新的思路。     

自然交互技术发展现状的知识图谱分析

当前的人机交互需要人类理解机器并按其标准实现交互,这对许多人尤其是老年人而言充满挑战。自然交互关注的是以身体为基础的多模态交互形式,当技术和理论被用以满足人们需求时需要考虑人的自然感受,其已经受到世界各国研究者的关注。该文采用文献计量可视化的方法,借助BibExcel和CiteSpace获取了有关研究时间、研究对象以及主流内容在过去二十年中如何演变的信息。根据聚类与共被引分析结果,本研究将集群分为三类,即模式识别与图像处理、手势交互以及自然人机接口设备。结果显示早期的自然交互研究主要集中于手势识别方面,手部行为因其灵活性和不易混淆的模态得到了研究者的高度关注。近十年来随着技术的发展,主流的研究已经转向利用多模态内容进行自然交互的尝试。该文通过对研究热点和前沿趋势的展望,实现了对于以往模糊的专业评价的量化,使研究者对老龄化自然交互领域有更深入的了解,以期为相关研究提供实质性的帮助。     

基于注意力融合网络的方面级多模态情感分类

方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息, 以检测文本中提及的方面词的情感倾向. 现有的方法大多数只利用单一的上下文信息结合图片信息来分析, 存在对方面和上下文信息、视觉信息的相关性的识别不敏感, 对视觉中的方面相关信息的局部提取不够精准等问题, 此外, 在进行特征融合时, 部分模态信息不全会导致融合效果一般. 针对上述问题, 本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类, 利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征; 利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模, 实现多模态交互; 同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息, 表征出多模态信息, 最后通过Softmax层取得情感分类的结果. 在两个基准数据集上进行实验和对比, 结果表明AF-Net能获得较好的性能, 提升方面级多模态情感分类的效果.     

面向多模态情感分析的双模态交互注意力

针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型.该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息.为了...     

基于对比学习的多模态序列推荐算法

针对如何利用商品的多模态信息提高序列推荐算法准确性的问题,提出一种基于对比学习技术的多模态序列推荐算法。该算法首先通过改变商品颜色和截取商品图片中心区域等手段进行数据增强,并把增强后的数据与原数据进行对比学习,以提取到商品的颜色和形状等视觉模态信息;其次对商品的文本模态信息进行低维空间嵌入,从而得到商品多模态信息的完整表达;最后根据商品的时序性,采用循环神经网络（RNN）建模多模态信息的序列交互特征,得到用户的偏好表达,从而进行商品推荐。在两个公开的数据集上进行实验测试的结果表明,与现有的序列推荐算法LESSR相比,所提算法排序性能有所提升,且该算法在特征维度值到达50后,推荐性能基本保持不变。     

动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术（特别是深度学习、GPU并行计算等）的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用：首先阐述手势交互的核心概念,分析了动态手势识别与检测进展;而后阐述了动态手势交互在人机交互中的代表性应用,并总结了手势交互现状,分析了下一步的发展趋势.     

交互技术及用户接口

人机交互是利用交互技术,借助一些交互设备,比如键盘、鼠标等,实现人机交流。用户接口又是人机交互的主要部分,用户接口的设计涉及很多方面,只有充分地考虑到,才能实现人机交互的和谐。本论文首先对人机交互、交互技术、交互设备等进行简单介绍,其次对用户接口的设计进行详细分析,包括表现方式、工作方式、实现方法等,最后对人机交互的重要性、局限性和展望进行阐述。     

支持隐式人机交互的分布式视觉系统

交互技术的发展推动着交互方式的转变并催生新的交互理论和交互范式。隐式人机交互是一种新型人机交互范式,其特点是用户无需直接操作计算机等设备,交互系统通过分布式传感器检测,分析用户动作,在线地获取当前的动态上下文,用于理解用户的意图,作为系统的隐含输入,产生与用户意图相适应的隐含输出来为用户服务。本文分析了隐式交互对计算系统的需求,提出了通用化的面向应用的服务共享模型,以用于构建分布式视觉系统。基于该系统实现的隐式交互实例表明,上述模型是通用的服务共享模型,能够实现多种隐式交互系统。     

面向虚实融合的人机交互

面向虚实融合的人机交互涉及计算机科学、认知心理学、人机工程学、多媒体技术和虚拟现实等领域，旨在提高人机交互的效率，同时响应人类认知与情感的需求，在办公教育、机器人和虚拟/增强现实设备中都有广泛应用。本文从人机交互涉及感知计算、人与机器人交互及协同、个性化人机对话和数据可视化等4个维度系统阐述面向虚实融合人机交互的发展现状。对国内外研究现状进行对比，展望未来的发展趋势。本文认为兼具可迁移与个性化的感知计算、具备用户行为深度理解的人机协同、用户自适应的对话系统等是本领域的重要研究方向。     

基于Kinect的手术辅助系统研究

针对手术室无菌环境要求非常高的现实需求,以及传统鼠标键盘等人机交互方式存在的需要定期消毒且无法在手术过程中进行操作等客观限制,对目前手术室中人机交互存在的问题进行了分析,提出了一套基于Kinect自然人机交互技术的手术辅助系统。该系统包括一个病人资料库、一套Windows系统下基于Kinect自然人机交互技术的控制程序及一套Kinect手术辅助系统硬件。实验结果表明通过Kinect可以收集操作者的手势、动作、声音等,并将其转化为操作系统可以理解的命令,对手术辅助系统进行相关操作,从而辅助手术进行。该系统对于改善手术条件、节省手术时间、缓解病患痛苦具有一定帮助。     

基于多通道交互技术的计算机辅助需求分析系统的研发

近年来,人机交互向着认知系统方向发展,以便提供自然与有效的交互原则。认知系统依靠来自多个传感器的数据的处理和融合算法的结合,通过动态地适应外界环境来改善人机交互体验。本原型作品在现有的面向问题的计算机辅助软件需求工程(Computer-Aided Requirements Engineering,CARE)工具的基础上,以及在人机交互理论和设计原则的指导下,针对需求展示的场合,提出了一种基于手势操作的自然交互方式,并在追踪识别手势的过程中运用多通道技术辅助追踪,从而大大加快了追踪与识别的速度,提高了精确度,提供了更好的用户体验。     

基于Leap Motion的手术室无干扰交互技术

在手术室中,传统人机交互技术很大程度上依赖于鼠标、键盘、触摸屏等输入设备,但这种接触式交互有导致患者感染的风险.而虚拟操作人机交互过程采用计算机视觉来获取手势信息,在交互的自然性与成本上有很大的优势,是现如今人机交互领域发展的主要趋势.本文介绍了一种基于Leap Motion的手势控制技术,利用AR技术和Leap Motion设备,使得手术过程中医生无需接触手术设备,在非接触式设备的帮助下使医生能彻底远离因接触设备给手术带来的干扰和手术风险.实验表明,相比于传统的接触式交互技术,基于Leap Motion的手术室无干扰交互技术在一定程度上减少了接触式交互所带来的手术感染风险并增加了医生操作的易用性.     

人机交互的进展及面临的挑战

叙述了人机交互的最近进展，尤其是我国的一些优秀成果，包括多通道交互、交互模型、虚拟现实和三维交互、可穿戴计算和移动计算、智能空间、标准化；并论述了无所不在计算等对人机交互提出的挑战．最后发表了若干看法。     

基于Leap Motion的手势控制技术初探

最新体感设备Leap Motion的面世提供给用户一种全新的体验, 即通过跟踪探测动态手势可以进行体感游戏、虚拟演奏、凌空绘画等的非接触式人机交互. 文章首先对Leap Motion的技术特点进行介绍, 并对同类型设备进行对比总结, 介绍了Leap Motion的相关应用和发展前景. 文章分析了Leap Motion的原理和技术基础, 然后提出基于Leap Motion的手势控制技术, 最后以一个基于Unity 3D的手势控制虚拟场景中的物品运动的具体实例, 对Leap Motion手势控制技术的实现进行了细节介绍.     

支持多模态交互的桌面增强显示系统

传统的显示设备在受限的物理空间内难以向用户呈现大量画面和复杂内容,而AR头戴式显示设备通过将三维的可视化内容悬浮显示在用户眼前,在不占用额外物理空间的条件下可增强真实世界的画面显示,呈现形式更为丰富的内容。设计AR虚拟空间与真实电脑画面虚实融合的桌面增强显示系统。通过基于二维码识别的空间定位技术将真实电脑画面映射至虚拟空间内,实现交互空间的统一,同时构建窗口布局计算模型使得系统可以根据用户自定义参数自动生成窗口并设置其布局。在此基础上,利用蓝牙通信、网络传输、操作系统底层映射和结合视线检测的语音识别等技术支持手势、键鼠和语音的多模态交互方式,设计鼠标移动策略以扩展鼠标在三维空间下的多种操作模式。实验结果表明,与隔空手势交互、鼠标交互等传统交互方式相比,该系统在处理常见电脑任务时平均耗时节省10%~30%,具有较高的交互效率,且在跨窗口连续移动和瞬间跳转时能够正确显示鼠标位置。