体感交互设计及其在三维虚拟实验中的运用

人机交互方式能够直接对于用户体感与沉浸感具有直接性影响,根据桌面交互在信息维度上面所具有的局限,不同用户在完成三维交互任务上面所获得感受存在显著差异。体感交互主要是应用自然肢体动作,直接完成交互,进而在信息传输上面具有连续性及多面性的特征,有效降低对于键盘的依赖程度,让学习者对于学习任务本身更加关注,提高在三维虚拟学习系统内所具有的舒适性。     

基于无线警报系统的LCD显示菜单设计

为了在无线警报系统上实现数据输入、显示及存储等屏幕显示功能,提出了基于44个键盘交互的LCD显示多屏菜单设计方法。以ARM CortexTM—M0内核的微处理器为主控芯片,结合点阵液晶模块HTM12864进行C语言程序系统设计。对菜单数据项和功能函数进行独立设计,使菜单显示窗口化,并为每个窗口配置一个按键处理的回调函数来实现窗口切换。系统运行结果表明,该方法实现简单,占用内存少,操作界面简便,达到设计方法的目的。     

一种基于LPC1788的OLED显示按键矩阵设计

为了实现人机交互场景中按键矩阵的硬件通用化设计,功能软件自定义设置、按键数量可扩展,对OLED显示按键进行了研究,并设计了基于OLED显示按键的按键矩阵。根据OLED显示按键的驱动原理,设计了基于LPC1788控制器的按键矩阵电路原理图,提出了基于硬件通用化设计方案,及各部分电路的工作原理。根据OLED显示按键的控制时序、状态变换,进行了LPC1788控制器的固件设计,以及OLED显示按键的上位机配置软件设计,实现了显示文字、图片的软件可配置。对设计OLED显示按键矩阵进行了测试,实现了硬件的通用化设计、按键功能可定义、可扩展设计。设计实现表明,可以将OLED显示按键设计为人机交互场景中按键矩阵,按键显示分辨率96×64像素,180°视角,调光范围0～250cd/m~2,高清晰度、高对比度,全屏幕显示,通过软件灵活配置,实现矩阵翻页设计,扩展为更多的按键需求,节省了结构空间。基于LPC1788的OLED显示按键矩阵设计,共18个按键,可实现18×N组按键的扩展,稳定可靠、清晰度高、通用性强、外形美观、人机界面友好,可以广泛地应用于车载、舰载、机载等按键需求的人机交互系统中。     

基于Leap Motion手势识别的悬浮真3D显示实时交互系统

提出基于Leap Motion手势识别的悬浮真3D显示实时交互系统,可实现对多个悬浮3D图像的独立交互.系统由显示和交互两个模块组成,显示模块利用集成成像3D显示屏再现3D图像,再通过二面角反射镜阵列实现悬浮真3D显示;交互模块通过Leap Motion识别手部各关节空间位置,提取手势信息并判断用户操作意图,利用提出的...     

具有人机交互界面的步进电机控制器设计

为便于工业应用,设计了具有人机交互界面的步进电机控制器。该控制器具有独立的编程指令。用户可通过PC机运行的程序编译软件完成应用程序的编写、自定义图像的选取及寄存器参数的设置。程序编译软件将上述信息通过串行总线传送给步进电机控制器,并保存在非易失性存储器中。步进电机控制器读取、解译并执行应用程序。该系统中配置有液晶显示器,实时显示操作信息;同时配有键盘,便于用户在工业现场修改应用程序或寄存器参数。整个系统以片上外设丰富的Cortex-M3核ARM芯片为核心,对系统指令、人机交互键盘、非易失性存储及LCD显示模块的设计进行了详细分析,并给出了系统设计显示结果。结果显示:LCD显示信息与用户按键命令同步,非易失性模块数据存储可靠,系统运行结果良好。     

感应遥控器控制智能电视播放音乐的方法及实现

随着当代社会中智能电视的飞速发展,人们对电视功能需求越来越高,对电视遥控器的控制要求也越高,仅靠通过增加按键的方式并不能适应所有的用户需求.新型的感应遥控器基于3D触摸板设计,利用感应遥控器来控制智能电视轻松实现音乐的播放,真正的实现了人机交互的理念,提高用户体验的同时也满足了当前市场的需求.     

单片机实用技术讲座(8) 第六讲 键盘及其接口技术

<正> 在一个单片机应用系统中,键盘和显示是系统中必不可少的输入输出设备,是控制系统与操作人员对话的窗口。一个安全可靠的控制系统通常具有方便的交互功能,操作人员可以通过外设键盘灵活地输入各种参数以调节系统的运行,掌握系统的工作状态。在一些复杂的应用系统中,为准确判断系统的运行状态和故障定位,设计人员往往会在程序中加入一些用于系统定位的代码。一种简便的做法便是额外设置几个按键,通过按键的组合以及显示状态的不同来判定系统的工作状况,以便及时了解系统内部运行状态,一旦出现故障,可以在最短的时间内找出故障原因,及时恢复。所以我们可以这样认为:键盘是单片机系统中实现人机对话的纽带和桥梁。下面,我们就键盘设计中的软硬件的实现方法向读者作一介绍。 键盘设计中应注意的几个问题 1.键盘接口类型的选择 一般来说,键盘有两种接口方式:独立式和行列式。独立式是指将每个按键一一对应地接到     

离线建模法在虚拟键盘中的应用

针对基于图像处理技术的虚拟键盘存在的按键定位准确度低的问题,提出了一种基于图像处理的离线建模的方法。该方法将摄像头和键盘距离保持固定,通过摄像头采集键盘图像,轮廓查找算法定位键盘的每一行,再进行一些简单的计算即可建立键盘在采集的图像中的位置信息。后续程序只需检测手指按下的位置,通过坐标转换即可定位用户按下的目标按键,实现输入功能。本文在VC6．0编程环境下,用开源机器视觉库（OpenCV）,编写了软件算法,实验表明该方法能够高准确度定位键盘位置,为虚拟键盘的研究提供了新的设计方法。     

单片机用键盘显示程序设计

键盘显示作为单片机的一部分,成为了最通用的人机交互界面。文章采用独立式键盘和数码管显示的人机交互界面,在此基础上编写了51的通用程序,在按键处理程序里使用了功能嵌套,类似于下拉菜单。硬件电路用Proteus进行了仿真,通过按键可以选择和修改不同种类的参数,并且数码管能够正确显示这些参数值。     

基于计算机视觉的3D手势交互系统

随着计算机的广泛发展,键盘、鼠标等传统的人机交互方式很难满足用户自然、便捷的交互需求。研究手势建模、人手跟踪和手势交互系统的应用成为热点趋势。提出了一种简化的2D人手模型,该模型将人手建模为掌心点和5根手指,同时设计了一种基于粒子群优化(PSO)算法的人手跟踪方法,通过建模人手的生理和运动学约束关系,实现了基于2D/3D人手模型的PSO人手跟踪,该手势交互系统框架更具适用性和扩展性,融合了语义和反馈信息,提高了人手跟踪的鲁棒性和手势识别的准确度。     

基于人脸朝向的非穿戴自然人机交互

提出了一种新颖的基于人脸朝向的非穿戴人机交互新方法.采用主动形状模型确定人脸面部轮廓特征点,克服光照和人脸姿态变化影响,在简化冗余信息的同时,降低计算复杂度.基于最大三角化划分面部轮廓特征,在此基础上,基于Kinect摄像机将构建的二维人脸模型映射至三维空间,动态求解面部朝向的法向量,通过图像帧间的均值滤波确定空间交互目标.用户无需佩带任何标记,且其活动不受约束,满足人机交互舒适性、多元性要求,实现非穿戴自然人机交互.通过实验对比,验证了本文方法有效、可行.     

基于深度测量的三维成像技术

由于三维（3D）成像技术有着广泛的应用,尤其是在信息和生命科学领域的应用,因此越来越受到人们的关注。这些技术大致可分为两类:基于光线的三维成像技术和基于波前的三维成像技术。传统成像技术存在系统装置复杂和成像质量不尽人意等问题,极大限制了其在相关领域的应用,因此基于深度测量的三维成像技术越来越受到重视。文中概述了基于深度测量的三维成像技术,分别详细描述了基于深度测量三维成像的光线场和光波场的相关技术,给出了光线场和光波场成像技术之间的联系,基于这些描述和分析,给出了基于深度测量三维成像研究领域的研究方向。     

Integrating perceptual and cognitive modeling for adaptive and intelligent human-computer interaction

This paper describes technology and tools for intelligent human-computer interaction (IHCI) in which human cognitive, perceptual, motor and affective factors are modeled and used to adapt the H-C interface. IHCI emphasizes that human behavior encompasses both apparent human behavior and the hidden mental state behind behavioral performance. IHCI expands on the interpretation of human activities, known as W4 (what, where, when, who). While W4 only addresses the apparent perceptual aspect of human behavior the W5+ technology for IHCI described in this paper addresses also the why and how questions, whose solution requires recognizing specific cognitive states. IHCI integrates parsing and interpretation of nonverbal information with a computational cognitive model of the user which, in turn, feeds into processes that adapt the interface to enhance operator performance and provide for rational decision-making. The technology proposed is based on a general four-stage interactive framework, which moves from parsing the raw sensory-motor input, to interpreting the user's motions and emotions, to building an understanding of the user's current cognitive state. It then diagnoses various problems in the situation and adapts the interface appropriately. The interactive component of the system improves processing at each stage. Examples of perceptual, behavioral, and cognitive tools are described throughout the paper Adaptive and intelligent HCI are important for novel applications of computing, including ubiquitous and human-centered computing.     

3D视音频技术综述

随着2009年底卡梅隆导演的《阿凡达》影片的热映,三维立体(3D Stereo)显示技术成为目前火热的技术之一,通过左右眼信号分离,在显示平台上能够实现的立体图像显示。立体显示是VR虚拟现实的一个实现沉浸交互的方式之一,3D(3 dimensional)立体显示可以把图像的纵深,层次,位置等细节全部展现,观察者更直观地了解图像的现实分布状况,从而更全面了解图像或显示内容的信息。为了配合3D立体视觉环境,介绍了3D音频技术,它是未来的一个趋势,并且对3D音频技术的基本理论、声学特点和发展状况等给出了看法。     

飞行仿真演示系统人机交互模块研究与开发

飞行仿真演示系统中人机交互模块分为模拟操纵手柄输入和三维动画显示两部分。为了在实验室现有软、硬件基础上开发实时、快速和模块化的演示系统，使用DirectX SDK做开发工具，以便直接访问底层硬件，充分利用硬件的优化性能。在模拟操纵手柄输入模块开发中使用DirectX的DirectInput组件，借助其与硬件类型及输入端口无关的特性，方便地实现手柄输入信号读取；在三维动画显示模块开发中使用DirectX Graphics组件提供的方法，根据飞行器模型实时运动状态量，对飞行器三维模型进行六个自由度的控制，以动画形式表现人工操纵的飞行器模型实时运动状态。通过这两个模块的开发，实现具有人机交互功能的飞行仿真演示系统。     

元宇宙中的动态全息三维显示:发展与挑战（特邀）

相比二维显示,三维显示可以提供更接近真实世界的图像内容,是5G、大数据、元宇宙和物联网领域的关键性技术。计算全息三维显示可以提供所有种类的深度线索,被认为是三维显示的终极实现方式,在智能制造、远程教育、异地办公和娱乐社交等领域都具有广阔的应用前景。文中首先介绍了计算全息技术的发展历史和重要技术节点,分析了高质量全息动态三维显示面临的挑战,主要包括计算全息图重建质量不足、波前调制器件和全息显示系统性能受限以及三维内容源匮乏等,进一步介绍了已有的解决方案,比较了各类方案的优势与不足,进而分析了高质量全息动态三维显示的主要研究方向,包括低噪声全息图的获取、像质优化和畸变校正技术的开发以及三维内容源的构建。实现高质量、低噪声、无畸变、高刷新、真三维的动态全息三维显示,是计算全息显示发展的必由之路,也是元宇宙等典型应用对全息三维显示提出的必然要求。     

基于Unity的无人机三维视景系统设计与实现

当前无人机显示系统主流多为二维显示,缺乏兼顾仿真训练使用和实际飞行使用的实时、逼真的三维态势显示软件,为实现无人机飞行过程中的实时位置、姿态信息、航线信息、飞行轨迹三维显示,满足无人机飞行过程的多视角三维显示,开发基于Unity三维引擎、计算机虚拟仿真技术的无人机三维视景系统,融以逼真的仿真模型,兼容虚、实相结合的应用模式,最大程度地贴近实际操作,提供真实的无人机飞行三维显示。该系统可以帮助用户提高无人机训练保障水平,优化现场指挥调度模式,营造逼真的虚拟环境,提升训练和观摩效果。     

基于三维激光扫描技术的路面断板深度检测

针对传统的路面检测方法无法直接获得路面的深度信息,设计了一种基于三维激光扫描技术的路面断板深度检测方法。该方法首先通过三维激光扫描仪得到路面点云数据,其次将路面断板数据沿水平方向分为若干切片,然后对每一断板切片上下平面分别进行拟合,最终根据上下平面之间的距离确定断板的深度。根据实际工程需要,提出了一种基于动态阈值的平面拟合迭代算法,不仅可以有效地识别并去除断板点云数据中的无效点,而且可以在点云数据三个方向都存在误差的情况下实现平面计算。实验结果表明,该方法不仅能得到整个路面断板的深度信息,还能反映出断板深度沿水平方向的变化趋势。     

基于语义导向的光场图像深度估计

光场图像的深度估计是3维重建、自动驾驶、对象跟踪等应用中的关键技术。然而,现有的深度学习方法忽略了光场图像的几何特性,在边缘、弱纹理等区域表现出较差的学习能力,导致深度图像细节的缺失。该文提出了一种基于语义导向的光场图像深度估计网络,利用上下文信息来解决复杂区域的不适应问题。设计了语义感知模块的编解码结构来重构空间信息以更好地捕捉物体边界,空间金字塔池化结构利用空洞卷积增大感受野,挖掘多尺度的上下文内容信息;通过无降维的自适应特征注意力模块局部跨通道交互,消除信息冗余的同时有效融合多路特征;最后引入堆叠沙漏串联多个沙漏模块,通过编解码结构得到更加丰富的上下文信息。在HCI4D光场数据集上的实验结果表明,该方法表现出较高的准确性和泛化能力,优于所比较的深度估计的方法,且保留较好的边缘细节。     

新一代(第四代)人机交互的概念框架特征及关键技术

人机交互是研究人与计算机之间通过相互理解的交流与通信,在最大程度上为人们完成信息管理,服务和处理等功能的一门技术科学.本文给出新一代(第四代)人机交互的概念框架和其四个标志性特征,即:(1)具有多模感知(听觉,视觉,手势,笔势等)功能的人机交互方式;(2)可进行基于Agent的听、视觉对话,作为人机交互的界面;(3)具有Internet数据仓库和基于内容检索的知识处理能力,作为人机交互内容;(4)可以在二维或虚拟的三维环境中实现人机通信,作为人机交互的环境.文中给出了解决和实现该四大特征的关键技术,描述了实验系统平台的全面功能,可以为同类研究人员作参考.