关于通用多通道整合模板的研究

针对多通道用户界面的核心问题——多通道整合,旨在对来自不同通道的信息进行合一化处理,最终向计算机正确传达用户意图。围绕多通道整合问题,通过分析多通道输入信息流的特点,提出了一个通用多通道整合功能模板的思想。通过对多通道系统语义的通用描述模型的研究,面向开发人员提供可重用通用多通道整合模板的支持。并给出了一个具体的实现方法。     

关于通用多通道整合模板的研究

针对多通道用户界面的核心问题——多通道整合，旨在对来自不同通道的信息进行合一化处理，最终向计算机正确传达用户意图。围绕多通道整合问题，通过分析多通道输入信息流的特点，提出了一个通用多通道整合功能模板的思想。通过对多通道系统语义的通用描述模型的研究，面向开发人员提供可重用通用多通道整合模板的支持。并给出了一个具体的实现方法。     

多通道界面软件结构模型及整合算法

多通道界面是利用多个输入通道进行人机交互的新一代人机界面，旨在提高人机交互的自然性和高效性，本文首先阐述了多通道界面的概念和研究问题，然后提出评价多通道界面人机交互效率的一种机制，结合面向任务的观点提出了一种多通道界面的软件结构模型，在此基础上实出一个具有多通道界面特点的原型系统（ＭＭＬ＿ＰＲＯ）并给出相应的通道整合算法，最后利用指出的评价机制对ＭＭＩ＿ＰＲＯ交互效率进行了定量评价。     

城市规划中基于IS的多通道分层整合方法

提出一种基于交互语义的多通道分层整合方法,该方法结合概率以及时间约束等内容,从多通道的输入信息中捕获用户交互意图,形成交互任务。将其应用于虚拟环境中,根据实际需求设计并实现多种多通道交互技术,同时举例分析其整合过程。仿真实验结果表明,该方法是有效可行的。     

多通道模糊指称及其可用性研究

多通道用户界面强调以充分性代替精确性,允许用户在人机交互过程中使用不精确通道输入不精确信息．针对多通道用户界面对于实现不精确性目标选择的需要,运用模糊模式识别方法,提出一种根据不精确输入信息进行目标选择的算法．可用性测试表明了运用该算法实现的多通道用户界面所具有的优越性．     

虚拟城市规划中的多通道整合

将多通道交互用于虚拟环境,研究自然和谐的交互方式已经成为虚拟现实的一个重要研究方向.文中以城市规划为应用背景,融合跟踪器、语音和笔输入,提出概率合一的任务制导多通道整合,并辅以上下文语义;以此为基础,有针对性地设计了多通道交互技术,并依据多通道交互的特性分别进行阐述,实现了自然、高效的多通道虚拟城市规划.     

融合触、听、视觉的多通道认知和交互模型

以触觉相关的多通道交互研究为立足点,结合经典的多通道假设和最新的认知理论,提出一种融合触觉、听觉、视觉的多通道信息认知加工模型,并就计算机端的信息处理过程提出了多通道交互的分层处理模型,分析了相应的多通道整合方法.该模型对交互界面与程序主体功能定义不同的实现路径,区分交互设备和交互信息处理过程,有利于从不同角度对交互界面的研究工作进行简化,避免高耦合度带来的冗余工作量;实现了一个融合触、听、视觉交互的实例.实例结果表明,利用文中模型能够降低多通道交互研究的分析难度并提高实验效率.     

电子沙盘应用的多通道交互系统设计与实现

多通道交互技术是人机交互研究领域的一个重要方面。将多通道交互技术应用于电子沙盘中,为指挥人员提供自然、高效的交互方式,必将大大提高指挥人员的指挥效率。文中采用模块化的思想描述以电子沙盘为平台的多通道交互系统架构,重点阐述了任务分析验证和多通道整合方法。其中任务分析与验证主要实现基于原子操作的交互任务模板构建和操作安全验证;多通道整合则基于任务模板最优匹配方法实现桌面协作机制。并基于上述设计实现了一个态势研讨原型系统。     

一个基于Web浏览器的多通道网上购物界面NetShop

介绍了一个基于Web浏览器的多通道网上购物界面NetShop原型系统的系统结构及设计特点,这一系统是在对通用Web浏览器的多通道扩充的基础上,以网上购物为背景设计的多通道交互系统,系统通过采取基于上下文的查询,基于主通道的整合策略,语音反馈及补偿性输入等手段,为网上购物提供了一个自然的交互环境,在系统结构上采用了软插件技术,使得设计更为灵活,并为第三方的开发提供了一个开发性的接口。     

面向儿童的多通道交互系统

设计和实现了一个基于笔和语音的面向儿童的多通道三维交互系统.系统中包含了基于笔和语音的交互信息整合框架,用来整合儿童输入的笔和语音信息.同时,系统中定义了一些基于笔和语音的交互技术,可以支持孩子们以自然的方式,通过笔和语音同系统进行交互.用笔来勾画三维的场景和小动物等实体,同时用笔和语音同场景和场景中的实体进行一定的交互.     

基于任务的多通道整合设计与实例

多通道人机交互技术的研究旨在为计算机用户提供一个方便高效的人机交互环境。     

基于交互注意力机制的多模态情感识别算法

在多模态语音情感识别中,现有的研究通过提取大量特征来识别情感,但过多的特征会导致关键特征被淹没在相对不重要特征里,造成关键信息遗漏.为此提出了一种模型融合方法,通过两种注意力机制来寻找可能被遗漏的关键特征.本方法在IEMOCAP数据集上的四类情感识别准确率相比现有文献有明显提升;在注意力机制可视化下,两种注意力机制分别找到了互补且对人类情感识别重要的关键信息,从而证明了所提方法相比传统方法的优越性.     

基于感知重采样和多模态融合的连续情感识别

情感识别在人机交互中发挥着重要的作用,连续情感识别因其能检测到更广泛更细微的情感而备受关注。在多模态连续情感识别中,针对现有方法获取的时序信息包含较多冗余以及多模态交互信息捕捉不全面的问题,提出基于感知重采样和多模态融合的连续情感识别方法。首先感知重采样模块通过非对称交叉注意力机制去除模态冗余信息,将包含时序关系的关键特征压缩到隐藏向量中,降低后期融合的计算复杂度。其次多模态融合模块通过交叉注意力机制捕捉模态间的互补信息,并利用自注意力机制获取模态内的隐藏信息,使特征信息更丰富全面。在Ulm-TSST和Aff-Wild2数据集上唤醒度和愉悦度的CCC均值分别为63.62%和50.09%,证明了该模型的有效性。     

黎曼流形上的多模态医学图像配准

针对传统多模态配准方法忽视图像的结构信息和像素间的空间关系,并假定灰度全局一致的前提。本文提出了一种在黎曼流形上的多模态医学图像配准算法。首先采用线性动态模型捕捉图像的高维空间的非线性结构和局部信息,然后通过参数化动态模型构造出一种李群群元,形成黎曼流形,继而将流形嵌入到高维的再生核希尔伯特空间,再在核空间上学习出相似性测度。仿真和临床数据实验结果表明本文算法在刚体配准和仿射配准精度上均优于传统互信息方法和基于邻域的相似性测度学习方法。     

面向测试的构件系统模型及测试用例生成方法

随着面向构件的软件开发方法的广泛应用,构件系统的描述和测试成为保证软件质量的关键所在。由于构件系统的复杂性和开发方法的特殊性,用传统方法对构件系统进行集成测试往往面对很多困难。提出了一种改进的面向测试的构件描述模型,称为TCSM,它着重对构件系统中的构件间的交互和约束进行了动态描述,为构件系统集成测试阶段的功能测试和边界测试等提供了大量可用信息。在此基础上,进一步提出一种把TCSM转换成测试模型的方法,以UML协作图模型为原型,实现了构件系统从描述模型到测试模型的自动转换。最后,实现了一种在所产生的测试模型上自动生成测试用例的算法。TCSM更好地描述了构件的交互行为信息,进一步实现了系统的自动化测试,减少了通常需要在构件系统搭建完成后,针对测试对系统手工建立测试模型的工作,提高了构件系统开发的效率和可靠性。     

基于多模式均值时空模型的目标融合检测方法

针对复杂环境下的目标检测问题,提出了一种基于背景模型的融合检测方法。首先在多模式均值模型的基础上,构造多模式均值时空模型,结合像素在时空域上的分布信息,改善了模型对非平稳场景较为敏感的缺点,给出了模型更新方法和前景检测方法;然后利用该模型对可见光和红外图像序列分别进行建模和前景检测,给出了一种基于置信度的目标融合检测方法,利用双传感器信息提高检测精度和可靠性。实验结果验证了本文方法的有效性。