基于MAS的智能交互界面研究及应用

自适应人机交互界面的设计是应用系统能否成功实施与使用的关键,基于此提出了将多Agent系统引入用户界面设计中.分析了交互Agent模型的性质、作用和结构,讨论了几种典型界面模型的特点.实现了一种通过广义状态转移网络学习、进化、预测用户行为并能自主动作的自适应界面Agent模型,并结合应用实例说明了其工作机制.     

面向电子商务平台用户意图预测的时间感知分层自注意力网络

在推荐系统领域,了解电商平台中在线用户的行为意图至关重要。目前的一些方法通常将用户与商品之间的交互历史数据视为有序的序列,却忽视了不同交互行为之间的时间间隔信息。另外,一个用户的在线行为可能不仅仅包含一种意图,而是包含多种意图。例如,当一位用户在浏览运动品类下的商品时,其可能同时有购买足球和运动衫这两种商品的意图。但是现有的一些电商平台用户意图预测方法很难有效对用户-商品交互对时间间隔信息进行建模,也难以捕捉用户多方面的购物意图。为了解决上述问题,我们提出了一种时间感知分层自注意力网络模型THSNet,以更有效对电商平台的用户意图进行预测。具体而言,THSNet模型采用一种分层注意力机制来有效地捕获用户-商品交互历史中的时间跨度信息以更有效建模用户的多种意图。THSNet模型的注意力层分为两层,底层的注意力层用于建模每个会话内部的用户-商品交互,上层的注意力层学习不同会话之间的长期依赖关系。另外,为了提高预测结果的鲁棒性和准确度,我们采用BERT预训练的方法,通过随机遮盖部分会话的特征表示,构造了一个完形填空任务,并将该任务与用户意图预测任务耦合成为多任务学习模型,这种多任务预测方法有助于模型学到一个具有鲁棒性和双向性的会话特征表示。我们在两个真实数据集上对所提方法对有效性进行了验证。实验结果表明,我们所提出的THSNet模型要明显优于目前最先进的方法。     

基于MAS的智能交互界面研究及应用

自适应人机交互界面的设计是应用系统能否成功实施与使用的关键,基于此提出了将多Agent系统引入用户界面设计中。分析了交互Agent模型的性质、作用和结构,讨论了几种典型界面模型的特点。实现了一种通过广义状态转移网络学习、进化、预测用户行为并能自主动作的自适应界面Agent模型,并结合应用实例说明了其工作机制。     

基于自然手势跟踪的直接操作型三维人机交互范式

针对自然手势单通道条件下建立统一交互模型的难点问题和关键问题,该文提出一种基于二级行为模型的3D手势跟踪和交互方法,实现了一种基于自然手势的直接操作型3D人机交互界面范式原型系统.首先,建立了二级行为模型,然后,以行为模型为基础,设计并实现了一种基于行为模型的三维人机交互界面范式.文中主要创新点在于:建立了基本手势库的二级行为模型;用"令牌环"技术捕捉用户的交互意图;建立"多选一"的交互模型;用"替身"技术解决人手模型与不同物体的抓取过程中的多样性和复杂性问题,建立了抓取和释放操作的统一范式并提出了相关算法.文中算法在多个交互型虚拟装配平台上得到了验证.实验结果表明,与现有相关算法相比较,文中算法在时间开销和跟踪精度等方面得到了明显改善.     

ICOMDT:一个面向动态任务的交互计算模型

近年来,包含动态任务的交互式系统得到了广泛的应用.基于现有对用户与动态任务交互的研究,提出一个面向动态任务的定量化可计算的交互模型ICOM^DT,用于解释用户与动态任务的交互行为,并实现用户意图预测.更具体地,将ICOM^DT应用于运动目标选择任务,设计了两个实验以验证模型的有效性.实验1收集用户数据对模型进行拟合并预测用户选择的错误率,实验结果表明,能够很好地拟合且预测值也与真实值接近;实验2将模型对用户意图的理解拓展为一种辅助运动目标选择技术ICOMPointer,通过在具体的游戏场景中与Windows原本的选择技术及两种现有的增强目标选择技术对比,发现使用ICOMPointer选中目标的平均完成时间更短,完成速度更快.ICOM^DT模型的提出对计算机理解用户意图,提高用户与动态任务的交互效率有着重要意义.     

基于席克定律与费茨定律的菜单可用性研究

针对人机交互界面菜单设计可用性预测问题,以席克定律和费茨定律为建模基础,提出一个全新的菜单交互可用性预测模型。该模型通过设计一种评估用户选择目标菜单项的耗时计算方法,预测对象涵盖从新手到专家所有层次的用户行为。实验结果表明,在用户从新手转换到专家行为的各个阶段,使用该模型预测得到的菜单交互可用性数据与实验测试得到的数据吻合较好,两者相关性达0.968,证明该模型能广泛应用于各类菜单设计过程中的可用性预测工作。     

面向智能电视的隐式手势交互建模与算法

针对基于视觉的智能电视手势交互中用户认知负荷和操作负荷较重的问题,提出融合显式交互和隐式交互的手势交互算法.通过对基于视觉的智能电视手势交互场景分析,首先建立了基于用户行为和智能电视状态的多层次上下文模型,实现上下文的数据融合与特征提取;其次设计并实现了CDL-DFCM推理模型和显隐信息融合的隐式交互模型,识别交互情景事件并感知用户意图;最后实现用户与智能电视的隐式交互.实验结果表明,与现有算法相比,该算法在操作准确率、时间开销和手势移动距离等方面得到了明显改善,并有效地提升了用户体验.     

基于层次意图解耦的图卷积神经网络推荐模型

当前意图推荐研究提取出的用户意图趋向扁平化,忽略了意图间的层次关系。针对以上问题,提出了一种基于层次意图解耦的图卷积神经网络推荐模型(HIDR),将用户—项目交互图划分为多个动态交互子图,以刻画从细粒度到粗粒度的用户意图层次图。首先,在每个意图交互子图中根据节点高阶连接性自适应地聚合来自高阶邻域的信息,解耦提取用户细粒度意图表示;然后,依据低层次细粒度意图之间的相似关系在高层网络上构建粗粒度意图超节点,显式建模从细粒度到粗粒度的意图层次结构;最后,将解耦得到的层次意图向量聚合为高质量的用户和项目表示,并进行内积预测和迭代优化。在Gowalla和Amazon-book两个数据集上的实验结果表明,相较于最优基线模型CLSR,HIDR的召回率(recall)分别提升了10.82%、6.63%,归一化折损累计增益(NDCG)分别提升了14.65%、9.63%,精度(precision)分别提升了10.46%和7.73%。     

一种笔式表格组件的设计方法

传统基于WIMP界面范式的表格设计,无法满足用户与界面自然、高效、连续性交互的需求,尤其是用户无法根据设计意图自由勾画任意通用的表格,也无法自动标识表格界面逻辑.提出一个基于笔交互的表格组件的设计方法.该方法以数字笔代替鼠标键盘,能够连续输入笔迹并识别为文字、勾画草图并识别为正式表格或框线、使用笔手势操纵界面对象,并能自动识别表格的逻辑结构.本文讨论了该笔式表格组件的开发框架及关键技术,以及表格组件架构,并给出了应用实例及性能评估,实验结果表明,用户使用该方法设计表格具有较高的效率与用户满意度.     

情境感知驱动的移动设备自适应用户界面模型

为降低移动设备控制与对话中的用户认知负荷和操作难度,采取基于情境感知的自适应人机交互策略,分析其中的交互机制和可视化形式,建立用户界面模型指导界面设计和原型构建。该模型制定了原始情境数据的分类感知方式、作用机制和结构化组织形式,设定不同的自适应控制策略和情境触发规则,对自适应交互状态转移过程进行约束。形式化定义自适应过程中的界面模式及其转换函数,并提出重构、替代、几何变换、过滤和推送等具体可视化表达形式。根据用户反馈信息选取显性和隐性评价指标,构造评价函数评估自适应效果,对自适应机制进行相应调整与优化。应用此模型进行自适应手机名片夹界面的视觉设计和原型开发,测试结果表明,自适应界面能有效提高用户操作效率和主观满意度,进一步验证了模型的可行性与有效性。