基于复合帕尔贴模块热触觉再现装置研究

设计了一种基于复合帕尔贴模块的改进型温度触觉感知再现装置。首先分析了手指接触复合帕尔贴装置表面时的热传导过程,并根据热网络分析法建立了基于复合帕尔贴模块的热触觉感知模型;据此设计了一种通过控制复合帕尔贴模块表面温度变化来模拟温度触觉过程的装置,复合帕尔贴装置由两个20 mm×20 mm的帕尔贴模块重叠放置构成,通过对上下层帕尔贴模块输入电流分别控制,实现了比单层帕尔贴模块更为快速的升降温速率和更大工作温度区间;最后,通过热图标辨别实验,分析了将温度触觉感知再现应用于特殊人群导航的可行性。     

基于电磁力控制的非接触式二维力触觉再现系统

力触觉再现提供了操作者与虚拟物体间的双向信息和能量交互,有效提高了虚拟现实等应用系统的真实感、沉浸感和 操作效率,成为人机交互的新兴技术和研究热点。 本文实现了一种新型的基于电磁力控制的二维力触觉再现系统,该系统由二 维背景电磁场产生和控制模块、指尖穿戴式永磁铁、人手位置检测模块和中央控制模块组成。 基于 ANSYS 有限元分析,确定了 系统中背景电磁铁线圈和指尖永磁铁的最优参数,获得指尖永磁铁所受电磁力与二维可控背景电磁铁驱动电流、指尖电磁铁位 置的映射关系,形成离线仿真数据。 提出了基于离线仿真数据实时插值的二维力触觉再现中电磁力控制方法。 在实现系统原 型的基础上,开展了作用力阈值感知基础实验和三维虚拟物体识别实验。 实验结果表明,两种三维虚拟物体的识别实验成功率 分别为 85. 7% 和 71. 4% ,有效验证了本文所设计力触觉再现方法的有效性。     

面向竞技训练的下肢外骨骼多模态交互系统研究

目前关注辅助下肢提升身体素质训练的可穿戴设备研究存在缺失,而外骨骼与虚拟现实的协同研究是近几年的新兴方向,多模态信息融合的外骨骼系统能有效优化训练效果和训练体验。因此,开发了一套面向竞技训练的下肢外骨骼多模态交互系统,不仅提供了丰富多样且标准规范的辅助训练,并且实现了多感官的沉浸体验。首先,设计一种多自由度分步动作规划方法,基于下肢运动动作点实现训练动作的复现。其次,提出下肢外骨骼多模态交互系统,通过虚拟现实竞技训练模拟器实现信息空间中规范动作的呈现与指示,构建动作数据集和下肢外骨骼机器人实现物理空间中基础训练的辅助与矫正。系统基于多模态交互执行策略,实时给予训练者视觉、听觉、触觉的多感官反馈,实现符合安全规范的沉浸体验。最后,通过系统功能与用户体验两项实验进行系统验证。功能性实验证明,与原有传统训练相比,该系统平均可提升动作准确率27.62%,且具有一定通用性。用户体验的实验结果表明,该系统功能符合设计预期,舒适性相对其他指标有待提高。     

融合超像素与多模态感知网络的遥感影像车辆检测

针对遥感影像车辆检测中背景干扰、目标密集和目标异质性等因素引起的识别精度下降问题,提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。首先,基于混合超像素的区域合并规则,通过超像素二分图融合算法将两种模态的超像素分割结果进行融合,提升了不同模态图像超像素分割结果的准确性;其次,提出一种多模态边缘感知网络的遥感影像车辆检测方法 MEANet (Multi-modal Edge Aware Network),引入OPT-FPN模块（Optimized Feature Pyramid Networks）来增强网络学习多尺度目标特征的能力;最后,通过边缘感知模块聚合超像素和多模态融合模块生成的两组边缘特征,进而生成车辆目标的准确边界。在ISPRS Potsdam和ISPRS Vaihingen遥感影像数据集上进行实验,最终的mF1分数分别为91.05%和85.11%。实验结果表明,本文提出的方法在多模态遥感影像车辆高精度检测中有着较好的检测准确度和较好的应用价值。     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

基于SSVEP_SSA融合的混合脑机接口研究

针对目前基于体感选择性注意范式的脑机接口控制指令数少,信息传输率低等缺点,提出了一种全新的多模态混合脑机接口系统。该系统融合稳态视觉刺激(SSVEP)和体感选择性注意范式(SSA),在外部视觉和体感刺激的作用下,诱发大脑产生稳态视觉电位和事件相关去同步现象。同时,为了解决传统脑电信息特征提取中需要大量先验知识等问题,引入深度学习算法对混合脑机接口信息进行意图解码,该方法将多通道的时域信息转换成具有时-频-空域三维特征的二维特征图。对8名受试者的离线实验显示,平均识别准确率达到81. 35%,确认了所提出的基于SSVEP_SSA融合的多模态混合脑机接口是可行的,实现了脑机接口(BCI)系统的指令集扩展和高精度解码。     

基于力触觉感知与电刺激反馈的灵巧假手

针对生机电一体化灵巧操作假手这类典型共融机器人,开展结构优化、力触觉感知和临场感反馈功能重建的研究。为此,提出了一种用于欠驱动手指机构设计的交叉四连杆参数优化方法,该方法实现了手指运动轨迹最优、近指关节(PIP)扭矩与掌指关节(MCP)扭矩之比最大;提出了义肢手指与柔性压力传感器的集成设计方法,实现假手对抓握物体的实时力触觉感知;提出了基于电刺激的指端力触觉临场感反馈方法,实现对义肢抓握情况和握力的再现,增加操作者的本体感。该假手手指运动学与动力学仿真结果表明,所提出的连杆参数优化方法能够提升手指的抓握能力。对9名肢体健全受试者与1名前臂截肢患者进行灵巧假手控制试验,试验结果表明,所提出的指尖力触觉感知方法能够很好辅助受试者完成精细抓握控制;使用电刺激方式作为力触觉临场感反馈器具有更好的本体感知效果。同时,明显提升受试者在视觉受阻碍状况下使用假手完成抓取任务的成功率。     

基于视触融合的遥操作机器人虚拟环境几何学建模修正方法

为了提高遥操作机器人虚拟环境几何学建模的精度,提出了一种基于视触融合的遥操作机器人虚拟环境几何学建模修正方法。首先基于视觉信息通过点云采集和预处理、粗细配准相结合的点云配准、表面重建、位姿测量实现了目标物的几何学建模;之后针对遥操作机器人的应用背景,设计了局部半自主和多指协同相结合的灵巧手控制方式,完成了目标物触觉点云的采集;最后采用视触融合的方法,使用KDtree将视觉点云和触觉点云进行融合,并利用视触融合点云对几何学模型进行修正。通过实验证明该方法对不同材质目标物的几何学建模的几何尺寸误差小于3.6 mm、定位误差小于6.8 mm、姿态角测量误差小于4.3°,且效果均优于基于视觉信息的几何学模型和基于触觉信息的几何学模型。该方法构建的几何学模型既包括了目标物的颜色信息,又提高了几何学模型的精度,且在模型细节处表现良好,有效结合了视觉和触觉两种模态信息的优点。     

基于多模态信息融合的图像情感标注方法

随着互联网中图像资源的不断增长,情感作为图像的一个重要语义,是人们检索和选择图像的重要依据,因此对于图像进行情感标注显得至关重要。结合脑电信号(EEG)和图像内容,提出了一种基于多模态信息融合的图像情感标注方法。首先,提取EEG频域特征及图像特征(颜色及纹理);其次,结合两者特征信息,基于两种融合策略(特征层和决策层),构建支持向量机分类模型,进行图像情感识别与标注。为了评估方法的有效性,使用国际情绪图片系统公共数据集进行了实验验证。结果表明,提出的多模态信息融合图像情感标注方法优于单独使用EEG或图像内容的标注方法。此外,该成果有助于缩小低层视觉特征和高层情感语义之间的语义鸿沟。     

一种新的智能内窥镜导航系统

本文介绍了一种新的智能内窥镜导航系统.该系统用于实现内窥镜的智能导航介入.其中导航方法是基于视觉传感器和触觉传感器的多信息融合的方法.在视觉传感器中采用了一种基于自适应阈值图像分割算法的寻径方法,该方法采用加速的最大类间方差法进行阈值分割.在触觉传感器中采用了基于MEMS技术的硅微触觉传感器,四个硅微触觉传感器被封装在内窥镜头部表面,可以获得内窥镜头部全方向的压力.本文通过实验验证了该导航系统的可行性及可靠性,该方法的应用弥补了传统方法中因暗区不明显而无法引导内窥镜的不足,提高了内窥镜导航的精度和可靠性.