基于新型多模态触觉传感器的机器人交互物体分类

多模态传感融合对于机器人探索外界环境十分重要,而现有的触觉传感器只能收集一种触觉模态信息,其收集到的多模态信息存在弱配对问题,为了解决此问题,研究了一种基于触觉和视觉融合的多模态触觉传感器。该传感器可以利用一个感知层同时收集2种异构触觉模态信息,弥补了传统触觉传感器的缺陷,同时可以利用收集到的多模态信息对不同物体的几何形状进行分类,在研究过程中,通过按压实验收集了圆形、正方形、长方形和三角形4种形状物体的触觉信息,再利用K最近邻(KNN)算法进行几何形状分类,实验结果证明了该传感器在区分不同物体的形状上具有良好的效果。     

基于多传感器信息融合的人类抓握特征学习及物体识别

基于柔性可穿戴传感器及多模态信息融合,研究人类的抓握特征学习及抓取物体识别,探索人类在抓取行为中所依赖的感知信息的使用．利用10个可拉伸传感器、14个温度传感器及78个压力传感器构建了数据手套并穿戴于人手,分别测量人类在抓取行为中手指关节的弯曲角度、抓取物体的温度及压力分布信息,并在时间及空间序列上建立了跨模态信息表征,同时使用深度卷积神经网络对此多模态信息进行融合,构建人类抓握特征学习模型,实现抓取物体的精准识别．分别针对关节角度特征、温度特征及压力信息特征进行了融合实验及有效性分析,结果表明了基于多传感器的多模态信息融合能够实现18种物品的精准识别．     

柔性触觉传感技术及其在医疗康复机器人的应用

柔性触觉传感器易于贴合皮肤等不规则表面,相比刚性传感器具有更强的信号感知能力、更高的精度和更佳的穿戴舒适性,在人机交互、医疗设备、可穿戴设备、健康监测等领域发挥着重要作用.鉴于此,从传感器不同工作原理出发,对柔性触觉传感器进行系统地介绍和对比,从结构优化的角度分析传感器性能优化方法,整理出微结构、结构疏松化、多模态测量...     

多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

元宇宙多模态触觉感知与交互的数据手套技术研究

为了提升元宇宙虚拟手交互的逼真性,研发了一种多模态触觉感知与交互的数据手套系统,该系统具有硬件集成度高、响应速度快、数据采集精确和轻便易穿戴的特点。人手穿戴此数据手套后,系统能够采集人手操作时的温度、指尖按压力和手指弯曲程度等数据,并把这些数据实时赋予给虚拟环境中的虚拟手,让虚拟手具有类似人手的动作行为和感知。提出了一种多通道循环采集数据方法,该方法可以高效且准确地捕捉温度、指尖按压力和手指弯曲程度等异构多模态数据,减轻了数据手套的硬件电路复杂性。实验结果表明,此数据手套在获取实时手指动作信息方面精度较高,提升了虚拟手动作的灵活性、直观性和自然性。     

数据受限条件下的多模态处理技术综述

随着多媒体技术的发展,可获取的媒体数据在种类和量级上大幅提升。受人类感知方式的启发,多种媒体数据互相融合处理,促进了人工智能在计算机视觉领域的研究发展,在遥感图像解译、生物医学和深度估计等方面有广泛的应用。尽管多模态数据在描述事物特征时具有明显优势,但仍面临着较大的挑战。1)受到不同成像设备和传感器的限制,难以收集到大规模、高质量的多模态数据集;2)多模态数据需要匹配成对用于研究,任一模态的缺失都会造成可用数据的减少;3)图像、视频数据在处理和标注上需要耗费较多的时间和人力成本,这些问题使得目前本领域的技术尚待攻关。本文立足于数据受限条件下的多模态学习方法,根据样本数量、标注信息和样本质量等不同的维度,将计算机视觉领域中的多模态数据受限方法分为小样本学习、缺乏强监督标注信息、主动学习、数据去噪和数据增强5个方向,详细阐述了各类方法的样本特点和模型方法的最新进展。并介绍了数据受限前提下的多模态学习方法使用的数据集及其应用方向(包括人体姿态估计、行人重识别等),对比分析了现有算法的优缺点以及未来的发展方向,对该领域的发展具有积极的意义。     

引入力触觉的数字文物多模交互方法

目的 针对当前文物资源由传统的实体文物向虚拟展示和数字文物进行扩展的趋势,如何提供一种多模态的信息呈现方式就显得尤为重要。通过将力触觉技术引入3维文物展示领域,提出一种基于多模感知的3维文物交互式呈现的算法框架。在对文物的基本特征进行视、听、触觉多通道分析的基础上,依据用户与文物模型的接触状态对多通道信息进行计算和整合。方法 在力触觉计算渲染方面,基于嵌入深度构建弹簧系统模拟轮廓形状的接触过程,引入动摩擦和静摩擦因数来反映表面摩擦力这一材质特征,通过法线贴图来实现文物表面纹理的触觉处理;针对交互的环境由2维平面拓展至立体空间,结合力触觉设备将操作时的行为和状态映射为虚拟环境中的操作代理,借助操作代理构建"旋转"和"选择-移动-释放"两种基本的操作范式来实现用户意图;最后,物理引擎的引入将物体的基本运动规律集成至虚拟场景,提升场景交互的真实感.结果 使用Phantom Omni手控器搭建面向馆藏文物的多模感知实验系统,抽取志愿者对实验系统进行测评。实验结果表明：运用本文方法,用户可从视觉、听觉、触觉多个通道对数字文物的整体和细节信息进行感知,且交互的整体过程简单、自然、有效。结论 本文提出的基于多模感知的数字文物交互式呈现方法,可有效实现对各类数字遗产特别是3维文物的多模重现,在保证较高实时性的同时拥有良好的可用性和情感体验效果。     

信息物理融合系统中基于多模态数据的事件模型研究

在信息物理融合系统中,通过部署在系统区域内的传感器节点来获得物理世界的信息。信息物理融合系统通常包含若干个异构的无线传感器网络。这些异构网络包含不同类型的传感器节点,这些节点具有不同的感知、计算和通信能力。将异构的传感器节点获得的不同类型的感知数据融合是一个十分重要并亟待解决的问题。在本文中,提出了基于多模态数据的事件模型,以事件为载体将多种不同模态的数据融合计算。文中描述并定义了信息物理融合系统中的事件,给出了基本事件和复合事件的定义,并提出了事件的合成规则。     

触觉传感技术述评

测量被测物和传感器之间触觉参数的触觉传感器是近年来才迅速发展起来的传感器件。它可感受众多的物理特性。检测所测物存在或不存在就是一种最简单的双态触觉传感器;较复杂的触觉传感器则由一个持续采样的二维排列的传感点组成。此类传感器可提供被测物的诸如尺寸、形状、位置、导热性和力的分布等数据。 触觉传感器的维度根据各个传感点的空间排列而定,可分为三种基本类型:     

基于社交媒体的事件感知与多模态事件脉络生成

随着信息技术的发展和社交媒体的流行,普通用户已经完成了从信息接受者到信息产生者的转变,每个人都可以实时分享自己身边的信息,也可以转发自己感兴趣的内容,这使得社交媒体的数据量迅速增长。在海量数据中蕴含着丰富的社会事件发生和发展的记录,如何有效地从这些数据中挖掘出有价值的信息成为了当前信息领域的重要问题。针对该问题,介绍了基于社交媒体的事件感知与多模态事件脉络生成。基于社交媒体的事件感知与多模态事件脉络生成旨在通过分析社交媒体中的文本、时间、图像、评论、观点、情感和用户交互等多模态数据,感知事件并刻画事件的关系,从而实现对事件的总结。讨论了基于社交媒体的事件感知与多模态事件脉络生成的描述模型、概念、发展历史、关键技术与挑战以及其广泛的应用领域,综述了社交媒体分析在事件感知和事件总结方面的研究进展,并对其未来发展进行了展望。     

基于感知重采样和多模态融合的连续情感识别

情感识别在人机交互中发挥着重要的作用,连续情感识别因其能检测到更广泛更细微的情感而备受关注。在多模态连续情感识别中,针对现有方法获取的时序信息包含较多冗余以及多模态交互信息捕捉不全面的问题,提出基于感知重采样和多模态融合的连续情感识别方法。首先感知重采样模块通过非对称交叉注意力机制去除模态冗余信息,将包含时序关系的关键特征压缩到隐藏向量中,降低后期融合的计算复杂度。其次多模态融合模块通过交叉注意力机制捕捉模态间的互补信息,并利用自注意力机制获取模态内的隐藏信息,使特征信息更丰富全面。在Ulm-TSST和Aff-Wild2数据集上唤醒度和愉悦度的CCC均值分别为63.62%和50.09%,证明了该模型的有效性。     

以图像为主的多模态感知与多源融合技术发展及应用综述

不同模态的表现方式不同,描述目标的角度也会不同。多模态感知与多源融合技术是将两种或两种以上的模态组合起来,融合不同传感器、不同平台收集到的数据、特征信息,兼顾不同图像的优势,在遥感监测、军事安防、自动驾驶等领域有着广泛的运用。介绍了热成像、高光谱成像、偏振成像、合成孔径雷达(SAR)、激光雷达(LiDAR)等多模态感知技术,总结了不同成像方式的特点与联系,简述了多源融合相关概念及其技术发展历程,重点分析了不同模态下图像融合案例,在此基础上归纳多模态感知和多源融合技术的发展趋势,最后基于融合算法、系统整体性、评价指标总结出进一步发展方向。     

光学视觉传感器技术研究进展

视觉传感是人类感知外界、认知世界的主要途径，研究表明人类获取的外界信息大约有80%来自于视觉。作为感知外界信息的“电子眼球”，视觉传感器是消费电子、机器视觉、安防监控、科学探测和军事侦察等领域的核心器件。近年来视觉传感器技术发展迅速，不同类型的传感器从不同维度提供丰富的视觉数据，不断增强人类感知与认知能力，视觉传感器研究工作具有重要的理论与应用需求。本报告以典型光学视觉传感器技术为主线，通过综合国内外文献和相关报道，从CCD图像传感器、CMOS图像传感器、智能视觉传感器以及红外图像传感器等研究方向，梳理论述近年来光学视觉传感器技术的发展现状、前沿动态、热点问题和趋势。     

纹理触觉信息检测系统研究

本文利用PVDF(聚偏二氟乙烯)薄膜的压电效应和其独特物理性质,设计了一种高精度、高分辨率、高速响应的具有纹理触觉感知作用的传感器;然后,模拟人体感知纹理触觉信息的过程,制作了基于伺服电机的纹理触觉信息检测平台,可以实现对纹理压电信号的采集与调理;最后,对6种典型的纹理样本进行信号采集,通过试验数据证明了该系统的有效性.     

面向多模态数据的新型数据库技术专题前言

<正>以数字技术为标志的新一轮科技革命方兴未艾,将人类带入数字经济时代.全球各行各业数据量呈现爆炸式增长,数据类型和数据格式也呈现多种形式,例如结构化关系表、半结构化JSON/XML、非结构化文本/图像/视频,以及图数据、流数据和时序数据等.这要求数据库系统能够同时高效地管理多种不同类型的数据.多模态数据管理与分析成为亟需解决的问题.目前的方法主要通过拓展现有的数据库或通过集成各种不同模态数据管理引擎来支持多模态数据管理与分析,缺少新颖的理论、方法与技术的支撑.本专题围绕多模态数据管理与分析的整个生命周期,通过结合大数据技术和人工智能方法探讨新型数据库系统理论、方法和技术,包括多模态数据统一建模、存储与索引、查询与挖掘、并发控制、多模态数据库系统构建及其典型应用等主题,赋予数据库系统新的管理能力,形成多模态数据管理与分析在各行各业的最新应用成果.     

信息融合理论的基本方法与进展(Ⅱ)

在军事技术、自动化、智能化等需求的牵引下,信息融合受到学术界和工业界的广泛关注,近年来取得了诸多新的理论与方法进展,因此有必要予以综述.本文首先分析了信息融合面临的问题与挑战,包括系统融合框架、信息不确定、多模态、高冲突、强相关、网络化以及非线性等;并以此为分类依据,在信息融合模型与系统设计、不确定信息融合、多模态信息融合、高冲突信息融合、相关信息融合及网络化信息融合等方面对近10年来的进展进行了综述.同时,探讨了信息一体化融合处理、以人为中心的信息融合、信息获取与融合的联合优化、复杂多传感器信息融合系统体系结构设计、信息融合系统仿真与性能评估、借助更多的数学理论方法等未来几个可能的研究发展方向.     

基于深度情感唤醒网络的多模态情感分析与情绪识别

随着网络平台上各类图像、视频数据的快速增长,多模态情感分析与情绪识别已成为一个日益热门的研究领域.相比于单模态情感分析,多模态情感分析中的模态融合是一个亟待解决的关键问题.受到认知科学中情感唤起模型的启发,提出一种能够模拟人类处理多通道输入信息机制的深度情感唤醒网络(DEAN),该网络可实现多模态信息的有机融合,既能处理情绪的连贯性,又能避免融合机制的选择不当而带来的问题.DEAN网络主要由以下3部分组成:跨模态Transformer模块,用以模拟人类知觉分析系统的功能;多模态BiLSTM系统,用以模拟认知比较器;多模态门控模块,用以模拟情感唤起模型中的激活结构.在多模态情感分析与情绪识别的3个经典数据集上进行的比较实验结果表明,DEAN模型在各数据集上的性能均超越了目前最先进的情感分析模型.     

触觉再现技术研究进展

针对触觉再现技术面临的数据获取难、设备真实感低、应用数量少等问题,在触觉感知机理和触觉再现范式基础上,分析了现有触觉信号采集、建模、渲染等关键环节的方法和特点,归纳了典型触觉再现设备的种类和实现原理,讨论了触觉再现技术的主要应用领域.根据触觉再现技术的研究现状,提出了构建触觉感知模型、提高触觉数据特征提取与模型处理精度、开发低功耗低成本的普适性触觉系统与多通道融合的交互应用的未来发展方向.     

一种触觉感知与脑启发的触觉传感系统

触觉智能感知是当前研究的热点问题之一.然而,大规模触觉数据集的缺乏限制了机器人触觉感知领域的发展,解决问题的关键在于构建覆盖手掌的高时空分辨率触觉压力传感器系统.对此,构建一种脑启发的触觉传感系统(BITSS),以高时空分辨率对触觉压力信息进行获取,并实现基于脉冲事件的触觉感知.受皮肤触觉感受器启发,BITSS使用神经形态模型对触感压力信号进行脉冲编码,实现两种触觉感受器神经元的模拟.实验结果表明,BITSS模拟的神经放电活动可以解码出抓握状态的低维空间.在10种日常物体的分类任务中,基于脉冲事件的分类器分类精度达到94%,具有较快的执行速度,并验证了BITSS对触感压力信号的时空编码能力.     

基于听说知识融合网络的多模态对话情绪识别

多模态对话情绪识别旨在根据多模态对话语境判别出目标话语所表达的情绪类别,是构建共情对话系统的基础任务.现有工作中大多数方法仅考虑多模态对话本身信息,忽略了对话中与倾听者和说话者相关的知识信息,从而限制了目标话语情绪特征的捕捉.为解决该问题,提出一种基于听说知识融合网络的多模态对话情绪识别模型(LSKFN),引入与倾听者和说话者相关的外部常识知识,实现多模态上下文信息和知识信息的有机融合.LSKFN包含多模态上下文感知、听说知识融合、情绪信息汇总和情绪决策4个阶段,分别用于提取多模态上下文特征、融入听说知识特征、消除冗余特征和预测情绪分布.在两个公开数据集上的实验结果表明,与其他基准模型相比,LSKFN能够为目标话语提取到更加丰富的情绪特征,并且获得较好的对话情绪识别效果.