蒙古族大学生公共英语课堂多模态教学实践

多模态话语分析理论在蒙古族大学生公共英语课堂的应用表明,教师需要具备多模态教学意识和多模态选择应用的能力, 同时大学生也要有多模态学习意识和多模态识读及展示能力。多模态的选择和运用要以增加正效应为原则,坚持勿求多、勿求同 和大胆尝试原则,并以调动大学生的学习积极性、丰富课堂活动和使学习效果持久有效为目标。 关键词院大学英语;英语教学;多模态;话语分析理论;建构主义;多媒体;蒙古族大学生     

基于计算机多模态视域下大学英语实验教学模式创新研究

计算机多模态视域下大学英语实验教学模式作为高校英语改革的重要趋势，本文以某地区某本科院校非英语专业45名在校学生为实验对象，分别从不同方面来对实验班展开了为期一个学期的多模态教学模式实验。结果表明，与传统教学模式相较，大学英语多模态教学模式不但可使学生对英语的自主学习能力得到提升，还能有效提升学生对英语的学习动力。与此同时，计算机多模态视域下大学英语实验教学模式也迎来了一些难题。     

多模态交互在数字体验设计中的策略探究

文章探索多模态的原理以及应用范围,分析数字体验设计中的多模态体验层级,进而探究多模态交互在数字体验设计中的应用意义。通过对现有数字体验装置的分析,提出了数字体验设计中的多模态体验层级,认为在设计中需要三个阶段层层递进,以进一步激发起体验者更深层次的思考。总结出在多模态交互中设计者应使体验者真正理解设计者的想法,并融入体验者自身对数字体验的理解,从而产生全新的感悟。对未来数字体验的发展提出新的展望,在"以人为本"的基础上达到让体验者在生理、精神上的双重满足。     

多模态情感识别与理解发展现状及趋势

情感计算是人工智能领域的一个重要分支,在交互、教育、安全和金融等众多领域应用广泛。单纯依靠语音、视频单一模态的情感识别并不符合人类对情感的感知模式,在受到干扰的情况下识别准确率会迅速下降。为了充分挖掘不同模态数据的互补性,多模态融合的情感识别研究正日益受到研究人员的广泛重视。本文分别从多模态情感识别概述、多模态情感识别与理解、抑郁症情感障碍检测及干预 3 个维度介绍多模态情感计算研究现状。本文认为具备可扩展性的情感特征设计、基于大模型迁移学习的识别方法将是未来的发展方向,并在解决抑郁、焦虑等情感障碍方面的作用日益凸显。     

多模态深度学习综述

模态是指人接收信息的方式,包括听觉、视觉、嗅觉、触觉等多种方式。多模态学习是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示。多模态学习的目的是建立能够处理和关联来自多种模式信息的模型,它是一个充满活力的多学科领域,具有日益重要和巨大的潜力。目前比较热门的研究方向是图像、视频、音频、文本之间的多模态学习。着重介绍了多模态在视听语音识别、图文情感分析、协同标注等实际层面的应用,以及在匹配和分类、对齐表示学习等核心层面的应用,并针对多模态学习的核心问题：匹配和分类、对齐表示学习方面给出了说明。对多模态学习中常用的数据集进行了介绍,并展望了未来多模态学习的发展趋势。     

具有线性漂移的随机多模态系统的反馈镇定

研究具有线性漂移的、以Markov链为开关函数的多模态随机系统的反馈镇定,通 过建立多模态随机系统的均方渐近平坦性定理,给出具有线性漂移的多模态随机系统和线性 多模态随机系统的反馈镇定方案,并给出控制器设计中的计算方法,用仿真实例验证了该方 法的效果.     

英语多模态机辅平台的共建与实现

英语多模态平台以网络技术为支撑给英语教学的教与自学提供了全新的空间.文章就如何建设英语网络多模态机辅平台模式提出见解,并解析英语多模态机辅平台中的创新功能及其实现,将由此得来的优质英语资源科学地运用到英语教学,使教师在网络教学体验中提高信息化教学科研的能力.     

多模态深度学习综述

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。     

多模态张量数据挖掘算法及应用

近年来,多模态数据挖掘技术备受关注,如何高效地挖掘大量多模态数据成为一个研究热点。其中,基于张量表示的多模态数据挖掘,即多模态张量数据挖掘,是一个重要的研究问题。综述了多模态张量数据挖掘算法进展及其在计算机视觉中的应用。首先根据算法的样本标记、任务和核心技术的不同,对这些方法进行分类,并给出了相应的介绍和分析。其次,讨论了一些多模态张量数据挖掘算法在计算机视觉问题中的典型应用。最后,就多模态张量挖掘在计算机视觉领域的研究现状与研究前景进行了简要的分析。     

基于Simulink/Stateflow的无人机多模态飞行控制律仿真

为了验证无人机多模态飞行控制律设计的正确性,采用Simulink/Stateflow建模仿真方法;以某小型无人机为研究对象,首先在小扰动线性化模型基础上,设计了纵向和侧向多模态控制系统结构,并给出了相应的控制律,然后根据传统的频域和根轨迹的方法确定了各个控制器参数,最后通过Simulink/Stateflow完成整个飞行剖面的仿真,结果表明该方法能直观简洁地实现多模态之间切换的控制逻辑,模态控制误差均满足国军标要求,验证了所设计的多模态控制系统的正确性.     

深度多模态表示学习的研究综述

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。     

基于多模态交互的智能车载助手设计研究

为探究多模态交互方式在智能车载助手设计中应用的可能性及其流程与方法，提升用户驾驶过程中的情感体验，文章以当下互联网与物联网技术的智慧交通趋势和多模态交互方式为背景，通过对多模态交互方式的元素进行分析和调研，总结用户驾驶过程中的行为需求，构建用户体验旅程图。并进一步探究多模态交互方式在智能车载助手中的设计应用触点，建立智能车载助手的多模态交互设计框架。该框架基于用户在驾驶过程中的行为痛点，充分采用多模态交互方式，将面部识别、视觉呈现、语音交互、触控交互、手势交互等多元的表征方式进行了有效的组合，在保证多模态交互平衡的条件下充分调动用户视听触嗅等多感官属性协调作用，使智能车载助手在与人交互的过程中更加趋于真实自然，为智能车载助手未来的用户体验设计创新提供了新的思路。     

可靠多模态学习综述

近年来多模态学习逐步成为机器学习、数据挖掘领域的研究热点之一,并成功应用于诸多现实场景,如跨媒介搜索、多语言处理、辅助信息点击率预估等.传统多模态学习方法通常利用模态间的一致性或互补性设计相应的损失函数或正则化项进行联合训练,进而提升单模态及集成的性能.而开放环境下,受数据缺失及噪声等因素的影响,多模态数据呈现不均衡性.具体表现为单模态信息不充分或缺失,从而导致“模态表示强弱不一致”、“模态对齐关联不一致”两大挑战,而针对不均衡多模态数据直接利用传统的多模态方法甚至会退化单模态和集成的性能.针对这类问题,可靠多模态学习被提出并进行了广泛研究,本文系统地总结和分析了目前国内外学者针对可靠多模态学习取得的进展,并对未来研究可能面临的挑战进行展望.     

基于样本内外协同表示和自适应融合的多模态学习方法

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,...     

基于视觉和文本的多模态文档图像目标检测

由于文档图像的布局复杂、目标对象尺寸分布不均匀,现有的检测算法很少考虑多模态信息和全局依赖关系,提出了基于视觉和文本的多模态文档图像目标检测方法。首先探索多模态特征的融合策略,为利用文本特征,将图像中文本序列信息转换为二维表征,在文本特征和视觉特征初次融合之后,将其输入到骨干网络提取多尺度特征,并在提取过程中多次融入文本特征实现多模态特征的深度融合;为保证小物体和大物体的检测精度,设计了一个金字塔网络,该网络的横向连接将上采样的特征图与自下而上生成的特征图在通道上连接,实现高层语义信息和低层特征信息的传播。在大型公开数据集PubLayNet上的实验结果表明,该方法的检测精度为95.86%,与其他检测方法相比有更高的准确率。该方法不仅实现了多模态特征的深度融合,还丰富了融合的多模态特征信息,具有良好的检测性能。     

基于标签对齐的多模态一致性表型关联方法

近年来,随着脑影像和基因技术的发展,脑影像遗传学得到了广泛的关注.在脑影像遗传研究中,检验遗传变异（即单核苷酸多态性（single nucleotide polymorphisms,SNPs））对大脑结构或功能的影响是一项艰巨的任务.此外,提取的多模态脑表型和来自同一区域的一致性脑影像标志物为理解疾病（例如,阿尔茨海默病（Alzheimer’s disease,AD））的机理提供了更多的见解.利用多模态脑表型作为桥接风险基因位点和疾病状态的中间特征,设计通过标签对齐的多模态学习方法来识别AD中风险基因位点与疾病状态之间的一致性表型.首先,用标准的多模态方法去探索和AD相关的基因位点（即APOEe4 rs429358）与多模态脑影像之间关系;其次,为了利用标记样本之间的标签信息,在标准多模态方法的目标函数中添加了一个新的标签对齐正则化项,使得所有具有相同类别标签的多模态样本在映射空间中更靠近;最后,在公开的ADNI （Alzheimer’s disease neuroimaging initiative）数据集上的3种脑影像（即大脑的结构组织信息、脱氧葡萄糖正电子发射断层扫描和正电子发射断层扫描淀粉样蛋白成像）进行实验.实验结果表明：该方法可以在多模态脑影像上发现鲁棒的、一致性脑区域来解释AD的病因,并在3个模态上将相关系数分别提高了8%,9%,5%.     

面向海洋的多模态智能计算：挑战、进展和展望

海洋是高质量发展的要地,海洋科学大数据的发展为认知和经略海洋带来机遇的同时也引入了新的挑战。海洋科学大数据具有超多模态的显著特征,目前尚未形成面向海洋领域特色的多模态智能计算理论体系和技术框架。因此,本文首次从多模态数据技术的视角,系统性介绍面向海洋现象/过程的智能感知、认知和预知的交叉研究进展。首先,通过梳理海洋科学大数据全生命周期的阶段演进过程,明确海洋多模态智能计算的研究对象、科学问题和典型应用场景。其次,在海洋多模态大数据内容分析、推理预测和高性能计算3个典型应用场景中展开现有工作的系统性梳理和介绍。最后,针对海洋数据分布和计算模式的差异性,提出海洋多模态大数据表征建模、跨模态关联、推理预测以及高性能计算4个关键科学问题中的挑战,并提出未来展望。     

跨媒体智能关联分析与语义理解理论与技术研究进展

深入分析了跨媒体智能关联分析与语义理解理论技术的最新研究进展,包括多模态数据的统一表达、知识引导的数据融合、跨媒体关联分析、基于知识图谱的跨媒体表征技术以及面向多模态的智能应用.其中,多模态数据的统一表达是对跨媒体信息进行分析推理的先决条件,利用多模态信息间的语义一致性剔除冗余信息,通过跨模态相互转化来实现跨媒体信息统一表达,学习更全面的特征表示;跨媒体关联分析立足于图像语言、视频语言以及音视频语言的跨模态关联分析与理解技术,旨在弥合视觉、听觉以及语言之间的语义鸿沟,充分建立不同模态间的语义关联;基于知识图谱的跨媒体表征技术通过引入跨媒体的知识图谱,从跨媒体知识图谱构建、跨媒体知识图谱嵌入以及跨媒体知识推理3个方面展开研究,增强跨媒体数据表征的可靠性,并提升后续推理任务的分析效率和准确性;随着跨模态分析技术的快速发展,面向多模态的智能应用得到了更多的技术支撑,依据智能应用所需要的领域知识,选取了多模态视觉问答,多模式视频摘要、多模式视觉模式挖掘、多模式推荐、跨模态智能推理和跨模态医学图像预测等跨模态应用实例,梳理了其在多模态数据融合以及跨媒体分析推理方面的研究进展.     

多媒体、多模态在大学英语教学中的应用

计算机多媒体技术广泛应用于今天的大学英语教学,教育部在2007年颁发的《大学英语课程教学要求》中明确指出在教学模式上高校应该充分利用现代信息技术和现代教育技术,改进传统的单一的教学模式,将计算机和多媒体技术应用于英语课堂,提高大学英语教学效果,提高学生的英文。本文试图从理论上介绍多媒体多模态的概念,阐明如何在多媒体多模态的环境下改进教学模式,优化大学英语课堂教学模式,构建新型的大学英语课堂教学模式,提高教学效果,提高学生学习大学英语的效率,培养出更多的国际化、复合型人才。     

基于TAN分类器的大学生英语学习行为模式研究

大学生的外语教学一直是大学教学的重要组成部分,而如何更好地有针对性地改进大学外语教学一直是研究的重点。针对以上问题,对学生的行为进行了调查,进而在调查的基础上应用TAN分类器对学生的行为模式进行了分类,并对分类的结果进行了分析。