多模态深度伪造及检测技术综述

随着各种深度学习生成模型在各领域的应用,生成的多媒体文件的真伪越来越难以辨别,深度伪造技术也因此得以诞生和发展. 深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身份信息、表情和肢体动作,以及生成特定人物的虚假语音. 自2018年Deepfakes技术在社交网络上掀起换脸热潮开始,大量的深度伪造方法被提出,并展现了其在教育、娱乐等领域的潜在应用. 但同时深度伪造技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视. 因此有越来越多的对抗手段被提出用于防止深度伪造被不法分子所应用,如深度伪造的检测和水印. 首先,针对不同模态类型的深度伪造技术以及相应的检测技术进行了回顾和总结,并根据研究目的和研究方法对现有的研究进行了分析和归类;其次,总结了近年研究中广泛使用的视频和音频数据集;最后,探讨了该领域未来发展面临的机遇和挑战.

     

浅谈计算机网络的未来发展方向

过去的十五年,在世界范围内,计算机网络发展的速度比之前几十年的发展都要快,也收获了大量的丰富的科技成果.随着3G等技术在我国的发展应用,计算机网络的发展将更加多元化,更能在人们的日常生活中展示网络的魅力.本文首先简要地介绍了计算机网络技术的发展历史,然后详细地阐述了计算机网络未来的发展方向,最后总结了计算机网络对社会发展的深远影响.     

多模态数据的行为识别综述

行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法(RGB模态)、基于运动变化和外观的方法(深度模态)以及基于骨骼特征的方法(骨骼模态)等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优...     

多模态信息处理前沿综述:应用、融合和预训练

随着视觉、听觉、语言等单模态人工智能技术的突破,让计算机拥有更接近人类理解多模态信息的能力受到研究者们的广泛关注。另一方面,随着图文社交、短视频、视频会议、直播和虚拟数字人等应用的涌现,对多模态信息处理技术提出了更高要求,同时也给多模态研究提供了海量的数据和丰富的应用场景。该文首先介绍了近期自然语言处理领域关注度较高的多模态应用,并从单模态的特征表示、多模态的特征融合阶段、融合模型的网络结构、未对齐模态和模态缺失下的多模态融合等角度综述了主流的多模态融合方法,同时也综合分析了视觉-语言跨模态预训练模型的最新进展。     

多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

面向深度学习的多模态融合技术研究综述

面向深度学习的多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能,而模态的普遍性和深度学习的热度促进了多模态融合技术的发展。在多模态融合技术发展前期,以提升深度学习模型分类与回归性能为出发点,阐述多模态融合架构、融合方法和对齐技术。重点分析联合、协同、编解码器3种融合架构在深度学习中的应用情况与优缺点,以及多核学习、图像模型和神经网络等具体融合方法与对齐技术,在此基础上归纳多模态融合研究的常用公开数据集,并对跨模态转移学习、模态语义冲突消解、多模态组合评价等下一步的研究方向进行展望。     

多模态特征融合的遥感图像语义分割网络

遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地物分割较为困难。针对上述问题,提出了将IRRG（infrared、red、green）图像与DSM（digital surface model）图像融合的遥感图像语义分割网络MMFNet。网络采用编码器-解码器的结构,编码层采用双输入流的方式同时提取IRRG图像的光谱特征和DSM图像的高度特征。解码器使用残差解码块（residual decoding block,RDB）提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。提出复合空洞空间金字塔（complex atrous spatial pyramid pooling,CASPP）模块提取跳跃连接的多尺度特征。在国际摄影测量与遥感学会（international society for photogrammetry and remote sensing,ISPRS）提供的Vaihingen和Potsdam数据集上进行了实验,MMFNet分别取得了90.44%和90.70%的全局精确度,相比较与DeepLabV3+、OCRNet等通用分割网络和CEVO、UFMG_4等同数据集专用分割网络具有更高的分割精确度。     

机器人多模态智能操作技术研究综述

制造业柔性化的生产趋势、服务业应用场景的多元化扩展,促使机器人应用需求发生根本性变化,任务、环境的不确定性对机器人操作的智能程度提出了更高的要求。使用多模信息引导机器人操作,能够有效提高机器人自主性与易用性。围绕操作认知与操作控制两个关键问题,从多模态信息融合的角度,深入分析该手段对机器人操作智能化提升所起的作用。首先,明确了机器人智能操作与多模信息的具体概念,并阐述使用多模信息的优势;接着,深入分析了常用的认知计算模型与操作控制方法,并对现有工作展开系统性的梳理与介绍,依据认知目标层级的不同将机器人操作认知划分为对象认知、约束认知与状态认知三种类型,依据控制方法的不同介绍基于分析模型的控制融合、基于示教学习的控制和基于策略模型的控制三种常用的机器人操作控制模型;最后,分析了目前所面临的技术挑战并对其未来发展趋势做出了展望。     

视听相关的多模态概念检测

随着在线视频应用的流行,互联网上的视频数量快速增长.面对互联网上海量的视频,人们对视频检索的要求也越来越精细化.如何按照合适的语义概念对视频进行组织和管理,从而帮助用户更高效、更准确地获取所需视频,成为亟待解决的问题.在大量的应用场景下,需要声音和视觉同时出现才能确定某个视频事件.因此,提出具有视听信息的多模态概念的检测工作.首先,以名词-动词二元组的形式定义多模态概念,其中名词表达了视觉信息,动词表达了听觉信息,且名词和动词具有语义相关性,共同表达语义概念所描述的事件.其次,利用卷积神经网络,以多模态概念的视听相关性为目标训练多模态联合网络,进行端到端的多模态概念检测.实验表明：在多模态概念检测任务上,通过视听相关的联合网络的性能超过了单独的视觉网络和听觉网络.同时,联合网络能够学习到精细化的特征表示,利用该网络提取的视觉特征,在Huawei视频数据集某些特定的类别上超过ImageNet预训练的神经网络特征;联合网络提取的音频特征,在ESC50数据集上,也超过在Youtube8m上训练的神经网络音频特征约5.7%.     

基于Transformer的多模态气象预测

随着气象观测技术的快速发展，气象行业积累了海量的气象大数据，为构建新型的数据驱动的气象预测模型提供了机遇。由于气象数据中存在的长时依赖关系和大范围空间关联关系，以及多模态气象要素间存在的复杂跨模态耦合关系，基于深度学习的气象预测是一个具有挑战性的研究课题。针对“温度、相对湿度、纬向风速、经向风速”四种经典气象要素组成的等气压层时序多模态数据，提出了一种基于多模态融合的气象预测深度学习模型。首先采用卷积网络来学习各个模态的特征，并在此基础上引入门控机制实现多模态加权融合；然后引入注意力机制，以并行时空轴向注意力代替传统的注意力机制，从而有效地学习长时依赖关系和大范围空间关联关系。整体结构上，采用了基于Transformer的编码器-解码器结构。在ERA5再分析数据集（子区域）上进行了对比实验，实验结果表明了所提方法在温度、相对湿度、风速等预测任务上的有效性和优越性。     

结合TCN和双向GRU的多模态融合情感空间标注

在人工智能领域不可缺少的情感计算技术，一直在人机互动、教育、医疗等领域具有重要应用价值。而现已成熟的单模态数据应用在情感计算上较为缺乏可靠度和客观性，离散的情感分类不能完整地描述出人的情感表达。为了解决这类问题，通过提取eNTERFACE′05数据集的音视频双模态样本特征，使用一种结合时域卷积网络（TCN）和双向门控循环单元网络（Bi-GRU）的双通道神经网络模型，对双模态特征进行深度学习训练，再将双通道模型预测结果进行决策层融合，在测试集的准确率高达95.3%。为了实现对情感激烈程度和正负面程度的度量，对模型预测结果二次深度学习，再通过softsign函数进行非线性的数值转换，最终实现情感样本在激活-效价二维坐标系上的可视化标注。实验结果表明，网络模型具有高准确率同时兼具更短的训练时间，能进行实时的情感计算和情感空间标注。     

大数据时代AIGC与多模态知识图谱的思考与展望

现今，随着大数据及人工智能技术的不断进步，AIGC（生成式AI）技术和多模态知识图谱技术在不同领域中的应用也得到了广泛关注。AIGC技术通过对人工智能算法的发展和优化，实现了从经验和数据中自我学习及自我完善的能力，从而在自然语言处理、图像识别、语音识别等领域实现了重要突破。而多模态知识图谱技术则是将多种类型的知识进行组合，结合自然语言理解、计算机视觉、语音识别等技术，形成一个全面且可扩展的领域知识图谱，提高了人机交互的效率和准确性。本文分别从大数据时代AIGC的发展历程、基础原理、应用情况等五个方面进行探讨，然后围绕AIGC技术与多模态知识图谱技术的关系及未来发展趋势进行阐述，为两者的发展提供一些有益的思路。     

多模态网络融合在轻度认知障碍分类中的应用

针对早期轻度认知障碍（MCI）根据医学诊断认知量表评估极有可能无法判断的问题,提出了一种多模态网络融合的MCI辅助诊断分类方法。基于图论的复杂网络分析方法在神经影像领域的应用已得到广泛认可,但采用不同模态的成像技术研究脑部疾病对大脑网络拓扑结构属性的影响会产生不同结果。首先,使用弥散张量成像（DTI）与静息态功能磁共振成像（rs-fMRI）数据构建大脑结构和功能连接的融合网络。然后,融合网络的拓扑属性被施以单因素方差分析（ANOVA）,选择具有显著差异的属性作为分类特征。最后,利用支持向量机（SVM）留一法交叉验证对健康组和MCI组分类,估算准确率。实验结果表明,所提方法的分类结果准确率达到94.44%,相较单一模态数据法的分类结果有明显提高。所提方法诊断出的MCI患者在扣带回、颞上回以及额叶和顶叶部分区域等许多脑区表现出显著异常,与已有研究结果基本一致。     

计算机机房维护与管理方向的研究探讨

时代在发展演变,科技在进步升级。一切事物的发展都是有规律可循的。计算机作为一种高新的现代技术,正在以智能化、网络化、多元化方向向前发展和延伸。落实到计算机的应用上,就该从机房的实际维护和制度化管理上加以贯彻。科技信息快速发展的时代,人工管理已经无法满足网络的飞速发展,由此,引发的计算机技术的发展必将得以推动。     

多模态界面技术及其在多媒体检索中的应用

多模态界面技术可以通过多种交互式设备和方法的协作 ,极大地促进人机之间相互理解与信息交流。作为信息处理领域的一个热点 ,基于内容的多媒体检索对多模态界面技术有着内在的需求。首先分析了传统的文字 /图形界面技术、多媒体界面技术和多模态界面技术的不同特性 ,进而着重从媒体表示、特征表示与查询、智能检索等方面 ,深入探讨了多模态界面技术在多媒体检索领域的应用特点     

多模态粒子群集成神经网络

提出一种基于多模态粒子群算法的神经网络集成方法,在网络训练每个迭代周期内利用改进的快速聚类算法在权值搜索空间上动态地把搜索粒子分为若干类,求得每一类的最优粒子,然后计算最优个体两两之间的输出空间相异度,合并相异度过低的两类粒子,最终形成不但权值空间相异、而且输出空间也相异的若干类粒子,每类粒子负责一个成员网络权值的搜索,其中最优粒子对应于一个成员网络,所有类的最优粒子组成神经网络集成,成员网络的个数是由算法自动确定的.算法控制网络多样性的方法更直接、更有效.与负相关神经网络集成、bagging和boosting方法比较,实验结果表明,此算法较好地提高了神经网络集成的泛化能力.     

整合型平台是未来方向

在传统的网络建设中,路由器、交换机、防火墙、VoIP语音设备、杀毒软件缺一不可。不可否认这是多元化企业应用的必然发展方向,但同样不可避免会为我们带来一些实际问题:高昂的维护成本、设备与设备之间的兼容性、设备之间的速率瓶颈等。针对这种情况,三星网络提出了整合型平台概念,认为在不降低整体性能的前提下,将企业最常用的路由、高速交换、VPN、语音电话、防火墙、防病毒/垃圾邮件等功能整合在一台设备之中,这是网络设备发展方向之一。三星网络认为,通过采用整合型网络平台产品,首先不会存在兼容性问题,因为各种应用都属同一设备;另…     

多模态生物特征信息安全防护体系研究

在新的计算能力和深度学习技术推动下,人工智能、大数据发展进入了繁荣期,导致多模态生物特征信息迅猛增加与应用.由于多模态生物识别具有自然性和多场景应用性,特征信息的采集、识别、分析不仅涉及个人隐私和人格尊严,还主动或被动暴露在现实环境中,高校面临着巨大的信息安全保护需求和风险挑战.通过对高校多模态生物特征信息安全问题及现...     

可见光-远红外图像的多模态能见度深度学习模型

为了增强能见度深度学习模型在小样本条件下的准确率和鲁棒性,提出一种基于可见光-远红外图像的多模态能见度深度学习方法.首先,利用图像配准获取视野范围与分辨率均相同的可见光-远红外输入图像对;然后,构造三分支并行结构的多模态特征融合网络;分别在可见光图像、远红外图像及其累加特征图中提取不同性质的大气特征,各分支的特征信息通过网络结构实现模态互补与融合;最后在网络末端输出图像场景所对应的能见度的等级.采用双目摄像机收集不同天气情况下的室外真实可见光-远红外图像作为实验数据,在不同性能指标、多角度下的实验结果表明,与传统单模态能见度深度学习模型相比,多模态能见度模型可显著提高小样本条件下能见度检测的准确率和鲁棒性.     

基于注意力机制的多模态融合谣言检测方法

谣言会对社会生活造成不利影响,同时具有多种模态的网络谣言比纯文字谣言更容易误导用户和传播,这使得对多模态的谣言检测不可忽视。目前关于多模态谣言检测方法没有关注词与图片区域对象之间的特征融合,因此提出了一种基于注意力机制的多模态融合网络AMFNN应用于谣言检测,该方法在词-视觉对象层面进行高级信息交互,利用注意力机制捕捉与关键词语相关的视觉特征;提出了基于自注意力机制的自适应注意力机制Adapive-SA,通过增加辅助条件来约束内部的信息流动,使得模态内的关系建模更有目标性和多样性。在两个多模态谣言检测数据集上进行了对比实验,结果表明,与目前相关的多模态谣言检测方法相比,AMFNN能够合理地处理多模态信息,从而提高了谣言检测的准确性。