基于硬注意力机制的多模态视频字幕的处理

传统的视频字幕生成模型大多都采用编码器—译码器框架。在编码阶段,使用卷积神经网络对视频进行处理。在解码阶段,使用长短期记忆网络生成视频的相应字幕。基于视频的时序相关性和多模态性,提出了一个混合型模型,即基于硬注意力的多模态视频字幕的生成模型。该模型在编码阶段使用不同的融合模型将视频和音频两种模态进行关联,在解码阶段基于长短期记忆网络的基础上加入了硬注意力机制来生成对视频的描述。这个混合模型在数据集MSR-VTT(Microsoft research video to text)上得到的机器翻译指标较基础模型有0.2%~3.8%的提升。根据实验结果可以判定基于硬注意力机制的多模态混合模型可以生成视频的精准描述字幕。     

求解高维多模优化问题的正交小生境自适应差分演化算法

针对传统优化算法在求解高维多模态优化问题时存在收敛速度慢、求解精度低的问题,提出一种基于正交设计与小生境精英策略的自适应差分进化算法ONDE。首先利用正交表产生初始种群,然后采用小生境精英策略来产生小生境种群(NP),并用小生境种群更新精英个体;接着应用拥挤裁剪避免种群陷入局部搜索,最后利用自适应差分变异算子改进了差分进化(DE)算法。通过对7个benchmark函数仿真验证,实验结果表明,算法在收敛速度、求解精度和稳定性方面都有较大优势。     

Multimodal Communication in Inhabited Virtual Environments

This paper reports on ongoing research of various aspects of multi-modal interactions in a Virtual Reality environment in which visitors can interact in diverse ways with agents and objects in the environment. The virtual environment is a copy of a theatre and is inhabited by both embodied and non-embodied agents that can assist the visitor: providing information about the performances, selling tickets, or helping the visitor navigate through the building.Interactions in this environment are typically multimodal. Several agents are capable of natural language interactions with the user. However, because the interactions take place in a virtual reality environment, a lot of information can also be presented visually.     

高效防伪人脸识别系统

人脸识别是计算机视觉应用中的关键技术,被广泛应用到移动支付、安全监控、访问授权等场景中。现有的人脸识别系统通常只利用可见光彩色图像进行识别,因而很容易受到伪造人脸的攻击,常见的攻击类型包括印刷平面攻击、屏幕重复攻击、3D面具攻击等,如不能提前预警恶意攻击就直接进行人脸识别,会大大降低人脸识别系统的可靠性。利用多模态相机采集的彩色图、深度图、近红外图,提取防伪攻击所需的显著性特征,判断是否为伪造人脸攻击。然后再进行人脸识别可以极大的提高整个系统的鲁棒性。在人脸识别这种多类别分类的任务中,在特征空间中,类内距离常会大于类间距离,利用中心损失在分类的同时约束特征空间上的类内分布,使得不同的样本点更加内聚,从而增加模型在不同数据集上的泛化性能。同时为整个系统中的两大模块,防伪攻击检测模块和人脸特征提取模块设计了轻量化的网络模型,减少模型参数,提高了系统的运行效率。     

融合Powell搜索法的粒子群优化算法

为了进一步提高多模态函数寻优的效率,提出一种融合Powell搜索法的粒子群优化算法.将PSO算法的全局搜索能力与Powell法的强局部寻优能力有机地结合起来,在保证求解速度,尽可能找到全部极值点的同时提高了解的精确性.由于该算法只利用了函数值信息而不需要计算导数,是求解可微和不可微多模态函数优化问题的通用方法.仿真实验表明了新混合算法的有效性.     

基于多模态关联图的图像语义标注方法

为了改善图像标注的性能,提出了一种基于多模态关联图的图像语义标注方法。该方法用一个无向图表达了图像区域特征、标注词以及图像三者之间的关系,结合图像区域特征相似性和语义间的相关性提取图像语义信息,提高了图像标注的精度。利用逆向文档频率（IDF）修正图像节点与其标注词节点之间边的权值,克服了传统方法中因高频词引起的偏差,有效地提高了图像标注的性能。在Corel图像数据集上进行了实验,实验结果验证了该方法的有效性。     

一种顾及步行引导的多标准路径规划方法

以独立图层表达各种交通模式是交通系统空间数据表达的主要形式。虽然这种数据建模方式完全满足可视化和数据管理需求,然而各种交通模式的分图层独立表达使得交通模式之间的连接关系构建成为瓶颈问题,直接导致有着最为迫切需求的多标准出行路径规划难以实现。首先提出了一种多模式交通网络逻辑一体化模型,及其自驾车、公交、步行等交通模式无缝转换的技术流程,在此基础上,发展了一种顾及步行模式的多标准出行路径规划方法,实现了用户透明的自动化交通模式组合,为出行者提供满足个性化需求的、多标准的出行信息服务。     

基于卷积神经网络的多模态视频场景分割优化算法

针对基于内容的视频检索中场景分割效率有待提高的问题,提出了一种基于卷积神经网络提取特征的多模态视频场景分割优化算法。首先利用改进的VGG19网络从视频镜头中提取多种模态的底层特征和语义特征,再将这些特征组成向量,然后通过三重损失学习与镜头相似度计算等方法,使场景分割问题转换为对镜头边界的二分类问题,最后建立评分机制优化所得结果,获取分割好的视频场景及对应的场景边界,完成场景分割任务。实验结果表明,该算法能对视频场景进行有效分割,整体查全率与查准率分别能达到85.77%、87.01%。     

多模态知识图谱构建与应用研究综述

为了总结前人工作,给相关研究者提供思路,首先讨论了当前多模态知识图谱的基本概念,然后从图数据库和知识图谱这两个角度介绍了多模态知识图谱的构建工作,并总结了两种主要方法的思路.还分析了多模态知识图谱的构建和应用中的关键技术和相关工作,如多模态信息提取、表示学习和实体链接.此外,列举了多模态知识图谱在四种场景中的应用,包括推荐系统、跨模态检索、人机交互和跨模态数据管理.最后,从四个方面展望了多模态知识图谱的发展前景.