视觉语言多模态预训练综述

在多模态机器学习领域,为特定任务而制作的人工标注数据昂贵,且不同任务难以进行迁移,从而需要大量重新训练,导致训练多个任务时效率低下、资源浪费。预训练模型通过以自监督为代表的方式进行大规模数据训练,对数据集中不同模态的信息进行提取和融合,以学习其中蕴涵的通用知识表征,从而服务于广泛的相关下游视觉语言多模态任务,这一方法逐渐成为人工智能各领域的主流方法。依靠互联网所获取的大规模图文对与视频数据,以及以自监督学习为代表的预训练方法的进步,视觉语言多模态预训练模型在很大程度上打破了不同视觉语言任务之间的壁垒,提升了多个任务训练的效率并促进了具体任务的性能表现。本文总结视觉语言多模态预训练领域的进展,首先对常见的预训练数据集和预训练方法进行汇总,然后对目前最新方法以及经典方法进行系统概述,按输入来源分为图像—文本预训练模型和视频—文本多模态模型两大类,阐述了各方法之间的共性和差异,并将各模型在具体下游任务上的实验情况进行汇总。最后,总结了视觉语言预训练面临的挑战和未来发展趋势。     

基于AVA叠前同时反演的流体识别因子构建

基于全角度多次叠加资料的常规叠后反演不能得出反应物性和流体特性的参数,而基于叠前多角度道集的AVA同时反演能同时反演出一致性强的纵波阻抗、横波阻抗和密度参数,并能求得其他弹性参数。使用AVA叠前同时反演所得到的结果,基于Gassmann方程的理论提出了一种高灵敏度的流体识别因子,并在理论数据及实际资料中试验应用,得到了良好的流体识别的效果。     

最佳路径分析在巷道网络中的应用研究

 GIS极大地促进了数字矿山的发展,如何将GIS强大的空间分析功能应用到矿山中是一个亟待解决的问题。在分析矿山巷道网络元素与路径分析算法的基础上,本文给出了三种最佳路径分析模型及其具体的算法步骤。在Windows XP环境下,利用VC++实现所提出的最佳路径分析方法,并应用具体实验数据进行了验证。     

积灰对光伏组件发电性能影响的研究

提出了一种评估积灰对光伏组件发电性能影响的有效方法及其数学模型。该方法通过监测光伏发电效率和光伏组件连续积灰的灰尘密度值,建立了输出功率退化数学模型,从理论上说明光伏组件表面积灰对发电效率的影响,为定量研究灰尘影响发电效率提供了理论支撑。搭建了试验平台进行试验研究,验证了输出功率退化数学模型的精度。     

110kV及以上电网的经济运行管理

本次研究对当前110k V及以上电网的经济运行现状和存在的运行问题进行了分析,并根据存在的问题提出了相应的管理措施。     

曝气池运行的调度控制

1　工程概述　　杭州市四堡污水处理厂是目前杭州市唯一的城市级污水处理厂 ,一期工程为 4 0 0 0 0 0 ｄ的一级污水处理。污水厂于 1988年投运以来 ,发挥了巨大的经济效益和社会效益。 1993年在原有一级污水处理的基础上新建了二级污水处理 ,并扩建污水处理系统 ,工程总投资 3 8亿元 ,二期扩建工程已于 1999年 6月建成 10月试运行 ,目前水处理部分所有试运行和调试工作已经结束 ,进入正式运行。污水处理取得了满意的效果 ,出水水质达到设计要求 ,符合国家排放标准。　　 2　曝气池污水处理工艺流程和概况　　 2 1　工艺流程污水通过一级…     

大法兰半轴的联合锻造工艺

半轴是典型的两端局部镦粗的长杆类锻件，通常采用平锻机锻制。图１是某汽车半轴的锻件图，其法兰直径大，所需平锻机的吨位也大。为了满足用户需求，在我厂现有工艺、设备的情况下，采用较小吨位的平锻机和自由锻联合锻造工艺，完成了该半轴的生产。其工艺过程介绍如下。图１　半轴锻件图１　工艺方案的选择及坯料规格的确定１１　工艺方案的选择我厂主要以锤锻为主，最大的平锻机是１２５００ｋＮ，很显然，要采用平锻工艺来完成该半轴的生产是不可能的。经分析论证，决定采用平锻—自由锻—平锻的联合锻造工艺方案。其工艺路线为：下料…     

基于文本引导的注意力图像转发预测排序网络

转发预测在社交媒体网站(Social media sites, SMS)中是一个很有挑战性的问题. 本文研究了SMS中的图像转发预测问题, 预测用户再次转发图像推特的图像共享行为. 与现有的研究不同, 本文首先提出异构图像转发建模网络(Image retweet modeling, IRM), 所利用的是用户之前转发图像推特中的相关内容、之后在SMS中的联系和被转发者的偏好三方面的内容. 在此基础上, 提出文本引导的多模态神经网络, 构建新型多方面注意力排序网络学习框架, 从而学习预测任务中的联合图像推特表征和用户偏好表征. 在Twitter的大规模数据集上进行的大量实验表明, 我们的方法较之现有的解决方案而言取得了更好的效果.