多模态信息处理前沿综述:应用、融合和预训练

随着视觉、听觉、语言等单模态人工智能技术的突破,让计算机拥有更接近人类理解多模态信息的能力受到研究者们的广泛关注。另一方面,随着图文社交、短视频、视频会议、直播和虚拟数字人等应用的涌现,对多模态信息处理技术提出了更高要求,同时也给多模态研究提供了海量的数据和丰富的应用场景。该文首先介绍了近期自然语言处理领域关注度较高的多模态应用,并从单模态的特征表示、多模态的特征融合阶段、融合模型的网络结构、未对齐模态和模态缺失下的多模态融合等角度综述了主流的多模态融合方法,同时也综合分析了视觉-语言跨模态预训练模型的最新进展。     

快乐是终极原动力

经年累月的变化,涂鸦早已从自我的市井身份慢慢的登上大雅之堂,甚至有些时候与奢侈品比冀齐飞,现代社会不断破旧立新与欣欣向荣的商机成了涂鸦身份转变的最好的催化剂,给涂鸦的年轻人每一天的生活都渡了一层金,显得金粉淋漓。     

基于区域性能的自适应遥感图像融合方法

为了把图像的融合效果评价信息加入到融合规则的选取过程当中,针对合成孔径雷达和可见光两种常见的遥感图像,提出了一种基于区域性能的自适应融合方法。该方法首先利用平滑滤波抑制SAR图像斑点噪声,再分别对源图像作小波分解。融合图像的低频系数由一组区域性能评价参量按隶属度控制规则自适应调节得到;高频系数则直接采用可见光图像的高频系数,对新的低频和高频系数实施小波反变换即可得到融合图像。实验结果表明该方法能够取得很好的融合效果。