基于深度学习的广告布局图片美学属性评价

图像质量美学评价是近十年来比较热门的课题,但是研究的大多是对自然图像的美学评价。然而随着互联网技术的发展,线上广告业务得到了迅速发展,因此准确高效地评价一张广告布局图片的好坏是很有必要的。所谓广告布局图片,即广告图片不考虑广告语的具体内容。为了研究广告布局图片的质量美学评价,引入了一个新的数据集ALID,该数据集包含了四个美学属性的数值评分和语言评价;提出了美学多属性网络,该网络包含了三个部分:多属性特征网络、注意网络和语言生成网络。多属性特征网络通过4个不同的美学属性得分的多任务回归计算不同属性的特征矩阵,注意网络动态地调整所获特征的维度,最后语言生成网络通过长短期记忆网络生成图像字幕。实验结果表明,根据图像字幕的评价标准,该文设计的模型优于传统的CNN-LSTM模型和现代的SCA-CNN模型。     

跨模态表征与生成技术

多媒体数据持续呈现爆发式增长并显现出异源异构的特性,因此跨模态学习领域研究逐渐引起学术和工业界的关注。跨模态表征与生成是跨模态学习的两大核心基础问题。跨模态表征旨在利用多种模态之间的互补性剔除模态之间的冗余,从而获得更为有效的特征表示;跨模态生成则是基于模态之间的语义一致性,实现不同模态数据形式上的相互转换,有助于提高不同模态间的迁移能力。本文系统地分析了国际与国内近年来跨模态表征与生成领域的重要研究进展,包括传统跨模态表征学习、多模态大模型表示学习、图像到文本的跨模态转换和跨模态图像生成。其中,传统跨模态表征学习探讨了跨模态统一表征和跨模态协同表征,多模态大模型表示学习探讨了基于Transformer的模型研究,图像到文本的跨模态转换探讨了图像视频的语义描述、视频字幕语义分析和视觉问答等领域的发展,跨模态图像生成从不同模态信息的跨模态联合表示方法、图像的跨模态生成技术和基于预训练的特定域图像生成阐述了跨模态生成方面的进展。本文详细综述了上述各个子领域研究的挑战性,对比了国内外研究方面的进展情况,梳理了发展脉络和学术研究的前沿动态。最后,根据上述分析展望了跨模态表征与生成的发展趋势和突破口。     

联合图像域间和域内信息建模的图像风格转换

针对当前图像风格转换算法缺乏建模图像域间语义信息和域内长范围信息的能力,提出了一种联合图像域间和域内信息建模的图像风格转换算法SSC-GAN.通过提出语义残差连接,提取图像域内的语义特征,增强模型建模图像域间语义信息差异的能力;同时,将注意力机制引入图像风格转换任务中,解决卷积缺乏图像域内长范围信息建模能力的问题.SSC-GAN可以在不增加计算量的情况下,显著提升图像风格转换的表现.在图像风格转换数据集vangh2photo和selfie2anime上对SSC-GAN进行训练、评估和验证,结果表明,SSC-GAN不仅能取得极佳的视觉效果,而且在FID和KID指标上分别平均下降了1.3和1.1,证明了SSC-GAN的有效性.