语义级深度迁移的2D转3D算法

海量视频数据推动了基于数据驱动的单目图像深度估计研究.针对现有方法存在不同对象深度分配层次感不够的问题,在相似场景具有相似深度的假设前提下,提出一种基于语义级分割和深度迁移的单目图像2D转3D的方法.首先使用分割迁移模型将输入图像的像素进行语义级分类;然后通过语义级分类结果对场景匹配进行约束;再次利用SIFT流建立输入图像和匹配图像间像素级对应关系,并由此将匹配图像的深度迁移到输入图像上;最后通过语义级分割约束的最优化深度融合模型为不同对象区域分配深度值.Make3D测试数据的实验结果表明,该方法估计的深度质量比现有深度迁移方法更高,与最优化融合深度迁移算法相比,平均对数误差和平均相对误差分别降低0.03和0.02个点.     

基于生成对抗网络的遥感图像去云算法

计算机视觉中的许多问题可以抽象为将输入图像“转换”成对应的输出图像,图像转换算法是许多计算机视觉问题的通用解决方案,例如语义分割、风格转换等。本文将以遥感图像去云作为图像转换的特例,研究基于生成对抗网络的图像转换算法。提出基于残差模块的生成模型可以对单幅遥感图像进行厚云和薄云的去除;同时提出的多尺度判别网络以及VGG损失函数,有效地解决了复杂场景的云雾遮挡问题。实验结果表明,本文提出的图像转换算法在遥感图像薄云数据集上峰值信噪比提升了1.64 dB,在厚云数据集上峰值信噪比提升了1.92 dB,同时生成的无云遥感图像和真实的无云图像具有较高的结构相似性。     

基于双流循环映射网络的肖像漫画化

肖像风格迁移旨在将参考艺术肖像画中迁移到人物照片上,同时保留人物面部的基本语义结构。然而,由于人类视觉对肖像面部语义结构的敏感性,使得肖像风格迁移任务比一般图像的风格迁移更具挑战性,现有的风格迁移方法未考虑漫画风格的抽象性以及肖像面部语义结构的保持,所以应用到肖像漫画化任务时会出现严重的结构坍塌及特征信息混乱等问题。为此,提出了一个双流循环映射网DSCM。首先,引入了一个结构一致性损失来保持肖像整体语义结构的完整性;其次,设计了一个结合U2-Net的特征编码器在不同尺度下帮助网络捕获输入图像更多有用的特征信息;最后,引入了风格鉴别器来对编码后的风格特征进行鉴别从而辅助网络学习到更接近目标图像的抽象漫画风格特征。实验与五种先进方法进行了定性及定量的比较,该方法均优于其他方法,其不仅能够完整地保持肖像的整体结构和面部的基本语义结构,而且能够充分学习到风格类型。     

基于增强语义信息理解的场景图生成

场景图生成（SGG）任务旨在检测图像中的视觉关系三元组，即主语、谓语、宾语，为场景理解提供结构视觉布局。然而，现有的场景图生成方法忽略了预测的谓词频率高但却无信息性的问题，从而阻碍了该领域进步。为了解决上述问题，提出一种基于增强语义信息理解的场景图生成算法。整个模型由特征提取模块、图像裁剪模块、语义转化模块、拓展信息谓词模块四部分组成。特征提取模块和图像裁剪模块负责提取视觉特征并使其具有全局性和多样性。语义转化模块负责将谓词之间的语义关系从常见的预测中恢复信息预测。拓展信息谓词模块负责扩展信息谓词的采样空间。在数据集VG和VG-MSDN上与其他方法进行比较，平均召回率分别达到59.5%和40.9%。该算法可改善预测出来的谓词信息性不足问题，进而提升场景图生成算法的性能。     

一种单模型多风格快速风格迁移方法

多数图像风格迁移任务都是一个模型只能对应一种风格,这在实际应用场景中效率低下,提出一种单模型多风格的快速风格迁移方法,只使用一个模型就可以适应任意风格样式。使用一组线性变化分别对内容特征和风格特征进行转换,使用组合的风格损失函数来重建图像。分析比较了Avatar-net方法、AdaIN方法、Johnson的快速风格迁移方法和基于线性变换的风格迁移方法,并使用PSNR和SSIM作为评价指标,得出提出的风格迁移方法更优,其中PSNR达到了11.591 dB,SSIM达到了0.499,并且将该方法应用于视频风格迁移也有不错的表现。     

基于风格迁移过程的彩色图像信息隐藏算法

针对基于神经风格迁移的信息隐藏算法没有解决彩色图像的嵌入这一问题,提出了一种基于风格迁移过程的彩色图像信息隐藏算法。首先,利用卷积神经网络（CNN）特征提取的优势,分别提取载体图像的语义信息、风格图像的风格信息以及彩色图像的特征信息;然后,将图像的语义内容和不同风格融合在一起;最后,在通过解码器对载体图像进行风格迁移的同时完成彩色图像的嵌入。实验结果表明,所提算法可以将秘密图像有效融入到生成的风格化图像中,使得秘密信息嵌入行为与风格变换的行为不可区分,在保持算法安全性的前提下,所提算法的隐藏容量提高到24 bpp,峰值信噪比（PSNR）和结构相似性（SSIM）的平均值分别达到了25.29 dB和0.85,有效解决了彩色图像的嵌入问题。     

深度卷积神经网络下的图像风格迁移算法

针对图像风格迁移中出现的图像扭曲、内容细节丢失的问题,提出一种基于深度卷积神经网络的带有语义分割的图像风格迁移算法。定义内容图像损失和风格图像损失函数;对内容图像与风格图像分别进行语义分割,并将Matting算法作用在内容图像上,使用最小二乘惩罚函数来增强图片边缘真实性;进行图像的内容重建和风格重建生成新的图像。分析比较Neural Style改进方法、CNNMRF方法和带有语义分割的图像风格迁移方法生成的图像。实验结果和质量评估表明,70%带有语义分割的图像风格迁移方法生成的图像没有明显的图像扭曲,且内容细节完好。所以,该方法可以解决图像扭曲和细节丢失的问题,使内容丰富的图像可以得到精确的风格迁移。     

保留细节特征的图像任意风格迁移

一些主流的图像任意风格迁移模型在保持内容图像的显著性信息和细节特征方面依然有局限性, 生成的图像往往具有内容模糊、细节失真等问题. 针对以上问题, 本文提出一种可以有效保留内容图像细节特征的图像任意风格迁移模型. 模型包括灵活地融合从编码器提取到的浅层至深层的多层级图像特征; 提出一种新的特征融合模块, 该模块可以高质量地融合内容特征和风格特征. 此外, 还提出一个新的损失函数, 该损失函数可以很好地保持内容和风格全局结构, 消除伪影. 实验结果表明, 本文提出的图像任意风格迁移模型可以很好地平衡风格和内容, 保留内容图像完整的语义信息和细节特征, 生成视觉效果更好的风格化图像.     

可微风格搜索:一种在线自动数据增强方法EI北大核心CSCD

针对现有数据增强方法中所存在的离线图像变换和搜索空间受限等问题,提出一种在线自动数据增强(ODA)方法.ODA的核心是一个可微风格搜索模块,该模块可以通过直接回传训练损失的方式感知任务模型当前所需的数据增强,以对抗搜索的方式在线生成更难的风格化图片以扩展训练集,从而高效地帮助模型完成在多种未知风格上的泛化.在跨领域图像分类任务的MNIST,MNIST-M,SVHN和USPS数据集以及跨领域场景语义分割任务的Cityscapes和GTA5数据集上,与其他5种典型的数据增强方法进行对比实验表明,在Acc指标上ODA方法能带来至少2%的分类精度提升,而在语义分割任务的mIoU指标上ODA方法能带来3%到7%的提升,证明了ODA扩充了传统自动数据增强方法在图像风格方向上的搜索空间,增强了网络的泛化能力.     

类别约束下自适应主题建模的图像场景分类

提出一种基于类别约束的主题模型用于实现场景分类.不同于现有方法,本文将图像场景类别信息引入模型参数推导过程中,采用与其类别相关的类主题集描述图像的语义内容.针对各场景类图像中潜在主题数量变化,提出了一种ATS-LDA(自适应主题数的潜在狄里克雷分布)模型实现中层语义的建模算法.该模型依据各场景类训练样本关于视觉词语表示的变化估计所需主题数,体现了各类场景中间语义的繁简变化.根据各类模型下的图像概率分布,采用最大似然估计实现测试样本的场景语义分类.改变了现有主题模型需要依赖于其它分类器完成场景分类的现状.通过多个图像数据集分类任务证明该模型能够在不需要太多训练的情况下取得较好地性能.     

直推式遥感图像场景零样本分类算法

针对遥感图像场景零样本分类算法中的空间类结构不一致以及域偏移问题,提出基于Sammon嵌入和谱聚类方法结合的直推式遥感图像场景零样本分类算法。首先,基于Sammon嵌入算法修正语义特征空间类原型表示,使其与视觉特征空间类原型结构对齐;其次,借助结构迁移方法得到视觉特征空间测试类原型表示;最后,针对域偏移问题,采用谱聚类方法修正视觉特征空间测试类原型,以适应测试类样本分布特点,提高场景零样本分类准确度。在两个遥感场景集（UCM和AID）上分别获得52.89%和55.93%的最高总体分类准确度,均显著优于对比方法。实验结果表明,通过显著降低视觉特征空间和语义特征空间的场景类别结构不一致性,同时减轻了域偏移问题,可实现语义特征空间类结构知识到视觉特征空间的有效迁移,大幅提升遥感场景零样本分类的准确度。     

Semantic-aware neural style transfer

This study proposes a semantic-aware style transfer method for resolving semantic mismatch problems in existing algorithms. As the primary focus of this study, the consideration of semantic matching is expected to improve the quality of artistic style transfer. Here, each image is partitioned into several semantic regions for both a target photograph and a source painting. All partitioned regions of the target are then associated with one of the partitioned regions in the source according to their semantic interpretation. Given a pair of target and source regions, style is learned from the source region whereas content is learned from the target region. By integrating both the style and content components, we can successfully generate a stylized output. Unlike previous approaches, we obtain the best semantic match between regions using word embeddings. Thus, we guarantee that semantic matching is always established between the target and source. Moreover, it is unreliable to partition a painting using existing algorithms because of statistical gaps between the real photographs and paintings. To bridge such gaps, we apply a domain adaptation technique on the source painting to extract its semantic regions. We evaluated the effectiveness of the proposed algorithm based on a thorough experimental analysis and comparison. Through a user study, it is confirmed that semantic information considerably influences the quality assessment of style transfer.     

基于本体概念集合相似度的语义Web服务匹配

面向应用领域的Web服务发现技术的目标是帮助用户找到能够为其构建应用系统提供功能支持的Web服务,从而来降低应用系统的开发成本和提高开发效率,而在服务发现技术中服务匹配程度的高低是一个关键。为了更有效准确地获得服务之间的匹配程度,文章从web服务的输入与输出参数的语义描述出发,把语义Web服务的匹配问题转化成本体库中概念向量的相似度计算问题,通过在考虑概念结构上的路径长度、深度和密度影响因素上计算两个概念的相似度的基础上,构建了概念集合的相似度算法。实验表明该算法较别的匹配方法在查全率、特别是查准率上得到了提高。     

一种使用多维度直方图匹配的图像风格迁移算法

在传统的基于直方图匹配的图像风格迁移算法的基础上，提出一种新的基于多维度直方图匹配的图像风格迁移算法。通过构建关于原图像的不同维度的直方图，然后进行原图像和目标图像的匹配，分别得到原图像在不同维度直方图下的风格迁移图像，最后对这些风格迁移后的图像进行融合生成最终的结果。在保持原图像与目标图像整体风格上尽量相似的情形下，同时又使原图像的局部细节尽可能保留，实现整体风格相似却又保留局部细节的平衡。     

基于孪生网络和字词向量结合的文本相似度匹配

文本相似度匹配是许多自然语言处理任务的基础,本文提出一种基于孪生网络和字词向量结合的文本相似度匹配方法,采用孪生网络的思想对文本整体建模,实现两个文本的相似性判断.首先,在提取文本特征向量时,使用BERT和WoBERT模型分别提取字和词级别的句向量,将二者结合使句向量具有更丰富的文本语义信息;其次,针对特征信息融合过程中出现的维度过大问题,加入PCA算法对高维向量进行降维,去除冗余信息和噪声干扰;最后,通过Softmax分类器得到相似度匹配结果.通过在LCQMC数据集上的实验表明,本文模型的准确率和F1值分别达到了89.92%和88.52%,可以更好地提取文本语义信息,更适合文本相似度匹配任务.     

一种基于本体概念语义距离的服务相似度度量方法

随着语义Web服务及语义网格服务应用的不断深入,对服务资源的需求日益增长,服务匹配在服务发现和服务组合研究中的地位也日渐重要.在服务使用OWL-S描述的前提下,服务匹配通常认为是本体概念的匹配,概念匹配的目的是发现概念间的语义相似度.概念的语义相似度不但与概念间的距离有关系,而且还受概念在本体中层次深度的影响.综合考虑这两个因素,提出了一种基于语义距离的概念相似度度量方法,给出了语义距离的定义,明确了语义距离与语义相似度的关系.最后,通过与其他方法的实验比较,验证了该方法的有效性.     

量化SIFT和同态加密的隐私保护图像检索方法

提出了一种隐私语义保持的图像内容检索方法,将加密图像中隐私保持尺度不变特征变换(SIFT)的提取方法和二进制SIFT算法融合在一起,不仅保证了上传到服务器端的图像是加密的,同时又能在加密空间保持其隐私语义.对图像进行Paillier同态加密,保证了图像在服务器端和传输过程中的安全性,在加密域提取SIFT特征,并将其用二进制表示,减少存储空间和计算复杂度.实验证明:经原始图像特征提取后生成的二进制SIFT在稳健性测试中获得良好的效果,并且与加密图像特征提取后生成的二进制SIFT保持等距,在明文域和密文域中保持了图像搜索匹配的准确性,在匹配效率上得到提高.