基于生成对抗网络的轻量级图像卡通风格化方法

艺术家创作卡通是一项具有挑战性和耗时的任务。将真实照片自动转换为高质量卡通风格图像的自动技术具有很高价值。提出一种基于生成对抗网络的轻量级图像卡通风格化方法。通过观察卡通绘画行为,将卡通图像风格解耦为平滑表面、稀疏色块、高频纹理3种表示方法。运用生成对抗网络框架学习提取的表示,进而学习卡通图像风格,在生成网络中采用深度可分离卷积和反向残差块来减少网络的参数量与计算成本。为验证所提方法的有效性,进行定性比较和定量分析。结果显示,所提方法能够快速地将真实世界的照片转换为高质量的卡通图像,在时间效率和转换质量方面与已有方法相比有一定优势。     

基于元学习的无监督风格迁移算法研究

最近,在生成式对抗网络和足够的非配对训练数据下,无监督领域风格迁移取得了较高的性能。然而,现有的领域迁移框架大多基于庞大的训练数据集,且只能根据训练图像进行特定类别的风格迁移,忽略了其中的学习经验被,使获得的模型不能适应新的领域。文中对传统的非配对循环生成对抗网络Cycle-GAN进行了改进,并使用元学习方法训练了无监督领域的风格迁移问题。另外,文中提出的模型在7个不同的双域迁移任务上证明了其有效性,当对每个新领域进行小样本训练时,该算法均优于传统的风格迁移算法。     

基于多通道GAN的图像去噪算法

针对图像采集和传输过程中所产生噪声导致后续图像处理能力下降的问题,提出基于生成对抗网络(GAN)的多通道图像去噪算法。所提算法将含噪彩色图像分离为RGB三通道,各通道基于具有相同架构的端到端可训练的GAN实现去噪。GAN生成网络基于U-net衍生网络以及残差块构建,从而可参考低级特征信息以有效提取深度特征进而避免丢失细节信息;判别网络则基于全卷积网络构造,因而可获得像素级分类从而提升判别精确性。此外,为改善去噪能力且尽可能保留图像细节信息,所构建去噪网络基于对抗损失、视觉感知损失和均方误差损失这3类损失度量构建复合损失函数。最后,利用算术平均方法融合三通道输出信息以获得最终去噪图像。实验结果表明,与主流算法相比,所提算法可有效去除图像噪声,且可较好地恢复原始图像细节。     

基于生成对抗网络的风景图像彩墨风格迁移

图像风格迁移指在图片内容语义固定的情况下,将一张图片的风格迁移至另一种风格。目前已经有许多关于图像风格化的研究,但针对某一特定的艺术风格进行迁移依然存在训练时间过长、训练样本不足、泛化能力不强等问题。根据领域现状,文中针对传统绘画彩墨风格进行了研究,并采用了生成对抗网络模型,结合彩墨画绘制的原理,在不采用大量训练数据的基础上,增强了训练图像特征。另外,参考水墨画的生成方法,实现了将风景照片向彩墨画迁移。并对比分析了其它风格迁移方法在风景图彩墨画风格实现上的结果,实验证明文中的方法具有更好的彩墨画风格迁移效果。     

基于深度学习的动漫风格迁移研究综述

图像动漫化技术的发展对我国动漫产业影响巨大.目前基于深度学习的动漫风格迁移研究是一项热门的研究方向,相关算法层出不穷.文章对动漫风格迁移领域现有的主流方法和代表性工作进行了归纳和讨论,分析了该领域所使用的主要深度神经网络模型,并按照动漫风格迁移方法所解决的不同实际问题,将其归纳为风景动漫迁移、人像动漫迁移和视频帧动漫迁...     

基于改进循环生成式对抗网络的图像风格迁移

图像间的风格迁移是一类将图片在不同领域进行转换的方法。随着生成式对抗网络在深度学习中的快速发展,其在图像风格迁移领域中的应用被日益关注。但经典算法存在配对训练数据较难获取,生成图片效果差的缺点。该文提出一种改进循环生成式对抗网络(CycleGAN++),取消了环形网络,并在图像生成阶段将目标域与源域的先验信息与相应图片进行纵深级联;优化了损失函数,采用分类损失代替循环一致损失,实现了不依赖训练数据映射的图像风格迁移。采用CelebA和Cityscapes数据集进行实验评测,结果表明在亚马逊劳务平台感知研究(AMT perceptual studies)与全卷积网络得分(FCN score)两个经典测试指标中,该文算法比CycleGAN, IcGAN, CoGAN, DIAT等经典算法取得了更高的精度。

     

基于GAN的轻量级水下图像增强网络

由于光在水下存在吸收与散射,导致水下图像存在颜色失真和细节损失,严重影响了后续水下目标的检测和识别。本文提出了一种轻量级全卷积层的生成式对抗神经网络模型（DUnet-GAN）来增强水下图像。针对水下图像的特点,提出了多任务目标函数,使得模型从感知图像的整体内容、颜色、局部纹理和风格信息等方面来增强图像的质量。此外,与现有的一些重要的模型做了对比,进行了定量的评估。结果表明,在EUVP数据集中本文所提模型峰值信噪比在26 dB以上,结构相似度为0.8,参数量为11 MB,仅为其他达到同等性能模型参数量的5%且比26 MB参数量的FUNIE-GAN指标更好。同时UIQM为2.85,仅次于Cycle-GAN模型,且主观增强效果显著。更重要的是,增强后的图像为水下目标检测等模型提供了更好的性能,也满足了水下机器人等设备对模型的轻量化要求。     

基于U-net变体和分类器的动漫线稿风格迁移

近年来,随着一些突破性的神经风格迁移方法的出现,一张动漫线稿和一张匹配的风格图像可以通过风格迁移的方法,生成一张彩色图像。但是,当需要将这幅图像的风格具体应用到某张动漫线稿的时候,这些方法都只是将线稿的素描线随即上色作为输出,并且无法得到想要的具体风格类型迁移。在本文中,利用一种改进的残差增强U-net变体结合辅助分类器组成辅助分类器生成对抗网络模型(AC-GAN)应用于神经风格迁移动漫线稿上色中。实验结果表明,该方法能够将辅助图像的颜色风格应用到线稿当中,同时生成的彩色图像具有较高的质量。     

基于自注意力机制和谱归一化的GAN表情合成

为实现更具真实感的表情图像合成,探讨一种基于自注意力机制和谱归一化的生成式对抗网络(GAN)表情合成方法.通过在生成器中引入2层自注意力模块,使生成器能够在局部建立丰富的上下文关系,输出更加真实的表情细节;同时,在鉴别器中引入谱归一化,使鉴别器的训练更加稳定.实验结果表明,该模型在主观视觉和FID图像评价指标上均优于其...     

结合可逆网络的超高分辨率图像的风格迁移

针对处理超高分辨率图像时面临的内存成本和风格迁移过程中过度风格化,提出了一种结合可逆网络的超高分辨率图像的风格迁移方法。该算法采用可逆的Glow模块作为基本单元构建可逆神经网络模块,并将图像分为小块处理;在风格迁移模块中使用具有通道注意力机制的残差模块和缩略图实例化归一化模块(TIN),以保证各模块风格一致;提出基于全局-局部的损失计算方式,能够有效地处理局部的结构特征。实验结果表明,相较于当前通用的各种神经风格迁移网络,所提算法不仅能够避免图像在编码和解码过程中的信息丢失问题,而且能以更低的内存成本实现更优的风格迁移。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

针对低空微小型无人机的轻量型YOLOv5检测算法

针对低空微小型无人机对公共安全造成威胁的问题,本文基于YOLOv5(you only look once v5)网络提出了一种适用于移动端的轻量型目标检测模型YOLOv5＿SS。该模型以轻量型网络ShuffleNetv2替换YOLOv5原有的主干网络,引入SENet (squeeze-and-excitation networks)注意力机制,并采用Soft-NMS(soft non-maximum suppression)算法提升对密集重叠目标的检测效果。实验结果表明,该模型在数据集上对低空微小无人机进行检测的平均精确率均值(mean average precision@0.5,mAP₅₀)为92.75%,精度为90.49%,参数量为0.237 4 M,浮点运算数为0.9千兆浮点运算(giga floating-point operations, GFLOPS)。具有检测精度高、内存占用率低的特点,有利于在移动终端上部署且在复杂背景及密集目标的场景下均有较好的检测效果。     

基于生成式对抗网络的遥感图像半监督语义分割

高分辨率遥感图像的语义分割问题是目前遥感图像处理领域中的研究热点之一。传统的有监督分割方法需要大量的标记数据,而标记过程又较为困难和耗时。针对这一问题,提出一种基于生成式对抗网络的半监督高分辨率遥感图像语义分割方法,只需要少量样本标签即可得到较好的分割结果。该方法为分割网络添加全卷积形式的辅助对抗网络,以助于保持高分辨率遥感图像分割结果中的标签连续性;更进一步,提出一种新颖的能够进行注意力选择的对抗损失,以解决分割结果较好时判别器约束的分割网络更新过程中存在的难易样本不均衡问题。在ISPRS Vaihingen 2D语义标记挑战数据集上的实验结果表明,与现有其它语义分割方法相比,所提出方法能够较大幅度地提高遥感图像的语义分割精度。     

一种多尺度前向注意力模型的语音识别方法

注意力模型是当前语音识别中的主流模型,然而其存在一个缺点,即当前时刻的注意力模型可能产生异常得分.为此,本文首先提出前向注意力模型,其采用上一时刻正常注意力得分平滑当前时刻异常得分.接着通过对上一时刻的注意力得分添加约束因子来对前向注意力模型进行优化,达到自适应平滑的目的.最后,在优化模型基础上提出多尺度前向注意力模型,其通过引入多尺度模型来对不同等级的语音基元进行建模,进而将所得到的不同等级目标向量进行融合,以达到解决注意力得分异常值的目的.采用SwitchBoard作为训练集,Hub5'00作为测试集进行实验,相比于基线系统,多尺度前向注意力模型的词错误率（Word Error Rate,WER）相对降低14.28%.     

A Triphenylamine Dye Model for the Study of Intramolecular Energy Transfer and Charge Transfer in Dye‐Sensitized Solar Cells

A novel dye ( 2TPA‐R ), containing two triphenylamine (TPA) units connected by a vinyl group and rhodanine‐3‐acetic acid as the electron acceptor, is designed and synthesized successfully to reveal the working principles of organic dye in dye‐sensitized solar cells (DSSCs). 2TPA and TPA‐R , which consist of two TPA units connected by vinyl and a TPA unit linked with rhodanine‐3‐acetic acid, respectively, are also synthesized as references to study the intramolecular energy transfer (E_nT) and charge transfer (ICT) processes of 2TPA‐R in CH₂Cl₂ solution and on a TiO₂ surface. The results suggest that the intramolecular E_nT and ICT processes show a positive effect on the performance of DSSCs. However, the flexible structure and less‐adsorbed amount of dye on TiO₂ may make it difficult to improve the efficiency of DSSCs. This study on intramolecular E_nT and ICT processes acts as a guide for the design and synthesis of efficient organic dyes in the future.     

基于类别转移加权张量分解模型的兴趣点分区推荐

基于位置社交网络的兴趣点(POI)推荐是人们发现有趣位置的重要途径,然而,现实中用户在不同区域的地点偏好侧重的差异,加之高维度的历史签到信息,使得精准而又个性化的POI推荐极富挑战性。对此,该文提出一种新型的基于类别转移加权张量分解模型的兴趣点分区推荐算法(WTD-PR)。通过结合用户连续行为和时间特征,来充分利用用户的历史访问信息,从而得到类别转移权重因子;接着改进用户-时间-类别张量模型,在此张量中加入类别转移权重,预测用户的喜好类别;最后,根据用户的历史访问区域划分出本地和异地,并基于用户的当前位置找出推荐区域范畴,进而引入位置因素和社交因素,结合候选类别作兴趣点分区推荐。通过在真实数据集上进行对比实验,实验结果表明,所提算法不仅具有通用性,而且在推荐性能上也优于其他对比算法。     

A Model for the Performance Evaluation of Packet Transmissions Using Type-II Hybrid ARQ over a Correlated Error Channel

Type-II Hybrid-ARQ (Type-II HARQ) has been shown, under certain circumstances, to increase the efficiency and reduce loss of data transmissions over a wireless channel. However, it is difficult to predict how it will perform when transmission symbol errors are correlated. We present a computationally efficient approach to the performance evaluation of packet transmissions over a wireless link employing Type-II HARQ error mitigation when the physical channel is subject to correlated transmission symbol errors. This provides a tool for static or online optimization of system parameters. We present numerical results for a wide range of channel statistics, illustrating the effect of bit error correlation, bit error rate, and block size on packet latency and loss rate.