基于生成对抗网络的文本两阶段生成高质量图像方法

为了解决传统文本生成图像方法生成图像质量差和文本描述与生成图像不一致问题,以多种损失函数为约束,提出深度融合注意力的生成对抗网络方法（DFA-GAN）.采用两阶段图像生成,以单级生成对抗网络（GAN）为主干,将第一阶段生成的初始模糊图像输入第二阶段,对初始图像进行高质量再生成,以提升图像的生成质量.在图像生成的第一阶段,设计视觉文本融合模块,深度融合文本特征与图像特征,将文本信息充分融合在不同尺度的图像采样过程中.在图像生成的第二阶段,为了充分融合图像特征与文本描述词特征,提出以改进后的Vision Transformer为编码器的图像生成器.定量与定性实验结果表明,对比其他主流模型,所提方法提高了生成图像的质量,与文本描述更加符合.     

基于生成对抗网络的图像超分辨率方法

为了解决生成对抗网络(Generative adversarial network, GAN)训练不稳定问题,降低模型复杂度,加快网络学习速率,提高超分辨率图像的视觉效果和重建速率,提出了一种基于改进生成对抗网络的图像超分辨率方法。该方法以改进的生成对抗网络为模型,通过粗粒度主体内容和细粒度细节边缘结合的方式提取图像特征,利用线性组合的方式重建超分辨率图像,采用Wasserstein距离优化生成对抗网络。实验结果表明:该方法能够生成视觉效果良好的超分辨率图像,在Set5、Set14等测试集上,其主观视觉评价和客观量化指标(PSNR、SSIM)都优于SRGAN方法。该方法通过重新设计网络模型,使得特征提取更为全面,网络训练更加充分,有助于提高超分辨率图像重建速度,提高图像质量。     

基于生成对抗网络的对抗防御系统

针对不断更新的对抗攻击,提出一个基于生成对抗网络的防御系统。系统利用生成对抗网络不断生成新的对抗样本,反复训练模型以增强其鲁棒性。具体过程为将预先训练的卷积神经网络和外部GAN(conditional GAN:Pix2Pix)相结合,自动流水线式地推断对抗样本和干净样本之间的转换关系,并合成新的对抗样本。根据分辨得到的反馈结果不断调节生成对抗网络中的生成器和判别器,以增强其性能,而新合成的对抗样本被用来加强迭代管道中的防御模型。最后通过实验证明了该系统的有效性。     

基于改进生成式对抗网络的图像去雾算法研究

针对传统图像去雾算法存在颜色失真并被雾图先验理论束缚的问题,提出一种基于GAN(Generative Adver?sarial Networks)的去雾算法Defog-GAN,将雾天图片和普通图片分别送入GAN的生成器与鉴别器,利用卷积神经网络对图像的颜色与纹理信息特征进行提取,鉴别器最终引导生成器生成去雾图像.以分块输入形式对GAN的鉴别器做了改进,提高了模型训练速度,引入新的激活函数LeakyRelu,使输入在负值上也有一定的输出,加强图像细节的还原.对输出的去雾图像进行局部颜色直方图匹配,增强图像真实度.实验表明,改进后的网络模型缩短了训练时间,且在真实图像中去雾效果更好,主观评价和客观评价优于其他算法.     

基于生成对抗网络的交通模糊图像复原

针对光线及车辆运动造成的交通图像模糊和分辨率低等问题,提出一种基于生成对抗网络(GAN)的图像复原方法.在生成器中加入ResNeXt残差块,提高模型的去模糊效果,并使用对抗损失和感知损失保证图像内容的一致性;以DiscoGAN为基础,构建2个GAN对非成对图像进行正向循环和反向循环,实现了模糊域到清晰域的相互转换.实验...     

基于对抗生成网络的多风格化的汉字

随着生成对抗网络（GAN）的发展,中文字体转换领域的研究越来越多,研究者能够生成高质量的汉字图像。这些字体转换模型可以使用GAN将源字体转换为目标字体。然而,目前的方法有以下局限:1）生成的图像模糊;2）模型一次只能学习和生成一种目标字体。针对这些问题,该文开发了一种全新的模式来执行中文字体转换。首先,将字体信息附加到图像上,告诉生成器需要转换的字体;然后,通过卷积网络提取和学习特征映射,并使用转置卷积网络生成照片真实图像。使用真实图像作为监控信息,以确保生成的字符和字体与它们自身一致。这个模型只需要训练一次,就能够将一种字体转换为多种字体并生成新的字体。对7个中文字体数据集的大量实验表明,该方法在中文字体转换中优于其他几种方法。     

基于GAN的天文图像生成研究

生成对抗网络(GAN)被广泛应用于图像生成。生成恒星和星系图像对预测未知恒星和星系有着重要的意义。首次将GAN用于生成天文图像,给出了天文图像生成的GAN模型结构;设计了GAN训练的策略;为了提高GAN的稳定性,提出了改进的神经元抛弃方法,通过网格搜索法对模型中的部分高级参数进行了优化,并采用了韦氏距离对损失函数进行了改进。以斯隆数字巡天数据库(SDSS)中的恒星以及星系图像作为训练图像,采用改进方法和原始GAN分别生成了2种不同分辨率的恒星和星系图像,并进行了对比,验证了改进方法的有效性。     

条件约束下的自我注意生成对抗网络

为了解决生成对抗网络中因生成图像的特征信息表示不足而导致生成效果特征不明显、图像的关键特征信息模糊的问题, 提出了一种条件自我注意生成对抗网络的图像生成方法。该网络结合自我注意生成对抗网络的优点,向生成器和判别器中添加附加条件特征,明确指示模型生成对应的标志性类别信息,将数据的具体维度与语义特征关联起来,用这种方法提取其中的生成模型,使生成特定类型的图像的特征表示更加贴合原始数据分布。实验结果表明,所提出的方法在CelebA和MNIST数据集上的弗雷歇距离值相比较于自我注意生成对抗网络分别约提高了1.26和2.47。验证了所提出的方法相比较于其他的监督类生成模型可以有效地提升图像的质量效果以及多样性,并且可以有效地加快网络的收敛速度。     

结合大气散射模型的生成对抗网络去雾算法

为了提高图像去雾的性能, 提出结合大气散射模型生成对抗网络的去雾算法. 算法在pix2pix GAN基础上进行改进, 将网络的生成器改进成双解码器结构,通过双解码器分别生成无雾图像和透射率图, 并结合大气散射模型还原雾图像,以进一步提高图像分解的质量. 在马尔科夫判别器结构中,采用反向学习机制代替随机裁剪机制,以有效降低因采用随机裁剪算法而导致的判断结果不准确的概率. 在原有的损失函数上,加入雾霾损失函数,提高图像转化的质量. 在STOS和NYU数据集上进行消融实验和对比实验. 大量实验表明所提出方法在PSNR和SSIM指标上比原算法Pix2pix GAN有所提高, 且均优于现有去雾算法,复原图像具有清晰度高、噪声低、纹理丰富的优点.     

基于生成对抗模型的可见光-红外图像匹配方法

针对现有异源图像匹配存在的模态差异大、匹配难度大、鲁棒性差等问题, 基于生成对抗网络转换思想及传统的局部特征提取能力, 提出基于生成对抗模型的可见光-红外图像匹配方法. 依据生成对抗网络（GAN）的风格转换思想, 增加了损失函数计算通路并构建新的损失函数, 改进模型在异源图像上的转换效果. 利用SIFT算法分别提取转换后同源图像的特征信息, 确定待匹配点的位置和尺度. 依据匹配策略间接完成待配准图像的特征匹配及相似性度量. 在实景航拍数据集上进行实验验证. 结果表明, 利用该方法能够有效地处理多模数据, 降低异源图像的匹配难度, 为多模态图像匹配问题提供新的思路.     

基于语义分割的织锦类自适应风格迁移算法

通过风格迁移的数字化手段可以辅助艺术作品的创作,但由于织锦类手工艺品具有颗粒感线条、块状色彩、前后景纹理区别较大等特点,使用现有风格迁移算法得到的输出图像在视觉上难以达到令人满意的效果.针对上述问题,提出了一种基于语义分割的织锦类自适应感知域风格迁移算法,将语义分割任务和基于自适应感受域的风格迁移算法相结合,并提出新的内容损失和风格损失.此外,为了解决生成结果图像后景中纹理不均匀的问题,在内容图像上增加高斯噪声用于平滑训练过程中生成图像的后景纹理.实验结果表明,所提算法在织锦作品风格迁移任务中的表现优于现有算法.     

基于CGAN网络的二阶段式艺术字体渲染方法

艺术字体渲染是媒体排版的重要技术之一.如何提供一种高效的艺术字体渲染方法来实现生成艺术字体的特效多样化与清晰化是亟待解决的问题.本文借助条件生成式对抗网络（Conditional Generative Adversarial Networks,CGAN）,提出一个包括风格化处理和清晰化处理的二阶段式艺术字体渲染方法,对字体实现高效的特定效果渲染.首先,风格化处理是通过构建风格化网络模型对多样化的字体进行各种不同的2D或3D特效渲染;然后,构建清晰化网络模型对生成的艺术字体图进行清晰化处理,这克服了单一GAN网络生成图模糊的缺陷.实验结果表明,二阶段式艺术字体渲染方法所生成的特效字体的纹理细节较为丰富,不受限于文字骨架,而且字体清晰度也得到较大提升;同时,该方法对字体的特效渲染批量化处理效率也明显提高,具有较强实用价值.     

基于多尺度条件生成对抗网络血细胞图像分类检测方法

针对血细胞图像中白细胞样本较少和生成细胞图像细节不清晰,导致检测精度较低的问题,提出基于多尺度鉴别器的条件生成对抗网络. 该网络通过生成并添加大量逼真的白细胞图像到分类检测网络训练集的方式,实现对血细胞图像的生成和分类检测. 在现有条件生成对抗网络真假鉴别器中,引入多尺度卷积核、池化域并在通道上拼接,提升鉴别器对微观细节纹理特征和宏观几何特征的鉴别能力;引入梯度相似性损失函数,以提高生成细胞图像的亮度及边缘清晰度,提升图像的真实感. 实验证明,在图像生成阶段,增加多尺度鉴别器和梯度相似性损失函数提高了生成细胞图像的质量;在图像分类检测阶段,对比仅有真实数据训练的情况,增加细胞样本多样性使细胞分类检测的平均精度由90.4%提升至94.7%.     

基于生成式对抗网络和多级小波包卷积网络的水下图像增强算法

为了解决水下图像的雾模糊和偏色问题,针对水下图像成像模型提出基于生成式对抗网络（GAN）和改进卷积神经网络（CNN）的水下图像增强算法. 利用生成式对抗网络合成水下图像,以对配对式水下图像数据集进行有效扩充. 利用多级小波变换,以不丢失特征分辨率的方式对水下图像进行多尺度分解,然后结合卷积神经网络利用紧凑式学习方式对多尺度图像进行特征提取,并利用跳跃连接以防止梯度弥散,克服水下图像的雾模糊效应. 利用风格代价函数学习彩色图像各通道间的相关性,提高模型的色彩校正能力,克服水下图像色彩失真的问题. 实验结果表明,相较对比算法,在主观视觉和客观指标上,本研究所提算法拥有更优秀的综合性能及鲁棒性.     

融入注意力机制的弱监督水下图像增强算法

基于监督学习的水下图像增强算法中所需成对训练样本获得困难,为此提出一种融入注意力机制的弱监督水下图像增强算法. 根据不同波长的光在水中传播时衰减程度不同的物理特性,计算红通道衰减图,并将依赖红通道衰减图引导的注意力模块融入生成网络,提高生成网络修正水下图像色偏的性能;设计对抗损失函数和结构相似性损失函数相结合的多项联合损失函数,在修正水下图像色偏的同时保留更多图像细节;在全局和局部两个尺度下优化提出的弱监督水下图像增强网络模型. 实验结果表明,所提算法在主观视觉质量和客观评价指标上都优于比较算法,可以有效地提高水下图像清晰度.     

结合自适应稀疏表示和全变分约束的图像重建

In view of the limitation of fixed complete orthogonal transformation, represented by two-dimensional wavelet transform and discrete cosine transform in compressed sensing high-resolution image reconstruction, this paper proposes a new method for high-resolution image reconstruction based on adaptive redundant dictionary sparse representation with the total variation constraint.The algorithm takes the intermediate image in the process of iteration as the training sample to get a redundant dictionary suitable for sample characteristics by adaptive learning. It makes full use of the correlation between dictionary atoms and the image to get an ideal complete sparse representation, thus reducing the sampling rate and improving the quality of image reconstruction. Finally, the algorithm takes the total variation as a constraint and uses the split Bregman iterative method to solve the sparse optimization problem. Simulation shows that the proposed method can reconstruct high quality images under a low sampling rate.     

改进网络模型的局部骨切片图像重构

基于骨切片图像的三维骨多孔结构数字建模是骨组织工程的技术基础,也是生物医学工程领域的研究热点,骨切片图像的质量决定了骨多孔结构数字模型的准确程度。然而,骨切片图像在获取过程中会出现数据丢失、图像受损或图像尺寸过小等问题,导致只能得到局部的切片图像。为了解决这个问题,提出对局部骨切片图像进行完整重构修复的改进条件生成对抗网络,即在条件生成对抗网络基础上,对生成器进行改进,加入嵌套残差密集块,同时,在判别器中加入极化自注意力模块,并对重构的图像进行形态学函数分析和局部孔隙率分布研究来评价生成图像与真实骨多孔图像的相似程度。结果表明该网络能准确、稳定地重构出多样化的完整骨多孔切片图像。