MIRGAN:一种基于GAN的医学影像报告生成模型

基于图像理解的医学影像报告生成任务与传统的图像理解任务相比,是一个更加具有挑战的任务.针对该任务,提出医学影像报告生成对抗网络(medical image report generative adversarial network,MIRGAN)模型.采用共同注意力机制对多个特征区域的视觉特征和语义特征进行综合处理并分...     

一种基于图像变换预测的自监督GAN模型

自监督学习是目前深度学习的重要趋势之一,从无标记数据中获取学习有效信息是自监督学习的重点之一.目前的自监督学习方法大致包括:图像块拼图、运动传播、旋转预测等等.针对目前GAN的训练不稳定问题,自监督学习可以通过前置任务来改进生成器和判别器的模型性能.由此在经典的旋转预测任务上提出了改进和创新,采用图像变换旋转翻折的操作...     

基于归因注意力的图像生成模型研究

为了解决生成与描述文本潜在语义信息配对的逼真图像这一问题,对传统的生成式模型AttnGAN中的注意力机制做出改进,即将AttnGAN模型生成器中的注意力机制进行归因,以归因注意力得分矩阵替代注意力得分矩阵在AttnGAN模型中作用,并用消融实验展示该文的DAMSM模块对于整个生成式网络的性能所产生的影响。将改进后的模型称为AttrGAN并与其他经典的生成式模型进行实验对比,从CUB鸟类数据集和Oxford-102flowers数据集的实验结果来看,改进后的AttrGAN模型生成图像的性能是优于其他经典的生成式模型的。     

基于图像噪声分析的计算机生成图像检测算法

计算机生成图像与自然图像在物理生成机理上的差异性导致其在噪声分布上具有明显的区别,据此提出一种基于图像噪声分析的计算机生成图像检测新方法。首先,用小波隐马尔可夫(MMT)模型对图像噪声进行预处理;接着,基于最大似然估计方法估测图像参考模式噪声;最后,在提取图像模式噪声统计距及其与参考模式噪声相关差值基础上,利用支持向量机(SVM)分类器进行鉴别。实验结果显示,较已有的典型算法,该算法具有更好的检测率。     

基于单阶段生成对抗网络的文本生成图像方法

为了提高生成图像质量,提出新的文本生成图像方法,整体框架采用单阶段文本生成图像主干.在原有模型只使用句子信息生成图像的基础上,使用注意力机制把单词信息融入图像特征,采用合理地融入更多文本信息的方式提高生成图像的质量.引入对比损失,使相同语义图像之间更加接近,不同语义图像之间更加疏远,从而更好地保证文本与生成图像之间的语义一致性.在生成器中采用动态卷积来增强生成器的表达能力.实验结果表明,所提方法在数据集CUB(Fréchet inception distance(FID)从12.10提升到10.36)和数据集COCO(FID从15.41提升到12.74)上都获得了较好的性能提升.     

基于图像生成的多模态视网膜图像配准方法

针对多模态视网膜的全局粗配准,提出了一种基于图像生成的多模态视网膜配准方法. 不同于当前主流的提取多模态视网膜图像血管再进行配准的方法,使用GAN模型对不同模态的视网膜图像进行像素级映射,再通过特征点匹配的方式计算图像仿射矩阵,实现图像粗配准. 基于彩色眼底图像与荧光素血管造影图像的实验结果表明,该方法与当前主流的视网膜粗配准方法相比,具有快速且鲁棒的优势.     

基于生成对抗网络的图像风格迁移

生成对抗网络(Generative Adversarial Network, GAN)可以生成和真实图像较接近的生成图像.作为深度学习中较新的一种图像生成模型,GAN在图像风格迁移中发挥着重要作用.针对当前生成对抗网络模型中存在的生成图像质量较低、模型较难训练等问题,提出了新的风格迁移方法,有效改进了BicycleGAN模型实现图像风格迁移.为了解决GAN在训练中容易出现的退化现象,将残差模块引入GAN的生成器,并引入自注意力机制,获得更多的图像特征,提高生成器的生成质量.为了解决GAN在训练过程中的梯度爆炸现象,在判别器每一个卷积层后面加入谱归一化.为了解决训练不够稳定、生成图像质量低的现象,引入感知损失.在Facades和AerialPhoto&Map数据集上的实验结果表明,该方法的生成图像的PSNR值和SSIM值高于同类比较方法.     

基于LED屏的立体图像生成方法

LED屏自由立体显示系统是将光栅板附在LED显示屏的外表面,根据LED屏的参数生成立体图像文件。其生成方法包括三个步骤,首先根据LED屏和光栅板的特征参数计算出合成立体图像文件所需的像素点映射表;然后采用缝隙删除技术对视点图像进行处理,使其满足像素点映射表的要求;最后,将经处理的视点图像合成立体图像。实验结果表明,提出的方法适用范围广,并能快速高效地合成任意视点数的立体图像,获得较好的立体视觉效果。     

基于生成对抗网络的图像恢复与SLAM容错研究

为了提高即时定位与地图构建（SLAM）系统的容错能力,在经典图像生成网络Pix2Pix的基础上,逐步添加深度估计网络和深度信息的输入、基于STN网络的图像重建损失以及基于图像修复网络的图像补全损失3个方面的改进. 结合双目图像的耦合关系,通过挖掘和融合多种信息,增大了信息的利用率,提高了模型的图像生成效果. 提出将生成对抗网络（GAN）技术与SLAM容错场景相结合,直接实现了感知端的容错. 在KITTI和Cityscapes数据集上进行实验,验证了改进模型的有效性. 将模型生成的图像用于双目视觉系统的重建,验证了容错思想的可行性.     

基于Benford模型的自然图像与计算机生成图像的鉴别

针对目前自然图像和计算机生成图像的鉴别方法鉴定准确率不高的问题,提出了一种基于Benford模型的自然图像与计算机生成图像的鉴别方法.本算法利用DCT域AC系数首位有效数字的Benford曲线分布,分别对图像的RGB三个色彩通道进行统计,以3条概率分布曲线的重合程度作为鉴别取证的依据,对2类图像进行正确分类.实验结果表明,该方法可有效地鉴别自然图像和计算机生成图像,与已有算法相比具有更高的识别率,鉴别准确率达97.17%,且计算量小、易于实现,为图像取证、数字防伪鉴别等提供可靠的依据.     

基于生成对抗网络的文本两阶段生成高质量图像方法

为了解决传统文本生成图像方法生成图像质量差和文本描述与生成图像不一致问题,以多种损失函数为约束,提出深度融合注意力的生成对抗网络方法（DFA-GAN）.采用两阶段图像生成,以单级生成对抗网络（GAN）为主干,将第一阶段生成的初始模糊图像输入第二阶段,对初始图像进行高质量再生成,以提升图像的生成质量.在图像生成的第一阶段,设计视觉文本融合模块,深度融合文本特征与图像特征,将文本信息充分融合在不同尺度的图像采样过程中.在图像生成的第二阶段,为了充分融合图像特征与文本描述词特征,提出以改进后的Vision Transformer为编码器的图像生成器.定量与定性实验结果表明,对比其他主流模型,所提方法提高了生成图像的质量,与文本描述更加符合.     

基于条件生成对抗网络的医学细胞图像生成检测方法

针对现有医学细胞图像生成检测方法在检测中需要大量的有标签数据作为支撑,而细胞在黏附遮挡的情况下数据匮乏,不利于细胞检测精度的提高这一问题,提出了基于条件生成对抗网络的细胞图像生成检测方法。通过Pix2pix网络模型控制生成黏附遮挡的细胞图像,提取损失函数,采用Pix2pix实现图像到图像的转换,并运用正则项误差控制生成对抗网络误差。在此基础上,构建检测网络,包括生成网络结构、判别网络结构和检测网络结构,在生成网络输出端进行目标检测,使图像生成与细胞检测工作在同一个网络中完成。实验表明,与现有模型相比,本文方法在检测精度上有显著提升,达到了90.2%,可以满足医学细胞检测需求。     

基于Maya的立体元图像阵列的生成

提出了一种基于Maya的立体元图像阵列生成方法,该方法无需实景采集设备,可以根据显示平台参数自由调整渲染,生成任意大小的多种孔径透镜阵列所需的立体元图像,即克服了传统集成成像系统存在的空间反转和串扰等问题,又避免了复杂而繁琐的光学设备校准,快速推进理论研究,提供基于集成成像系统研究所需的各种图像来源。实验分别从子图像与立体元图像间的映射关系、真实再现立体图像、虚拟再现立体图像3个方面验证了本文方法的正确性。     

基于注意力特征提取网络的图像描述生成算法

针对解决图像描述生成中对浅层图像特征利用不充分、图像目标间关系提取不足的问题,提出一种基于注意力图像特征提取的图像描述生成算法.通过语言模型上下文信息对不同深度图像特征进行自适应注意力权重分配,使带有注意力的图像特征参与指导图像描述生成,提升了图像描述生成的效果.在MSCOCO测试集中所提算法的BLEU-1和CIDEr得分分别达到0.752和0.934,从而验证了所提算法的有效性.     

基于监督注意力机制的语义标签生成图像

由于卷积神经网络内部存在局部连接,通过学习局部特征,模型能够较好地生成纹理风格信息,但是对高级语义特征的学习能力较差,导致生成图像中语义目标出现模糊失真的现象.为提高神经网络的全局特征处理能力,使生成图像中的语义目标更清晰真实,本研究提出一种监督注意力机制应用于端到端结构的级联细化网络图像生成模型.对第一级精细化模块输...     

几种基于分形思想的图像生成技术

以分形思想为基础,探索了三种基于一般IFS的计算机图像生成技术——带概率的、带凝聚的和带参数的IFS．带概率的IFS中,n个变换的频率各异,使各变换有主次之分,图像色彩有浓淡之差,更接近真实;带凝聚的IFS包含两类不同变换：在某处的凝聚变换和在空间不同方向上的延伸变换;带参数的IFS在比例系数、旋转系数和位移系数中加入参数以控制IFS码,使图像不断地按既定构想变化以形成动画．通过一系列实例说明,这三种方法对实现图像的“明暗虚实”、“树木成林”及“动画”所起的作用．     

基于正交图像生成人脸模型的合成分析方法

针对采用现有基于图像的人脸建模方法生成的三维人脸模型存在的人工性缺陷问题,提出了一种基于合成分析方法的个性化三维人脸建模方法.利用合成方法由两幅正交人脸图像生成一个初始三维人脸模型,比较基于颜色直方图方法合成的人脸图像纹理与输入图像纹理的差异,根据纹理差异来指导对人脸网格的局部自适应细分,不断调整合成的三维人脸模型,从而更好地保持了人脸的精细细节特征.实验结果表明,使用该细分反馈算法,可以减少模型的人工性缺陷,在整体上提高了合成人脸模型纹理的真实感.