基于最小生成树和TPS变换模型的图像拼接

本文针对图像拼接方法中的特征点匹配和变换参数求解问题,提出了一种基于最小生成树和TPS变换模型的图像拼接算法。该算法在每次迭代过程中,利用最小生成树的Laplace矩阵获取待拼接图像中特征点的匹配关系,然后估算待拼接图像之间的TPS(thinplatespline)变换参数,再利用这些参数使特征点集相互逼近,最终获得匹配关系和精确的TPS变换参数,实现图像的拼接。实验结果验证了该算法的有效性。     

一种改进CycleGAN的水下彩色图像增强方法

针对基于深度学习方法的水下图像增强只考虑水下图像的RGB颜色特征空间造成的增强效果不理想现象,本文在循环生成对抗网络的基础上改进了一种水下彩色图像增强算法。首先运用循环生成对抗网络在图像的RGB和HSV颜色特征空间进行训练,将图像经过卷积网络下采样提取到的特征送入残差网络和扩展压缩模块,其中扩展压缩模块可以调整图像RGB和HSV通道的权重。预训练好的生成对抗网络作用在成对的水下降质图像与增强后的图像进行监督训练,采用特征融合网络将对抗生成网络输出的RGB和HSV六通道图像融合成RGB三通道图像。实验结果表明,该方法能够有效结合图像的RGB和HSV空间的特征信息,提升水下图像的对比度和亮度,校正水下图像的颜色偏差。     

联合4方向特征的全局优化图像补全

为更好地保持修复后图像的结构连贯性及与邻域信息的连续一致性,提出了联合4方向特征的全局优化图像补全算法。该方法利用Curvelet变换提取图像的水平,垂直,正对角及反对角4个方向的特征。在构造数据项和平滑项能量时,利用4方向特征与颜色信息共同衡量样本块间的相似性,以此构造符合人眼视觉要求的全局能量约束方程;同时自适应确定计算数据项和平滑项能量的样本块尺寸。最后利用图割算法求取全局能量的极小值,获得修复图像。实验显示:与现有算法相比,提出算法可以获得更优的修复结果,其峰值信噪比(PSNR)平均值比现有算法至少高出2dB,验证了提出算法的有效性;结果也表明:提出的算法可以更好地保持图像结构的连贯性及修复区域内的连续一致性,能满足人眼视觉需求。     

基于VAE-MSGAN网络的复杂细节图像生成方法

生成式对抗网络被广泛应用于图像生成领域,但其在图像生成时模型不易收敛,导致生成图像的局部细节易出现背景模糊问题.将变分自动编码器与生成式对抗网络相结合,在两者图像生成方面优势相结合的基础上,引入多尺度判别器,提出了VAE-MSGAN网络模型.通过不同尺度的卷积核可以提取到更加丰富的特征信息,并通过加入批标准化(BN)层与特征融合处理,从而加快网络的收敛速度,有利于特征信息的重利用,再将两者提取到的特征信息进行融合,最后将改进的正则化方法应用到目标函数中,减小网络复杂度和过拟合,提升了GAN模型的训练稳定性和图像的局部细节生成质量.对设计的图像生成算法基于Ubuntu16.04环境下利用Tensorflow深度学习框架进行了实现和仿真.对比在不同军事图像类别上的图像生成质量,通过交叉验证证明生成图像与真实图像在深度学习分类器下分类准确率基本一致,验证了所设计网络模型的有效性.     

基于学习字典的图像修复算法

多数图像修复方法主要是利用输入图像中的有效信息来填充待修复区域,可用先验信息有限,自适应性较差.研究提出一种新的基于学习字典的图像修复框架,核心思路是通过大量样本图像和输入图像的有效数据训练学习字典,建立样本图像特征块与原始数据块之间的稀疏关联,并将这种关联作为先验知识来指导图像的修复.该方法既充分利用了样例图像的先验知识,又考虑了待修复图像本身的信息,提高了算法的自适应性.通过对自然图像进行大、小范围图像修复和文字去除实验,文中方法均取得较好的修复效果.     

非成对训练样本条件下的红外图像生成

针对实测红外图像数据集构建难度大、测试制作成本高的问题,本文提出了一种非成对训练样本条件下的生成对抗网络VTIGAN,实现不同场景下可见光到红外（Visible-to-Infrared,VTI）的高质量图像转换。VTIGAN在transformer模块基础引入了一个新的生成器学习图像内容映射关系,通过重组目标风格特性实现图像风格转换,同时使用PathGAN作为判别器强化模型的图像细节信息生成能力,最后联合对抗损失、多层对比损失、风格相似性损失、同一性损失四种损失函数对模型训练过程进行约束。将VTIGAN与其他主流算法在可见光-红外数据集上进行了广泛的对比实验,同时使用峰值信噪比、结构相似度和Frechét inception distance 3个评价指标进行定量评估和主观定性评价。实验结果表明,VTIGAN相比于次优的UGATIT算法在PSNR,SSIM和FID三个指标上分别提升了3.1%,2.8%和11.3%,有效实现了非成对训练样本条件下可见光到红外的图像转换,且对于复杂场景的抗干扰能力更强,生成的红外图像清晰度高、细节特征完整、真实感强。     

边缘对抗结合层次门控卷积的人脸修复研究（英文）

针对目前人脸缺损图像修复存在边缘模糊和失真等问题,提出了一种两阶段层次门控卷积网络（Hierarchical gated convolutional network, HGCN）,并将其与边缘对抗网络相结合用于人脸图像修复。首先,采用边缘对抗网络生成边缘图像。其次,将边缘图、掩模和缺损图像作为输入,训练HGCN的GAN模型以修复缺损人脸图像。HGCN网络采用门控卷积取代传统卷积,并引入了扩张卷积,网络的主体由粗修复模块和精修复模块组成。在粗修复模块中,编码器和解码器网络结构用于粗修复;在精细修复模块中,引入注意力机制来增强特征提取能力,进一步细化修复结果。实验使用Celeba-HQ数据集和NVIDIA不规则掩码数据集作为训练数据集,采用门控卷积网络和注意力机制网络作为实验对比模型,PSNR、 SSIM和MAE作为实验评估指标。实验结果表明,对于缺损区域小于20%的人脸图像,所提出的网络在上述三个指标上优于两种比较网络,而对于缺失区域大于20%的图像,所提出的网络与两种比较方法性能指标接近。在视觉效果方面,所提出的方法在细节上也优于两种对比网络。因而,所提出的网络可以明显提高图像修复效果...     

基于Mask R-CNN的铸件X射线DR图像缺陷检测研究

针对传统的铸件缺陷检测不能对缺陷进行分类分级等问题,提出了一种基于Mask R-CNN的铸件X射线DR图像缺陷检测算法。首先对原始图像进行预处理,采用引导滤波进行图像平滑,平滑图像与原图像进行差分得到差分图像,将差分图像与平滑图像相加运算使图像增强,再利用Labelme进行图像标注,形成训练数据集。送入Mask R-CNN深度学习网络,通过特征提取网络生成建议区域,分类、回归网络生成边界框和掩码,经多次参数调节后得到训练网络模型,最后测试数据集。实验数据结果表明,气泡1～5级的检测率分别为:66.7%,71.4%,77.4%,88.9%,87.5%;疏松1～5级检测率为:62.5%,72.2%,77.1%,83.3%,81.1%。检测结果证明应用Mask R-CNN结合引导滤波增强方法的缺陷检测方法可以较好的实现对铸件X射线DR图像的缺陷检测的分级分类,为工业铸件缺陷检测提供了应用深度学习方法的解决方案。     

基于循环一致性对抗网络的室内火焰图像场景迁移

基于深度学习的视频火灾探测模型的训练依赖于大量的正负样本数据,即火灾视频和带有干扰的场景视频。由于很多室内场合禁止点火,导致该场景下的火灾视频样本不足。本文基于生成对抗网络,将其他相似场景下录制的火焰迁移到指定场景,以此增广限制性场合下的火灾视频数据。文中提出将火焰内核预先植入场景使之具备完整的内容信息,再通过添加烟雾和地面反射等风格信息,完成场景与火焰的融合。该方法克服了现有多模态图像转换方法在图像转换过程中因丢失信息而造成的背景失真问题。同时为减少数据采集工作量,采用循环一致性生成对抗网络以解除训练图像必须严格匹配的限制。实验表明,与现有多模态图像转换相比,本文方法可以保证场景中火焰形态的多样性,迁移后的场景具有较高的视觉真实性,所得结果的FID与LPIPS值最小,分别为119.6和0.134 2。     

强度图像和偏振度图像融合网络的设计

为了弥补强度图像在阴暗处丢失纹理细节的劣势,结合偏振度图像的偏振特性,本文提出了一种强度图像和偏振度图像的融合方法。首先,构建编码器网络提取源图像的语义信息和纹理细节。随后,特征融合网络采用加法策略和残差网络进行图像特征融合。最后,通过解码器网络对融合后的图像特征进行重构获得最终的融合图像。此外,根据源图像和融合图像之间的结构相似性损失和梯度损失,本文提出了一种改进的损失函数来引导融合网络训练。实验结果表明：与其他6种方法中融合效果最好的改进的双通道脉冲耦合神经网络（MD-PCNN）相比,本文方法的客观评价指标平均梯度、信息熵、图像质量、标准差和改进的多尺度结构相似性分别提高了4.3%,1.0%,8.1%,2.5%,3.1%,图像噪声降低了8.8%,且克服了强度图像在阴暗处丢失纹理细节的问题。     

SENet生成对抗网络在图像语义描述中的应用

针对图像语义描述过程中存在的语句描述不够准确及情感色彩涉及较少等问题，提出一种基于SENet生成对抗网络的图像语义描述方法。该方法在生成器模型特征提取阶段增加通道注意力机制，使网络能够更加充分和完整地提取图像中显著区域的特征，将提取后的图像特征输入到编码器中。在原始文本语料库中加入情感语料库且通过自然语言处理生成词向量，将词向量与编码后的图像特征相结合输入到解码器中，通过不断对抗训练生成一段符合该图像所示内容的情感描述语句。最后通过仿真实验与现有方法进行对比，该方法的BLEU指标相比SentiCap方法提高了15%左右，其他相关指标均有提升。在自对比实验中，该方法在CIDEr指标上提高3%左右。该网络能够很好地提取图像特征，使描述图像的语句更加准确，情感色彩更加丰富。     

一种改进的基于形变方法的图像拼接算法

为实现存在形变和曝光差异的图像之间的无缝拼接,提出一种改进的基于形变方法的图像拼接算法.该算法对已经配准的待拼接图像的重叠区域进行图像融合,先利用直方图匹配法使两幅待拼接图像分别生成符合对方曝光程度的图像,然后利用基于水平集的序列图像生成算法得到在两种曝光程度下的融合图像,再结合多分辨率图像拼接算法和动态规划最佳缝合线查找法对得到的融合图像进行拼接,最终获得拼接图像.通过对合成图像和标准数字图像的模拟拼接实验表明,该算法能同时实现图像形变和曝光差异的平滑过渡.     

基于SURF特征的无人机航拍图像拼接方法

设计了一种基于SURF特征的无人机航拍图像拼接方法。该方法首先对无人机航拍得到的图片进行预处理,利用几何校正和辐射校正方法对原始图像进行校正,为后续图像的拼接工作做准备;其次,根据无人机飞行高度、速度以及搭载相机参数信息,使用加速鲁棒性的SURF算法对预处理后的图像进行特征检测;再次,利用无人机飞行状态参数等信息对无人机航拍图像配准算法进行研究和改进,使后续图像拼接结果更加准确可靠;最后,采用一种改进的加权平均融合算法对图像进行拼接。此方法不但可以降低图像融合难度,而且可以消除在拼接过程出现的接缝,生成高清晰、平滑过渡的全景图像。     

基于边缘特征和CNN联合的多视航拍图像配准方法

针对传统卷积神经网络对多视航拍图像进行配准训练时,未能充分利用多视图像间边缘特征之间的联系,为了提取多层图像边缘结构之间的特征信息,提出了一种基于边缘特征和卷积神经网络联合的多视航拍图像配准方法,通过窗口灰度加权算法提取图像的边缘特征图,并将边缘特征图作为卷积神经网络的输入端进行训练,在测试阶段,给出一对新的多视航拍图像,训练后的模型可以预测图像间的空间对应关系。实验结果表明,该算法实现了图像对齐变换,提高了图像配准的精度,优于现有的图像配准方法。     

基于 Mask R CNN 的铸件X射线DR图像缺陷检测研究* .txt

摘要：针对传统的铸件缺陷检测不能对缺陷进行分类分级等问题，提出了一种基于Mask R CNN的铸件X射线DR图像缺陷检测算法。首先对原始图像进行预处理，采用引导滤波进行图像平滑，平滑图像与原图像进行差分得到差分图像，将差分图像与平滑图像相加运算使图像增强，再利用Labelme进行图像标注，形成训练数据集。送入Mask R CNN深度学习网络，通过特征提取网络生成建议区域，分类、回归网络生成边界框和掩码，经多次参数调节后得到训练网络模型，最后测试数据集。实验数据结果表明，气泡1～5级的检测率分别为：667%，714%，774%，889%，875%；疏松1～5级检测率为：625%，722%，771%，833%，811%。检测结果证明应用Mask R CNN结合引导滤波增强方法的缺陷检测方法可以较好的实现对铸件X射线DR图像的缺陷检测的分级分类，为工业铸件缺陷检测提供了应用深度学习方法的解决方案。 .txt     

多尺度交替连接残差网络用于图像去模糊

为更好地解决由于相机抖动、物体之间相对运动等因素引起的图像模糊问题,本文设计了一种多尺度交替连接残差网络用于图像去模糊,采用"从粗到细"的多尺度方式来逐渐恢复出清晰图像。首先,提出一种多尺度残差模块来拓展网络宽度,提取并融合不同尺度之间的特征信息;其次,提出一种基于扩张卷积的交替连接残差模块来逐渐恢复模糊图像的高频信息;最后,利用一层卷积来对特征图进行重建。实验结果表明:本文所提去模糊算法的峰值信噪比以及结构相似度分别为32.313 6 dB和0.942 5,均高于目前先进的图像去模糊技术。从评价指标和主观效果上均可看出本文所提去模糊方法具有更强的图像恢复能力,纹理细节更丰富,能够有效提升图像去模糊效果,具有更强的实用价值。     

轻量级重参数化的遥感图像超分辨率重建网络设计

针对当前基于深度学习的遥感图像超分辨率重建模型部署时对硬件要求较高,本文设计了一种轻量级基于重参数化的残差特征遥感图像超分辨率重建网络。首先,采用重参数化方法设计了一种残差局部特征模块,以有效地提取图像局部特征;同时考虑到图像内部出现的相似特征,设计了一个轻量级的全局上下文模块对图像的相似特征进行关联以提升网络的特征表达能力,并通过调整该模块的通道压缩倍数来减少模型的参数量和改善模型的性能;最后,在上采样模块前使用多层特征融合模块聚合所有的深度特征,以产生更全面的特征表示。在UC Merced遥感数据集上进行测试,该算法在遥感图像3倍超分辨率下的参数量为539 K,峰值信噪比为30.01 dB,结构相似性为0.844 9,模型的推理时间为0.010 s;而HSENet算法的参数量为5 470 K,峰值信噪比为30.00 dB,结构相似性为0.842 0,模型的推理时间为0.059 s。实验结果表明,该算法相比HSENet算法,参数量更少,运行速度较快,且峰值信噪比与结构相似性也有一定的提高。在DIV2K自然图像数据集上进行测试,该算法的峰值信噪比和结构相似性相比其他算法也有一定的优势,...     

在线检测系统中的图像快速拼接技术

针对汽车车架纵梁在线检测系统中序列图像的自动拼接问题,提出了一种稳健、快速、精确的自动拼接算法.利用基于特征的算法提取特征区域,并在待匹配模板中确定候选模块,考察序列图像间的运动特点,将搜索限制在一个小范围内,利用基于像素的方法在此范围内确定候选模块中的真实匹配块.此方法在满足图像拼接精度的前提下,大幅度提高了拼接速度.     

结合梯度特征与色彩一致性的图像修复

针对现有的样本块修复算法置信度值会迅速衰减至0,填充次序不稳定以及易产生误匹配等不足,提出结合梯度特征与色彩一致性的图像修复算法。为获得更为稳定的填充次序,一方面引入表征图像结构和纹理变化特征的平均梯度来计算优先权,以保证优先填充结构部分,并适度延伸纹理信息;另一方面提出基于S型函数的置信度更新准则以抑制置信度项的快速衰减;同时比较匹配块与待修复块的色彩一致性,将其与颜色信息相结合寻找最佳匹配块,以减轻误匹配现象。实验结果表明: 本文算法较对比算法在峰值信噪比上至少提高0.82 dB,证明了本文算法的有效性。结果也显示：提出的算法获得了更加稳定的修复次序,能有效减少误匹配率,使得修复后图像更加满足人眼的视觉需求。     

基于DCIF-GAN的肺部肿瘤PET/CT跨模态医学图像融合

基于生成对抗网络（Generative Adversarial Network,GAN）的医学图像融合是计算机辅助诊断领域的研究热点之一,但是现有基于GAN的融合方法存在训练不稳定,提取图像的局部和全局上下文语义信息能力不足,交互融合程度不够等问题。针对上述问题,本文提出了双耦合交互式融合GAN (Dual-Coupled Interactive Fusion GAN, DCIFGAN)。首先,设计了双生成器双鉴别器GAN,通过权值共享机制实现生成器之间和鉴别器之间的耦合,通过全局自注意力机制实现交互式融合;第二,设计耦合CNN-Transformer的特征提取模块（Coupled CNN-Transformer Feature Extraction Module, CC-TFEM）和特征重构模块（CNN-Transformer Feature Reconstruction Module, C-TFRM）,提升了对同一模态图像内部的局部和全局特征信息提取能力;第三,设计跨模态交互式融合模块（Cross Model Intermodal Fusion Module, CMIFM）,通过跨...