基于动态感受野的自适应多尺度信息融合的图像转换

为提高图像转换模型生成图像的质量,该文针对转换模型中的生成器进行改进,同时探究多样化的图像转换,拓展转换模型的生成能力.在生成器的改进方面,利用选择性(卷积)核模块(SKBlock)的动态感受野机制获取和融合生成器中每个上采样特征的多尺度信息,借助特征的多尺度信息和动态感受野构造选择性(卷积)核的生成式对抗网络(SK-GAN).与传统生成器相比,SK-GAN以动态感受野获取多尺度信息的生成结构提高了生成图像的质量.在多样化图像转换方面,基于SK-GAN在草图合成真实图像任务提出带引导图像的选择性(卷积)核的生成式对抗网络(GSK-GAN).该模型利用引导图像指导源图像的转换,通过引导图像编码器提取引导图像特征,然后由参数生成器(PG)和特征转换层(FT)将引导图像特征的信息传递至生成器.此外,该文还提出双分支引导图像编码器以提高转换模型的编辑能力,以及利用引导图像的隐变量分布实现随机样式的图像生成.实验表明,改进后的生成器有助于提高生成图像质量,SK-GAN在多个数据集中获得合理的生成结果.GSK-GAN不仅保证了生成图像的质量,还能生成更多样式的图像.     

基于非经典感受野多尺度机制的图像分析方法

神经生理学研究表明,生物视觉系统比机器视觉系统在视觉信息上更加高效,这种信息处理的高效性归功于人类视觉神经中存在的多层神经网络。作为人类视觉系统的初级处理阶段,神经节细胞非经典感受野的尺寸大小可以根据外界刺激的性质进行自动调节,这种机制利用在图像处理技术上能够达到多尺度图像分析的目的。文中提出一个基于非经典感受野的多尺度图像分析方法,通过非经典感受野的自动调整机制,保留了图像的关键信息,减少了视觉系统进一步阶段的冗余信息。并通过与N-cut算法的对比和轮廓检测的实验表明这种多尺度规模图像分析模型能够给后期的图像处理任务带来一定程度的提升。     

基于感受野模型的图像融合算法研究

现实世界中最优的图像融合系统莫过于生物视觉系统.如果能够了解生物视觉的基本原理,建立其数学模型,并能应用于多传感器图像融合实践中,将会对多传感器图像融合技术的发展有很大促进作用.本文以人类视觉的生物机理和感受野的数学模型为基础,提出了一种新颖的基于人眼视觉感受野模型的图像融合算法.这种算法非常适合融合两幅灰度差异较大的异质传感器图像,融合图像在保留两幅原图像中有用信息的同时,还对图像间的差异进行了增强,有助于提高观察者识别目标的速度和准确性.另外,该算法还有一定的去噪功能,计算量很小,可满足实时性要求.     

动态感受野特征选择去雾网络

基于深度学习的去雾模型大多在网络参数固定后,感受野也就随之固定。这导致去雾网络无法针对每个具体的场景采用最优的模式进行去雾,从而造成结果中存在模糊和失真。针对这些问题,文中提出动态感受野特征选择去雾网络。该网络以带有空洞卷积的特征注意力空洞模块为基础组件,并行使用多个空洞率不同的特征注意力空洞模块来提取多尺度特征,并进行动态特征融合,构成动态感受野模块。文中将多个动态感受野模块搭配残差连接组成深度网络,对不同层次的特征进行动态混合,最终解码得到去雾图像。实验结果表明,文中所提算法对室内和室外的合成雾图以及真实含雾图像均具有良好的去雾效果,可以生成清晰、自然的去雾图像。     

基于高频信息增强的多感受野Xception网络框架

随着DeepFake技术的迅速发展,DeepFake检测技术应运而生,DeepFake伪造所产生的伪影痕迹大多产生在图像的高频区域。针对以上问题,受图像增强的技术的启发,将拉普拉斯算子应用到DeepFake图像上,从而达到突出高频信息的目的。同时,针对现有的DeepFake检测技术大多采用单一感受野的卷积网络,提出了多感受野Xception网络,同时将上述工作融合提出了一套基于高频信息增强的多感受野Xception网络框架。实验证明,提出的整套方法检测能力高于经典方法且具有较好的鲁棒性。     

结合信息感知与多尺度特征的红外与可见光图像融合

现有的基于深度学习图像融合算法无法同时满足融合效果与运算效率,且在建模过程中大部分采用基于单一尺度的融合策略,无法很好地提取源图像中上下文信息。为此本文提出了一种基于信息感知与多尺度特征结合的端到端图像融合网络。该网络由编码器、融合策略和解码器组成。具体来说,通过编码器提取红外与可见光图像的多尺度特征,并设计特征增强融合模块来融合多个尺度的不同模态特征,最后设计了一个轻量级的解码器将不同尺度的低级细节与高级语义信息结合起来。此外,利用源图像的信息熵构造一个信息感知损失函数来指导融合网络的训练,从而生成具有丰富信息的融合图像。在TNO、MSRS数据集上对提出的融合框架进行了评估实验。结果表明：与现有的融合方法相比,该网络具有较高计算效率;同时在主观视觉评估和客观指标评价上都优于其它方法。     

基于多尺度优化和动态特征融合的图像去模糊研究

目前采用U-Net结构的去模糊算法存在细节损失、图像质量欠佳等问题,因此对U-Net进行改进,提出一种基于多尺度优化和动态特征融合的图像去模糊方法。首先针对细节损失,提出一种精简且有效的多尺度残差注意力模块(Multi-Scale Residual Module, MSRM),通过增加特征尺度多样性来提取更精细的图像特征。此外,为了将更有利的特征传递到解码部分,在跳跃连接处设计动态特征融合模块(Dynamic Feature Fusion Module, DFFM),采用注意力加权的方式选择性融合不同阶段的编码特征。该算法采用多尺度内容损失和多尺度高频信息损失进行约束训练。在GoPro和RealBlur数据集上的实验结果表明,这种方法能有效改善图像质量,复原更丰富的细节信息。与现有去模糊算法相比,本文算法在主观视觉和客观评价等方面均具有一定优势。     

基于多尺度图像融合信息的沥青路面三维成像方法

基于图像处理的沥青路面纹理三维重建技术具有快速、全面、分辨率高等优点,针对沥青路面颜色集中、特征点不明显导致三维纹理检测精度低的问题,提出一种基于多尺度图像融合的双目视觉技术。通过加权最小二乘滤波实现图像多尺度分解,利用跨尺度聚合模型融合多尺度图像信息进行沥青路面三维重建,提高了双目重建的精度。通过区域纹理参数,将所提方法与激光扫描仪进行了比较。结果表明,所提方法的区域纹理参数结果与激光扫描仪的结果比较接近。     

基于MobileNet的多尺度感受野特征融合算法

针对轻量化网络在目标检测中检测精度低的问题,提出了一种以MobileNet为基础网络的轻量级目标检测网络MobileNet-RFB-ECA。针对目标多尺度特性,采用基于轻量化扩充感受野模块(RFB)的特征金字塔网络结构增强网络对目标多尺度特性的适应性。与此同时,针对复杂注意力模块导致计算量大的问题,在主干特征提取网络添加有效通道注意力机制模块(ECA),提高卷积神经网络的性能。实验结果表明,相较于MobileNet,所提MobileNet-RFB-ECA在PASCAL VOC数据集和KITTI数据集上检测精度分别提高了4.2个百分点和15.4个百分点,模型大小分别为50.3 MB和48.5 MB,平均检测速度为34 frame·s^-1。     

基于变分的多尺度遥感图像融合算法

全色图像与多光谱图像融合时,忽略了上采样的重要性和通道间细节的差异性.针对前者,利用不同尺度下自相似块,估计出低分辨率图像丢失信息,从而修改了图像上采样的策略,并以此构造目标函数的保真项;针对后者,利用全色图像和光谱图像梯度域结构相似性,提出局部加权动态稀疏约束,构造目标函数的正则项.本文基于变分法理论,构造了新的目标函数,并提出了多尺度迭代融合框架,通过多次迭代逐步提高融合图像的分辨率,每一层的融合结果更加准确,从而提高最终的融合精度.本文算法与Brovey等成分替代算法、P+XS等变分算法、MTF_GLP等多分辨分析算法进行比较.实验结果表明,本算法的融合结果具有良好的视觉效果,且在客观评价指标上比所有对比算法的最优值平均值均有提高.     

空间金字塔与局部感受野相结合的相关熵极限学习机

针对空间金字塔词袋模型中空间特征分布信息利用效率低,各类特征融合不充分的问题,该文提出空间金字塔与局部感受野相结合的相关熵极限学习机(SR-CELM).在特征提取部分,利用多尺度局部感受野对生成的多层级的字典特征分布图进行卷积,并引入局部位置特征和全局轮廓特征.在特征分类部分,提出一种新的网络以融合各部分特征.同时在传...     

基于多通道多尺度卷积神经网络的单幅图像去雨方法

雨天等恶劣天气会严重影响到图像成像质量,从而影响到视觉处理算法的性能。为了改善雨天图像的成像质量,该文提出一种基于多通道多尺度卷积神经网络的去雨算法,建立了多通道多尺度卷积神经网络结构来提取雨线特征。首先利用小波阈值引导的双边滤波将有雨图像进行分解,得到高频雨线图像和轮廓保持度高的低频背景图像。然后为了使图像高频部分的雨线信息更为明显,减少雨线特征学习时高频图像中的背景误判,将得到的高频雨线图像再一次通过滤波器得到减弱背景信息同时增强雨线信息的到更高频雨线图像。其次针对低频背景图像上也残留了大量雨痕,该文提出将低频背景图像和更高频雨线图像一起送入卷积神经网络进行特征学习,其中对图像提取的是多尺度特征信息,最后得到雨线去除更彻底的复原图像。同时在构造网络模型时利用空洞卷积代替标准卷积来提取图像的特征信息,得到更丰富的图像特征,提高了算法的去雨性能。从实验结果可以看出去雨之后的图像清晰,细节保持度较高。     

基于边缘信息的图像融合算法研究

为了得到全局色调一致的无缝镶嵌融合图像，文章提出了一种基于边缘信息的图像融合方法。该方法根据融合区域的边缘强度信息，对融合区域进行图像增强处理，进而选取一组区域特征进行自适应动态加权，实现了不同图像在选定区域范围内的融合运算，使得被合成的图像完整、自然。通过两幅图像的融合实验，证明了该算法在边缘上保持良好的视觉效果。     

基于对比度增强与多尺度边缘保持分解的红外与可见光图像融合

在低照度环境下拍摄的可见光图像可视性较差,若将其与红外图像直接融合会导致融合结果清晰度不理想。针对这一问题,该文提出一种基于对比度增强与多尺度边缘保持分解的图像融合方法。首先,在融合之前采用基于导向滤波的自适应增强算法提高可见光图像中暗区内容的可视性。其次,通过一种尺度感知边缘保持滤波器对输入图像进行多尺度分解。再次,应用频率调谐滤波构造显著图。最后,利用由导向滤波生成的权重图重构融合图像。实验结果表明,所提方法不仅可以使细节信息更突出,而且还能够有效地抑制伪影。     

基于改进循环生成式对抗网络的图像风格迁移

图像间的风格迁移是一类将图片在不同领域进行转换的方法。随着生成式对抗网络在深度学习中的快速发展,其在图像风格迁移领域中的应用被日益关注。但经典算法存在配对训练数据较难获取,生成图片效果差的缺点。该文提出一种改进循环生成式对抗网络(CycleGAN++),取消了环形网络,并在图像生成阶段将目标域与源域的先验信息与相应图片进行纵深级联;优化了损失函数,采用分类损失代替循环一致损失,实现了不依赖训练数据映射的图像风格迁移。采用CelebA和Cityscapes数据集进行实验评测,结果表明在亚马逊劳务平台感知研究(AMT perceptual studies)与全卷积网络得分(FCN score)两个经典测试指标中,该文算法比CycleGAN, IcGAN, CoGAN, DIAT等经典算法取得了更高的精度。

     

基于多分辨率局部结构化信息熵的鲁棒多模图像融合算法

目前的图像融合算法不能区分噪声和视觉上有意义的图像特征,往往将噪声当作有意义的信息传输到融合结果中。针对这一问题,该文基于复数小波变换(CWT),将图像的结构化特征表现在不同尺度和方向上,定义了两种结构化信息熵,表达局部图像结构化程度：带内结构化信息熵,以及考虑带间特征相关性的结构化信息熵。利用定义的两种测度,在图像融合之前对输入加权处理,使视觉上有意义的信息在融合结果中自适应地增强,而噪声自适应地抑制。通过对融合算法仿真结果的主观比较和客观性能分析,展示了本文提出的图像融合算法的优越性。     

基于人眼视觉特性的自适应的图像增强算法的研究

本文提出了一种基于人眼视觉特性的自适应的图像增强算法,这种算法是对基于ＬＩＰ模型的Ｌｅｅ图像增强算法的改进。该算法能够有效地增强整个图像的对比度,增大图像的动态范围,并且依据人眼视觉特性,增强图像的边缘而不明显地增大噪声。这种算法容易实现,适用于实时系统的应用。几种算法实验结果的分析和分析,表明了这种算法的有效性。     

Multi-scale attention guided network for end-to-end face alignment and recognition

Attention modules embedded in deep networks mediate the selection of informative regions for object recognition. In addition, the combination of features learned from different branches of a network can enhance the discriminative power of these features. However, fusing features with inconsistent scales is a less-studied problem. In this paper, we first propose a multi-scale channel attention network with an adaptive feature fusion strategy (MSCAN-AFF) for face recognition (FR), which fuses the relevant feature channels and improves the network’s representational power. In FR, face alignment is performed independently prior to recognition, which requires the efficient localization of facial landmarks, which might be unavailable in uncontrolled scenarios such as low-resolution and occlusion. Therefore, we propose utilizing our MSCAN-AFF to guide the Spatial Transformer Network (MSCAN-STN) to align feature maps learned from an unaligned training set in an end-to-end manner. Experiments on benchmark datasets demonstrate the effectiveness of our proposed MSCAN-AFF and MSCAN-STN.