相位一致性指导的全参考全景图像质量评价

目的 全景图像的质量评价和传输、处理过程并不是在同一个空间进行的,传统的评价算法无法准确地反映用户在观察球面场景时产生的真实感受,针对观察空间与处理空间不一致的问题,本文提出一种基于相位一致性的全参考全景图像质量评价模型。方法 将平面图像进行全景加权,使得平面上的特征能准确反映球面空间质量畸变。采用相位一致性互信息的相似度获取参考图像和失真图像的结构相似度。接着,利用相位一致性局部熵的相似度反映参考图像和失真图像的纹理相似度。将两部分相似度融合可得全景图像的客观质量分数。结果 实验在全景质量评价数据集OIQA（omnidirectional image quality assessment）上进行,在原始图像中引入4种不同类型的失真,将提出的算法与6种主流算法进行性能对比,比较了基于相位信息的一致性互信息和一致性局部熵,以及评价标准依据4项指标。实验结果表明,相比于现有的6种全景图像质量评估算法,该算法在PLCC（Pearson linear correlation coefficient）和SRCC（Spearman rank order correlation coefficient）指标上比WS-SSIM（weighted-to-spherically-uniform structural similarity）算法高出0.4左右,并且在RMSE（root of mean square error）上低0.9左右,4项指标最优,能够获得更好的拟合效果。结论 本文算法解决了观察空间和映射空间不一致的问题,并且融合了基于人眼感知的多尺度互信息相似度和局部熵相似度,获得与人眼感知更为一致的客观分数,评价效果更为准确,更加符合人眼视觉特征。     

多层感知分解的全参考图像质量评估

目的 图像质量评估是计算机视觉、图像处理等领域的基础研究课题之一,传统评估方法常基于图像低层视觉特征而忽略了高层语义信息,这也在一定程度上影响了客观指标和主观视觉质量的一致性。近年来,感知损失被广泛应用于图像风格化、图像复原等研究中,通过使用预训练的深度网络对图像进行多层语义分解,在相关问题上取得了较好的效果。受感知损失启发,提出一种多层感知分解的全参考图像质量评估方法。方法 首先使用预训练的深度网络对图像进行多层语义分解,获取多层特征图,再计算失真图像与参考图像之间的相似度,以及它们的不同层级特征图之间的相似度,最终得出兼顾了高层语义信息的图像质量分数。结果 针对传统方法PSNR（peak signal-to-noise ratio）、SSIM（structure similarity）、MS-SSIM（multi-scale structure similarity）及FSIM（feature similarity）进行实验,结果表明,本文方法能够有效提升传统图像质量评估方法的性能,在SRCC（Spearman rank order correlation coefficient）、KRCC（Kendall rank order correlation coefficient）、PLCC（Pearson linear correlation coefficient）和RMSE（root mean squared error）客观指标上均有相应提升。通过使用本文框架,PSNR、SSIM、MS-SSIM、FSIM方法在TID2013数据库上SRCC指标分别获得0.02、0.07、0.06和0.04的提升。结论 本文提出的一种多层感知分解的全参考图像质量评估方法,结合传统方法与深度学习方法,兼顾了图像低层视觉特征和高层语义信息,从而有效地提升了传统方法的评估性能,使客观评估结果更加符合主观视觉感受,同时,本文提出的评估框架能够适用于多种传统方法的性能提升。     

端到端双通道特征重标定DenseNet图像分类

目的 针对密集连接卷积神经网络（DenseNet）没有充分考虑通道特征相关性以及层间特征相关性的缺点,本文结合软注意力机制提出了端到端双通道特征重标定密集连接卷积神经网络。方法 提出的网络同时实现了DenseNet网络的通道特征重标定与层间特征重标定。给出了DenseNet网络通道特征重标定与层间特征重标定方法;构建了端到端双通道特征重标定密集连接卷积神经网络,该网络每个卷积层的输出特征图经过两个通道分别完成通道特征重标定以及层间特征重标定,再进行两种重标定后特征图的融合。结果 为了验证本文方法在不同图像分类数据集上的有效性和适应性,在图像分类数据集CIFAR-10/100以及人脸年龄数据集MORPH、Adience上进行了实验,提高了图像分类准确率,并分析了模型的参数量、训练及测试时长,验证了本文方法的实用性。与DenseNet网络相比,40层及64层双通道特征重标定密集连接卷积神经网络DFR-DenseNet（dual feature reweight DenseNet）,在CIFAR-10数据集上,参数量仅分别增加1.87%、1.23%,错误率分别降低了12%、9.11%,在CIFAR-100数据集上,错误率分别降低了5.56%、5.41%;与121层DFR-DenseNet网络相比,在MORPH数据集上,平均绝对误差（MAE）值降低了7.33%,在Adience数据集上,年龄组估计准确率提高了2%;与多级特征重标定密集连接卷积神经网络MFR-DenseNet（multiple feature reweight DenseNet）相比,DFR-DenseNet网络参数量减少了一半,测试耗时约缩短为MFR-DenseNet的61%。结论 实验结果表明本文端到端双通道特征重标定密集连接卷积神经网络能够增强网络的学习能力,提高图像分类的准确率,并对不同图像分类数据集具有一定的适应性、实用性。     

基于特征金字塔网络和密集网络的肺部CT图像超分辨率重建

针对肺部计算机断层扫描（CT）图像的超分辨率（SR）重建中需要加大对肺结节的关注度、满足重建后的特征具有客观存在性等问题,提出一种基于特征金字塔网络（FPN）和密集网络的肺部图像SR重建方法。首先,在特征提取层利用FPN提取特征;其次,在特征映射层设计基于残差网络的局部结构,再用特殊的密集网络连接此类局部结构;再次,在特征重建层利用卷积神经网络（CNN）将不同深度的卷积层逐渐降为图像大小;最后,利用残差网络融合初始低分辨率（LR）特征与重建的高分辨率（HR）特征,形成最终的SR图像。对比实验显示,FPN中2次特征融合和特征映射中5个局部结构连接的深度学习网络效果更佳。所提出的网络相较于超分辨率卷积神经网络（SRCNN）等经典网络重建SR图像的峰值信噪比（PSNR）更高,并且可以获得更好的视觉质量。     

基于并行小规模卷积神经网络的图像质量评价

图像质量客观评价广泛应用在图像处理任务中,参考深度学习技术的研究成果,提出了一种基于并行小规模卷积神经网络的无参考图像质量评估算法。卷积操作和并行的多尺度输入能学习到丰富和细微的图像失真特征,首先利用高斯图像金字塔获取不同尺度的失真图像做为4路小规模单层卷积神经网络的输入,经过卷积和池化处理后,输出4路特征矢量,把学习到的特征矢量融合后,通过全连接回归映射为图像质量预测分数。参数优化分2个阶段完成,提高了模型精度。实验测试结果表明,设计的网络模型简单有效,提出的算法性能高于当前主流算法,具有很好的稳定性和较强的泛化能力。      

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能,参考先进的深度生成对抗网络（GAN）研究成果,提出一种基于增强型对抗学习的无参考图像质量评价算法,即通过改进损失函数、网络模型结构来增强对抗学习强度,输出更可靠的模拟“参考图”,进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先,利用数据集中失真的图像和未失真的原图像作为输入,从而基于增强对抗学习来训练网络模型;然后,利用该模型输出待测图像的模拟仿真图,提取仿真图的深度卷积特征;最后,将仿真图和待测失真图的卷积特征相融合,并输入到训练好的图像质量评价回归网络,输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明,所提算法在图像质量上的总体客观评价性能优于当前的主流算法,与人的主观评价表现出的性能相一致。     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能，参考先进的深度生成对抗网络（GAN）研究成果，提出一种基于增强型对抗学习的无参考图像质量评价算法，即通过改进损失函数、网络模型结构来增强对抗学习强度，输出更可靠的模拟“参考图”，进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先，利用数据集中失真的图像和未失真的原图像作为输入，从而基于增强对抗学习来训练网络模型；然后，利用该模型输出待测图像的模拟仿真图，提取仿真图的深度卷积特征；最后，将仿真图和待测失真图的卷积特征相融合，并输入到训练好的图像质量评价回归网络，输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明，所提算法在图像质量上的总体客观评价性能优于当前的主流算法，与人的主观评价表现出的性能相一致。     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

基于高低维度特征融合的双通道卷积神经网络

为了充分利用图像中所隐藏的特征信息,提出将低级维度特征融合在全连接层,构建出融合了高低级维度特征的双通道卷积神经网络。首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,使提取得到的初级和高级特征图在全连接层上进行融合,融合后的数据输入到Softmax分类器进行分类。不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本文模型获得了较高的分类准确率。     

航拍图像质量评价及其在图像增强中的应用

无人机在航拍过程中,由于受太阳光及大气环境、无人机姿态变化等因素干扰,导致采集图像出现失真,对后续信息处理造成不利影响。针对上述问题,提出了一种基于卷积神经网络的无参考航拍图像质量评价方法,并将其应用于航拍图像增强处理中。首先,设计了一种多层卷积神经网络。网络包括5层卷积层、5层池化层和3层全连接层;其次,进行卷积层和池化层多层堆叠学习图像特征信息。最后,将学习到的特征通过三层全连接层的回归与分类得到航拍图像质量分数。在自建的失真航拍图像库中进行实验表明,所提方法预测出的航拍图像质量分数与人眼视觉感知具有较高一致性,且在航拍图像增强领域应用效果较好。     

改进的基于通道注意力反馈网络的遥感图像融合算法

针对前馈卷积神经网络（CNN）感受野较小、获取上下文信息不足、其特征提取卷积层只能提取到浅层特征的问题,提出改进的基于通道注意力反馈网络的遥感图像融合算法。首先,通过两层卷积层分别初步提取全色（PAN）图像的细节特征和低分辨率多光谱（LMS）图像的光谱特征;其次,将提取的特征和网络反馈的深层特征相结合,并将其输入到通道注意力机制模块中以得到初步精细化特征;然后,经过反馈模块生成表征能力更强的深层特征;最后,将生成的深层特征经过含有反卷积的重建层,从而得到高分辨率多光谱（HMS）图像。在三个不同卫星图像数据集上的实验结果表明：所提算法能很好地提取PAN图像的细节特征和LMS图像的光谱特征,同时其恢复出来的HMS图像在主观视觉上更加清晰,并且在客观评价指标上优于对比算法,同时在均方根误差（RMSE）指标上,所提算法比传统算法降低了50%以上,比前馈卷积神经网络算法降低了10%以上。     

基于双通道卷积神经网络的图像单失真类型判定方法

针对图像单失真类型判定算法对部分失真类型判定精度低的问题,提出了一种基于双通道卷积神经网络（CNN）的图像单失真类型判定方法。首先,对图像进行裁剪以得到固定尺寸的图像块,并对图像块进行Haar小波变换从而得到高频信息图;然后,将图像块与对应的高频信息图分别输入到不同通道卷积层中以提取深层特征图后,对深层特征进行融合并输入到全连接层中;最后,将全连接层最后一层的值输入到Softmax函数分类器中得到图像单失真类型概率分布。LIVE数据库上的实验结果表明,所提方法的图像单失真类型判定准确率达到了95.21%,并且对JPEG2000和快速衰落失真这两种失真类型的判定精度相较用于对比的其他五种图像单失真类型判定方法分别提升了至少6.69个百分点和2.46个百分点。所提方法能够准确地判定出图像中存在的单失真类型。     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

自适应语义感知网络的盲图像质量评价

目的 盲图像质量评价（blind image quality assessment，BIQA）在图像质量控制领域具有重要的实际意义。虽然目前针对自然失真图像的盲图像质量评价取得了合理的结果，但评价准确性仍有待进一步提升。方法 提出一种自适应语义感知网络（self-adaptive semantic awareness network，SSA-Net）的盲图像质量评价方法，通过理解失真图像的内容和感知图像失真的类型来提高预测的准确性。首先，利用深度卷积神经网络（deep convolutional neuralnetwork，DCNN）获取各个阶段的语义特征，并提出多头位置注意力（multi-head position attention，MPA）模块通过聚合特征图的长距离语义信息来加强对图像内容的理解。接着，提出基于多尺度内核的自适应特征感知（self-adaptivefeature awareness，SFA）模块感知图像的失真类型，并结合图像内容来捕获图像的全局失真和局部失真情况。最后，提出多级监督回归（multi-level supervision regression，MSR）网络通过利用低层次的语义特征辅助高层次的语义特征得到预测分数。结果 本文方法在7个数据库上与11种不同方法进行了比较，在LIVEC（LIVE in the Wild ImageQuality Challenge）、BID（blurred image database）、KonIQ-10k（Konstanz authentic image quality 10k database）和SPAQ（smartphone photography attribute and quality）4个自然失真图像数据库中的斯皮尔曼等级相关系数（Spearman rankorder correlation coefficient，SRCC）值分别为0.867、0.877、0.913和0.915，获得了所有方法中最好的性能结果。同时在两个人工失真图像数据库中获得了排名前2的SRCC值。实验结果表明，与其他先进方法相比，本文方法在自然失真图像质量评价数据库上的表现更为优异。结论 本文方法通过结合图像内容理解与不同失真类型感知，能更好地适应自然图像的失真，提高评价准确性。     

一种复合型手势识别方法研究

针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法。通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet（Squeeze-and-Excitation Networks）构成的第一通道提取全局特征,然后使用RBNet（Residual Block Networks）构成的第二通道提取局部特征,并将全局特征和局部特征进行通道维度上的融合。同时,利用动态衰减的学习率训练双通道网络模型。与其他卷积神经网络模型的对比实验结果表明,提出的复合型手势识别方法的手势识别率高,参数数量少,适用于不同手势图像数据集的识别。     

结合亮度感知与密集卷积的红外与可见光图像融合

为解决弱光照条件下红外与可见光图像融合质量差的问题,提出一种结合亮度感知与密集卷积的红外与可见光图像融合方法（brightness perception and dense convolution,BPD-Fusion）。首先,对可见光图像进行亮度计算,得到亮度权重并对其暗区域进行亮度增强;然后,将增强的可见光图像与红外图像级联输入生成器,在其Conv1阶段后嵌入密集卷积以获取更丰富的图像特征;最后,为了达到较强的图像重构与生成能力,建立多损失函数构建端到端的图像融合过程。在TNO和KAIST数据集上进行融合质量测评:主观评价上,提出的方法视觉效果良好;客观评价上,差异相关和、信息熵、互信息和平均梯度指标均优于对比方法。     

基于金字塔式双通道卷积神经网络的深度图像超分辨率重建

针对深度图像分辨率低的问题,构建了一种金字塔式双通道深度图像超分辨率卷积神经网络。在金字塔的每一级,通过两个通道对低分辨率深度图像提取不同的有效特征,通道1为增强型残差结构,可以将丰富的图像细节传递到后面的图层,通道2将不同卷积层提取的特征连接起来作为此通道最后一层卷积层的输入,有益于局部特征和全局特征的结合。接着,通过将不同通道融合后的特征输入亚像素卷积实现超分辨率重建。实验结果表明,相比其他方法,该方法得到的超分辨率图像缓解了边缘失真和伪影问题,有较好的视觉效果。     

基于双分支条件生成对抗网络的非均匀图像去雾

雾天拍摄的图片存在颜色失真、细节模糊等问题，会对图片的质量造成一定影响。许多基于深度学习的方法虽然在去除合成的均匀雾霾图片上具有很好的效果，但在最新的NTIRE挑战赛中引入的真实非均匀去雾数据集上效果较差。主要原因是非均匀雾霾的分布较复杂，纹理细节在去雾过程中很容易丢失，并且该数据集的样本数量有限，容易产生过拟合。因此提出了一种双分支生成器的条件生成对抗网络（DB-CGAN）。其中，一条分支以U-net为基础架构，通过“加强-整合-减去”的策略在解码器中加入增强模块，从而增强解码器中特征的恢复，并使用密集特征融合为非相邻层级建立足够的连接。另一分支使用多层残差的结构来加快网络的训练，并串联大量的通道注意力模块，以最大限度地提取更多的高频细节特征。最后，使用一个简单有效的融合子网来融合两个分支。在实验中，所提模型在评价指标峰值信噪比（PSNR）和结构相似性（SSIM）上明显优于先前的暗通道先验（DCP）、一体化去雾网络（AODNet）、门控上下文聚合网络（GCANet）、多尺度增强去雾网络（MSBDN）去雾模型。实验结果表明，所提出的网络能够在非均匀去雾数据集上具有更好的性能。     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

基于加权密集连接卷积网络的深度强化学习方法

针对深度强化学习中卷积神经网络（CNN）层数过深导致的梯度消失问题，提出一种将密集连接卷积网络应用于强化学习的方法。首先，利用密集连接卷积网络中的跨层连接结构进行图像特征的有效提取；然后，在密集连接卷积网络中加入权重系数，加权密集连接卷积网络中的每一层都接收到前面几层产生的所有特征图，且之前所有层在跨层连接中被赋予不同的初始权重；最后，在训练中动态调整每层的权重，从而更加有效地提取特征。与常规深度强化学习方法相比，在GridWorld仿真实验中，在相同训练步数内的平均奖励值提升了85.67%；在FlappyBird仿真中，平均奖励值提升了55.05%。实验结果表明所提方法能在不同难度的游戏仿真实验中获得更好的性能。