基于深度学习的图像超分辨率重建优化研究

文章以图像超分辨率重建为研究对象,围绕深度学习方法中的超分辨率卷积神经网络（Super ResolutionConvolutionalNetwork,SRCNN）展开研究,同时引入基于正则化的优化方法。文章首先对SRCNN的基本框架进行深入研究,其次提出一种正则化优化方法,最后采用DIV2K数据集验证优化方法在图像重建任务中的有效性。实验结果表明,采用正则化优化的SRCNN在保真度和结构相似性方面均取得了显著提升。     

面向云覆盖的遥感影像时空融合深度学习方法及其应用

遥感影像时空融合是一种获取高时空分辨率数据的有效手段,但现有方法在选定基础数据对时要求预测时间低分辨率数据无云覆盖影响,这极大地限制了其应用潜力。为此,提出一种面向云覆盖的遥感影像时空融合方法,即在深度学习框架下,构建重建子网络恢复预测时刻云下缺失信息,将重建后的低分辨率影像与前后相邻时刻高、低分辨率数据对构建时空融合子网络,得到最终的融合影像。以安徽淮南采煤沉陷区Landsat和MODIS反射率数据为例,对预测时刻MODIS数据模拟不同缺失率的云污染;利用所提方法进行时空融合实验,进而比较深度学习与传统方法融合数据对水体信息的提取效果。结果表明：该方法融合结果各波段的RMSE和SSIM均取得较好的定量评价效果,且总体优于传统方法;沉陷区水体提取实验表明本方法水体提取结果更加接近真实观测影像。因此,该方法降低了时空融合对数据的限制要求,且具有更高的融合精度和更有效的应用性。     

基于深度学习特征字典的单帧图像超分辨率重建

在基于字典的单帧图像超分辨率重建算法中,依赖人工浅层特征设计的字典表达图像特征能力有限。为此,提出基于深度学习特征字典的超分辨重建方法。该算法首先利用深度网络进行高、低分辨率训练样本图像深层次特征学习;然后,在稀疏字典超分辨框架下联合训练特征字典;最后,输入单帧低分辨率图像并利用该字典实现超分辨率重建。理论分析表明,引入深度网络提取图像深层次特征并用于字典训练,对低分辨率图像的高频信息补充更加有利。实验证明,与双三次插值以及基于一般人工特征字典的超分辨重建算法相比,本文算法的主观视觉和客观评价指标均高于对比算法。     

基于深度学习的单幅图像超分辨率重建综述

单幅图像超分辨率SISR重建指从单幅低分辨率图像恢复出高分辨率图像.深度学习方法越来越多地用于图像超分辨重建领域,由于深度网络模型可以自主学习低分辨率图像到高分辨率图像之间的映射关系,与传统方法相比在该领域展现出了更好的重建效果,因而基于深度学习的方法已经成为目前图像超分辨率重建领域的主流方向.围绕现有的超分辨深度网络...     

多云雾地区高时空分辨率植被覆盖度构建方法研究

针对多云雾地区高时空分辨率数据缺乏现状,提出了一套区域尺度高时空分辨率植被覆盖度数据构建方法.首先,通过时空适应反射率融合模型(STARFM)有效地将TM 的较高空间分辨率与MODIS的高时间分辨率融合在一起,构建了研究区植被生长峰值阶段的NDVI数据;然后,以植被生长峰值阶段的NDVI为输入,基于地表覆被类型,综合应用等密度和非密度亚像元模型对研究区的植被覆盖度进行估算.结果表明:①即使数据源存在大量的云雾,且存在一定的时相差异,研究区植被覆盖度的估算结果过渡自然,不存在明显的不接边效应;②以植被生长峰值阶段的NDVI数据为输入进行植被覆盖度估算,有效拉开了同一地表覆被类型不同覆盖度像元的NDVI梯度,提高了亚像元估算模型对输入数据的抗扰动性;③基于地表覆被类型,应用亚像元混合模型,能够提高植被覆盖度的估算精度.经野外实测数据验证,总体约８５％的估算精度表明,针对高时空分辨率遥感数据缺乏的多云雾区域,本研究提出的方法能够实现区域尺度植被覆盖度数据的构建.     

基于SRCNN的条形码图像超分辨率重建

针对像素较低的摄像头对条形码进行拍摄识别时,需要靠近条形码并保持较久的时间,且存在一定的扫描结果错误率等问题,利用卷积神经网络技术SRCNN对单幅低清晰度条形码图片进行超分辨率重建,将低分辨率图片转换为高分辨率图片。通过实验验证,SRCNN相对于传统超分方法,在图像处理和评价指标方面取得了更好的效果,实现了条形码图像的超分辨率重建,获得了更为清晰的图片。     

结合深度学习的单幅遥感图像超分辨率重建

目的 克服传统遥感图像超分辨率重建方法依赖同一场景多时相图像序列且需预先配准等缺点,解决学习法中训练效率低和过拟合问题,同时削弱插值操作后的块效应,增强单幅遥感图像超分辨率重建效果。方法 首先构造基于四层卷积的深度神经网络结构,并在结构中前三层卷积后添加参数修正线性单元层和局部响应归一化层进行优化,经过训练得到遥感图像超分辨率重建模型,其次,对多波段遥感图像的亮度空间进行双三次插值,然后使用该模型对插值结果进行重建,并在亮度空间重建结果指导下,使用联合双边滤波来提升其色度空间边缘细节。结果 应用该方法对实验遥感图像进行2倍、3倍、4倍重建时在无参考指标上均优于对比方法,平均清晰度提升约2.5个单位,同时取得了较好的全参考评价结果,在2倍重建时峰值信噪比较传统插值法提升了约2 dB,且平均训练效率较其他学习法提升3倍以上,所得遥感图像重建结果在目视效果上更加细致、自然。结论 实验结果表明,本文设计的网络抗过拟合能力强、训练效率高,重建时针对单幅遥感图像,无需依赖图像序列且不受波段影响,重建结果细节表现较好,具有较强的普适性。     

基于深度学习的水下图像超分辨率重建方法

由于水体本身的特性以及水中悬浮颗粒对光的吸收和散射作用,水下图像普遍存在信噪比（SNR）低、分辨率低等一系列问题,但大部分方法传统处理方法包含图像增强、复原及重建,都依赖退化模型,并存在算法病态性问题。为进一步提高水下图像恢复算法的效果和效率,提出了一种改进的基于深度卷积神经网络的图像超分辨率重建方法。该方法网络中引入了改良的密集块结构（IDB）,能在有效解决深度卷积神经网络梯度弥散问题的同时提高训练速度。该网络对经过配准的退化前后的水下图像进行训练,得到水下低分辨率图像和高分辨率图像之间的一个映射关系。实验结果表明,在基于自建的水下图像作为训练集上,较卷积神经网络的单帧图像超分辨率重建算法（SRCNN）,使用引入了改良的密集块结构（IDB）的深度卷积神经网络对水下图像进行重建,重建图像的峰值信噪比（PSNR）提升达到0.38 dB,结构相似度（SSIM）提升达到0.013,能有效地提高水下图像的重建质量。     

基于局部空间自相关分析的时空数据融合

由于受到16d重访周期与云等对数据质量的影响,具有时间与空间连续性的Landsat 8OLI观测数据难以直接获取。考虑地物分布的空间自相关性,提出一种基于STARFM模型改进的局部自相关时空数据融合模型(LASTARFM),以新疆维吾尔族自治区喀什地区叶城县为研究区,利用Landsat 8OLI数据和MODIS数据的红光波段和近红外波段进行融合方法测试。结果表明:利用LASTARFM模型得到的融合影像,与真实影像NDVI相关系数达到0.92;在局部空间自相关性低的区域比STARFM模型影像反映出更多地物细节,具有更高的融合精度;在土地利用类型发生显著变化的区域与真实影像具有一定差异。     

高效多注意力特征融合的图像超分辨率重建算法

为改善图像质量,提升观测效果,针对现有超分辨率重建算法由于网络层数过深导致的信息丢失、参数量大的问题,提出一种高效多注意力特征融合的图像超分辨率重建算法(EMAFFN).该算法通过渐进式特征融合块(PFFB)逐步提取图像的特征信息,减少特征信息在深层次网络传递过程中的丢失,同时结合PFFB内部的高效多注意力块(EMAB)在通道和空间两个分支作用,自适应的对提取到的特征进行加权,使网络更多的关注高频信息,最后使用多尺度感受野块(RFB＿x)对提取到的特征进行增强、并多尺度融合特征来提升重建模块的性能.实验结果表明,EMAFFN在公共数据集Set5上的平均PSNR值最高达到37.93dB,SSIM达到0.9609,重建后的图像恢复了更多的高频信息,纹理细节丰富,更接近于原始图像.     

基于线段融合的空间非合作目标稳健特征提取算法

相对位姿测量是空间非合作目标态势感知的主要内容,在位姿测量中,需要先对目标图像进行特征提取,而特征提取的精度和鲁棒性直接影响位姿测量性能。为了提高空间非合作目标特征提取的鲁棒性,本文给出一种基于线段融合的特征提取算法。该算法首先采用基于梯度的滤波器来消除空间目标图像的背景干扰,然后采用LSD直线检测算法、Hough Lines直线检测算法和Shi-Tomasi角点检测算法提取三组特征点,再用K-D空间划分树以及K最近邻搜索算法融合这三组特征点,保留包含显著特征的较少数量特征点,进一步组合成线段结构,并对线段进行融合,以此来提取反映目标整体几何框架的信息,从而提升稳健性。仿真实验和半物理仿真实验测试结果表明,本文提出的基于线段融合的特征提取方法在空间目标特征提取中具有更好的稳健性。     

基于深度学习的心脏磁共振影像超分辨率前沿进展

心脏为人体血液流动提供动力,是人体血液循环系统的重要组成部分。受人口老龄化影响,心脏病诊疗已成为重大公共健康话题。非侵入式活体心脏成像对心脏疾病的检测、诊断与治疗意义重大。然而,受活体心跳影响,成像扫描时间与心脏影像分辨率成为难以调和的矛盾。为缓和这一矛盾,基于快速扫描获得的低分辨率影像重建出心脏高分辨率影像的超分辨率(super-resolution, SR)重建技术成为研究热点。深度学习技术在医学影像处理领域中展现出强大生命力,基于深度学习的SR技术因其强大的学习能力与数据驱动性,在心脏影像SR重建领域中表现出明显优于传统方法的性能。目前领域内前沿成果较多,但缺少对领域现状进行总结、对未来发展进行展望的综述性文献。因此,本文对领域内现状进行梳理总结,挑选出代表性方法,分析方法特性,总结文献中心脏影像数据来源与规模,给出常用的评价指标,以及模型得出的性能评价结论。分析发现,基于深度学习的心脏SR重建技术取得了较大进展,但在运动伪影抑制、模型简化程度与时间性能方面仍有进步空间。此外,现有模型基本完全依靠网络强大的表达能力,鲜有临床先验知识的引入。最后,模型间性能对比相对较少,且领域内缺...     

基于深度学习和特征融合的人脸活体检测算法

针对目前基于深度学习的活体检测算法大都基于大型卷积神经网络的问题,提出一种基于轻量级网络MobileNetV2和特征融合的活体检测算法。首先,以改进的MobileNetV2为基础网络分别从RGB、HSV、LBP图中提取特征;然后,将得到的特征图堆叠在一起以进行特征层的融合;最后,从融合后的特征图中继续提取特征,并利用Softmax层作出真假人脸的判断。仿真结果显示,所提算法在NUAA数据集上的等错误率(EER)为0. 02%,在Siw数据集上的ACER(Average Classification Error Rate)为0. 75%,而且测试单张图像仅用时6 ms。实验结果表明:融合不同的信息可以获得更低的错误率,改进的轻量化网络保证了算法的高效性并满足实时性需求。     

基于时空域深度特征两级编码融合的视频分类

针对已有深度特征用于视频分类精度较低的不足,提出了一种新的基于视频时空域深度特征两级编码融合的视频分类方法。首先基于两个深度卷积神经网络模型分别提取视频帧的深度空域信息和深度时域信息;然后依次采用Fisher向量和局部聚合对上述时空域的深度信息进行两级级联编码,实现对视频的高效表征;最后,基于两级编码后的时空域联合深度特征,利用支持向量机进行分类。在UCF101上的实验结果表明,和已有方法相比,该文算法具有更好的分类精度。     

基于深度学习的中文微博作者身份识别研究

作者身份识别一直在公安行业和文检工作中起着重要的作用。现有的作者语言风格建模过程繁琐、文本特征工程没有普适性。针对此问题,在无须专家进行特征建模的情况下,提出CABLSTM中文微博作者身份识别模型,并在公开微博语料集测试该模型准确度。该模型为最大化提取短文本特征,融合attention机制于CNN中并去除池化层,通过双向LSTM以获取上下文相关信息,身份识别结果通过softmax层进行输出。实验结果表明,该模型在进行中文微博作者身份识别任务中与传统机器学习算法以及TextCNN和LSTM算法相对比,在准确率、召回率、◢F◣值方面都有一定的提升。     

多阶段融合网络的图像超分辨率重建

目的 近年来,深度卷积神经网络成为单帧图像超分辨率重建任务中的研究热点。针对多数网络结构均是采用链式堆叠方式使得网络层间联系弱以及分层特征不能充分利用等问题,提出了多阶段融合网络的图像超分辨重建方法,进一步提高重建质量。方法 首先利用特征提取网络得到图像的低频特征,并将其作为两个子网络的输入,其一通过编码网络得到低分辨率图像的结构特征信息,其二通过阶段特征融合单元组成的多路径前馈网络得到高频特征,其中融合单元将网络连续几层的特征进行融合处理并以自适应的方式获得有效特征。然后利用多路径连接的方式连接不同的特征融合单元以增强融合单元之间的联系,提取更多的有效特征,同时提高分层特征的利用率。最后将两个子网络得到的特征进行融合后,利用残差学习完成高分辨图像的重建。结果 在4个基准测试集Set5、Set14、B100和Urban100上进行实验,其中放大规模为4时,峰值信噪比分别为31.69 dB、28.24 dB、27.39 dB和25.46 dB,相比其他方法的结果具有一定提升。结论 本文提出的网络克服了链式结构的弊端,通过充分利用分层特征提取更多的高频信息,同时利用低分辨率图像本身携带的结构特征信息共同完成重建,并取得了较好的重建效果。     

Early detection of cardiovascular autonomic neuropathy: A multi-class classification model based on feature selection and deep learning feature fusion

The conventional diagnostic process and tools of cardiovascular autonomic neuropathy (CAN) can easily identify the two main categories of the condition: severe/definite CAN and normal/healthy without CAN. Conventional techniques encounter significant challenges when identifying CAN in its early or atypical stages due to the inherent imbalanced and incompleteness condition in the collected clinical multimodal data, including electrocardiogram (ECG) data from ECG sensors, blood chemistry, podiatry, and endocrinology features. Therefore, most detection tools and techniques are limited to binary CAN classification. However, early diagnosis of CAN or diagnosis of the atypical stages of CAN is more important than the diagnosis of severe CAN, which, in fact, is easily identifiable with a few diagnostic reports. In this paper, we propose a novel multi-class classification approach for timely CAN detection. The proposed classification algorithm develops a multistage fusion model by combining feature selection and multimodal feature fusion techniques. The proposed method develops a performance criterion-based feature selection technique to guarantee highly significant features. A multimodal feature fusion technique was developed using deep learning feature fusion and selected original features. The experimental results obtained from testing with a large CAN dataset indicate that the proposed algorithm significantly improved the diagnostic accuracy of CAN compared to conventional Ewing battery features. The algorithm also identified the early or atypical stages of CAN with an AUC score of 0.931 using leave-one-out cross-validation.     

基于上下文融合的文档级事件抽取方法

基于句子级别的抽取方法不足以解决中文事件元素分散问题。针对该问题,提出基于上下文融合的文档级事件抽取方法。首先将文档分割为多个段落,利用双向长短期记忆网络提取段落序列特征;其次采用自注意力机制捕获段落上下文的交互信息;然后与文档序列特征融合以更新语义表示;最后采用序列标注方式抽取事件元素并匹配事件类型。与其他事件抽取方法在相同的中文数据集上进行对比,实验结果表明,该方法能有效抽取文档中分散的事件元素,并提升模型的抽取性能。     

基于深度学习的单图像超分辨率重建研究综述

为深入了解基于深度学习的单图像超分辨率重建（SISR）的发展,把握当前研究的热点和方向,针对现有基于深度学习的单图像超分辨率重建模型进行了梳理。介绍了相关深度学习算法和基于深度学习的模型以及评价指标,并通过实验对比分析现有模型的性能,其目的在于从本质上了解基于深度学习的单图像超分辨率重建模型的优势;对单图像超分辨率重建的关键问题进行了总结,并对未来的发展趋势进行了展望。     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。