基于语义导向的光场图像深度估计

光场图像的深度估计是3维重建、自动驾驶、对象跟踪等应用中的关键技术。然而,现有的深度学习方法忽略了光场图像的几何特性,在边缘、弱纹理等区域表现出较差的学习能力,导致深度图像细节的缺失。该文提出了一种基于语义导向的光场图像深度估计网络,利用上下文信息来解决复杂区域的不适应问题。设计了语义感知模块的编解码结构来重构空间信息以更好地捕捉物体边界,空间金字塔池化结构利用空洞卷积增大感受野,挖掘多尺度的上下文内容信息;通过无降维的自适应特征注意力模块局部跨通道交互,消除信息冗余的同时有效融合多路特征;最后引入堆叠沙漏串联多个沙漏模块,通过编解码结构得到更加丰富的上下文信息。在HCI4D光场数据集上的实验结果表明,该方法表现出较高的准确性和泛化能力,优于所比较的深度估计的方法,且保留较好的边缘细节。     

基于注意力机制的残差密集网络红外/可见光图像融合

针对弹载武器可见光图像与红外融合高层特征融合不足,目标细节表现不突出导致打击目标检测失败的问题,提出了一种基于注意力机制的残差密集网络的红外与可见光图像融合模型。受残差网络和密集网络的启发,设计了一种基于残差密集网络的图像融合算法解决融合图像细节纹理信息不足的问题。采用注意力机制有效提取目标特征区域的关键信息,通过局部残差融合和全局残差融合算法保留目标的纹理细节。此外,为了更好地保留可见光图像中的细节纹理,对目标细节特征发现时增强特征抑制。实验证明,该算法能够增强目标细节特征,同时有效保存了其轮廓信息,与不采用注意机制提高相比,融合精度提高了5%,运算量下降2%左右。     

多级跳线连接的深度残差网络超分辨率重建

由于快速的卷积神经网络超分辨率重建算法(FSRCNN)卷积层数少、相邻卷积层的特征信息之间缺乏关联性,因此难以提取到图像深层信息导致图像超分辨率重建效果不佳。针对此问题,该文提出多级跳线连接的深度残差网络超分辨率重建方法。首先,该方法设计了多级跳线连接的残差块,在多级跳线连接的残差块基础上构造了多级跳线连接的深度残差网络,解决相邻卷积层的特性信息缺乏关联性的问题;然后,使用随机梯度下降法(SGD)以可调节的学习率策略对多级跳线连接的深度残差网络进行训练,得到该网络超分辨率重建模型;最后,将低分辨率图像输入到多级跳线连接的深度残差网络超分辨率重建模型中,通过多级跳线连接的残差块得到预测的残差特征值,再将残差图像和低分辨率图像组合在一起转化为高分辨率图像。该文方法与bicubic, A+, SRCNN, FSRCNN和ESPCN算法在Set5和Set14测试集上进行了对比测试,在视觉效果和评价指标数值上该方法都优于其它对比算法。     

样本限制场景下金属板带材表面缺陷分类研究

深度学习在金属板带材表面缺陷检测中取得良好的检测效果,但随着网络层数的增加 ,针对较小样 本的金属板带材表面缺陷数据集训练数据容易出现过拟合现象的问题,为此将残差网络与迁 移学习结合提出 了一种融合多层次缺陷特征的图像分类算法。该算法采用残差网络模块逐层提取金属表面缺 陷特征,获得丰 富的位置信息和语义信息缺陷特征的特征图,后续利用分类网络基于该融合特征图得到最终 分类结果,同时 对特征提取网络进行迁移学习,增加网络泛化能力,优化分类精度。利用钢带表面缺陷检测 数据集评估本文 算法性能,实验结果表明,提出的算法具有较好的分类效果,优于其他缺陷分类算法,分类 准确率可达到 99.07%,同时本文所提算法具有良好的抗噪性和泛化性,在金属板带材表面缺陷智能检测中 具有较好的应用价值。     

融合空间和角度特征的光场图像超分辨率方法

针对光场图像空间分辨率不足的问题,提出一种融合空间和角度特征的光场图像超分辨率方法,能够同时超分辨率所有子孔径图像。算法主要由特征提取模块、特征融合模块和重建模块组成。首先,通过特征提取模块提取低分辨率光场中每个视图的2D空间纹理特征;然后,采用特征融合模块将提取到的空间纹理特征和几何角度特征进行融合,并经过多层空间角度二维卷积后得到4D光场结构特征;最后,利用重建模块将融合后的光场特征信息进行上采样,重建出高分辨率的光场子孔径图像阵列。采用4组真实/合成光场图像数据集进行测试,结果表明,与现有五种方法相比,所提方法重建图像的平均峰值信噪比、结构相似性比次优算法分别提高了2.99 dB和0.11%,图像边缘轮廓清晰。在有效提升光场图像空间分辨率的同时,所用网络参数量少、计算效率高。     

一种生成对抗网络用于图像修复的方法

近年来基于深度学习的图像修复方法相比于传统方法,表现出明显优势,前者能更好的生成视觉上合理的图像结构和纹理.但现有的标准卷积神经网络方法,通常会造成颜色差异过大和图像纹理缺失与失真的问题.本文提出了一种新型图像修复深度网络模型,该模型由两个相互独立的生成对抗式网络模块组成.其中,图像修复网络模块旨在解决图像缺失区域的修复问题,其生成器基于部分卷积网络;图像优化网络模块旨在解决修复后图像存在局部色差的问题,其生成器基于深度残差网络.通过两个网络模块的协同作用,图像的视觉效果与图像质量得到提高.与其他先进方法进行定性和定量比较的实验结果表明,本文提出的方法在图像修复质量上表现更好.     

基于金字塔池化网络的道路场景深度估计方法

针对从单目视觉图像中估计深度信息时存在的预测精度不够准确的问题,该文提出一种基于金字塔池化网络的道路场景深度估计方法。该方法利用4个残差网络块的组合提取道路场景图像特征,然后通过上采样将特征图逐渐恢复到原始图像尺寸,多个残差网络块的加入增加网络模型的深度;考虑到上采样过程中不同尺度信息的多样性,将提取特征过程中各种尺寸的特征图与上采样过程中相同尺寸的特征图进行融合,从而提高深度估计的精确度。此外,对4个残差网络块提取的高级特征采用金字塔池化网络块进行场景解析,最后将金字塔池化网络块输出的特征图恢复到原始图像尺寸并与上采样模块的输出一同输入预测层。通过在KITTI数据集上进行实验,结果表明该文所提的基于金字塔池化网络的道路场景深度估计方法优于现有的估计方法。     

基于双注意力机制的雾天图像清晰化算法研究

针对传统去雾算法容易依赖先验知识以及恢复出来的清晰图像会产生颜色失真等问题,本文提出一种基于双注意力机制的雾天图像清晰化算法。首先将雾图输入编码器,经过下采样后得到特征图像;特征提取模块将多个特征提取基本块联结在一起,每个基本块由局部残差学习和特征注意模块组成,提高图像质量以及图像特征信息的利用率,增加网络训练的稳定性;然后通过通道注意力与多尺度空间注意力并行的结构处理特征图像,使得网络更加关注细节特征,提取更多关键信息,同时提高网络效率;最后将融合后的特征图像输入解码器中,经过多级映射,得到与输入大小匹配的雾密度图。实验结果表明,不论是对合成雾天图像或者真实雾天图像,本文算法能够高效地进行去雾处理,得到更自然的清晰图像。     

基于机器视觉技术的光场尺度空间局部特征提取研究

目前光场尺度空间局部特征提取没有对光场尺度空间深度进行估计,存在局部特征点匹配时间长,提取时间长,特征点识别率低的问题。提出基于机器视觉的光场尺度空间局部特征提取方法,首先对光场尺度空间进行深度估计,利用光场相机中的微透镜对物体发出的不同方向的光线进行重聚焦处理,最终成像到传感器上,获得宏像素。利用四维空间对宏像素处理得到多视角。经过运算解出多视角之间的视角差,最终获得光场尺度空间深度。在光场尺度空间深度内通过机器视觉的四维光场重聚焦模型确定光线与重聚焦光线间的关系,利用辐射理论对原光场相机重新采样积分提取出光场尺度空间的所有图像,即得到焦点堆栈图像,并提取焦点堆栈图像的颜色特征和纹理特征,将颜色和纹理特征融合在一起,实现对光场尺度空间局部特征的提取。实验结果表明,所提方法的局部特征点匹配平均为11.5 s,提取时间平均为91.6 s,特征点识别率平均为89.5%,具有一定的有效性。     

融合残差结构和注意力机制的下颌骨CT图像分割方法

针对传统深度学习方法在下颌骨CT图像分割中存在的问题,本文提出一种融合残差结构和注意力机制的改进Unet网络。将注意力机制融入Unet的解码器,构建上采样注意力模块,在不同维度上进行平均池化和最大池化,使网络更加关注下颌骨区域的信息,增强下颌骨分割能力;将残差结构融入Unet网络的编码器,解决深度网络训练时的网络退化和梯度消失问题;采用迁移学习训练的方法,避免因下颌骨图像数据不足导致的网络收敛慢的问题。对比实验表明,改进Unet网络平均交并比达到94.68%,各评价指标均优于FCN、DeeplabV1和SegNet网络。     

基于空间多尺度残差网络的红外与可见光图像融合

针对如何充分提取和融合红外与可见光图像典型特征的问题,提出一种基于空间多尺度残差网络的图像融合算法。首先,将源图像输入基于空间多尺度残差模块组成的编码器网络,通过源图像重建任务,训练编码器自动获取重要特征信息的能力;然后,引入特征金字塔结构,设计了特征通道自注意力机制,编码器输出的基础层和细节层进行融合,减小尺度噪声,并由解码器重构出融合图像;最后,利用公开数据集进行定性和定量实验,证明了改进算法在突出红外图像目标和保留可见光图像纹理细节两方面的优势,相比于DDcGAN算法,新算法的标准差和平均梯度分别提升了12.91%和47.41%。     

基于改进沙漏网络的人体姿态估计方法

近年来人体姿态估计已成为计算机视觉领域的热门研究方向,堆叠沙漏网络是人体姿态估计领域中最具代表性的研究成果之一,但该网络对于图像细节特征的提取能力较差。为增强网络对细节特征的处理能力,本文提出了基于改进沙漏网络的人体姿态估计模型。该模型使用ResNet50提取高质量的图像底层特征,用步长为2的3×3卷积核代替maxpooling进行下采样,最大程度保留原有图像信息;考虑到不同分辨率下的特征丰富度具有一定差异性,使用不同的残差模块对不同分辨率的feature map进行处理,增强网络对特征的学习能力;最后使用反卷积最大化还原原始图像的局部特征。实验结果显示,本文模型在COCO测试集上的平均精度达到74.1%,比堆叠沙漏网络高出4.7%,检测精度有较大提升。     

基于小波变换与深度残差融合的图像增强算法

针对目前基于小波变换图像融合增强算法原始图 像中的多尺度细节信息的不足,提 出了一种改进的多尺度小波变换与深度残差选择相结合的图像增强算法。利用小波变换对原 始图像进行分解提取得到它的多级分解系数后,再利用不同规则对不同层次的小波系数进行 重构,与此同时引入深度残差算法的思想对子带系数做残差。对于高频子带系数,计算子带 残差的系数与梯度特征融合方法的系数,选用两者最大值进行融合增强;而对于低频子带系 数则采用梯度特征融合增强系数与子带残差系数取平均值的算法进行融合。通过在MATLAB 平台上的实验对所提出算法进行验证,峰值信噪比相较于对比的方法都有所提高,且均方根 误差也得到减小,结构相似度都得到提高,结果表明该算法能增强图像的多尺度细节信息, 提高图像的信噪比,且具有更好的图像增强效果。     

深层跳线残差网络热红外图像超分辨重建

在公共安全、军事等领域高分辨率热红外图像能够提供更多的场景细节信息,有着广泛的应用需求,但高昂的设备成本限制了高分辨率红外图像的获取。为此设计了一种多级跳线深层残差卷积神经网络(DR-CNN),通过软件超分辨的方法重构出高分辨率的红外图像。采用多级跳线双通道注意力残差块增加卷积深度以解决卷积层间缺乏关联性的问题;使用Concat模块实现局部特征信息的融合,利用反卷积层进行特征图像的上采样,使其直接从低分辨率图像学习到高分辨率图像以降低训练的复杂度,加快运行速度。所提算法与SRCNN,FSRCNN和ADSR等算法进行对比测试,使用峰值信噪比(PSNR)和结构相似度(SSIM)作为算法的评价指标。实验结果表明提出的RD-CNN算法优于其他对比算法,生成的高分辨率图像细节丰富且清晰。     

基于深度残差神经网络的红外图像超分辨率重构算法

提出了一种基于深度残差神经网络的红外灰度图像超分辨率重构算法。首先使用残差卷积模块增加网络深度提高了网络的学习能力,使得卷积层在学习过程中能够利用到更多的邻域信息对于复杂场景有更好的学习能力。然后使用跳跃连接方式增加高频信息传输以实现对于图像细节的增强。实验结果表明,该网络能够有效地丰富重构图像的细节,重构图像中的目标轮廓有明显改善。     

基于深监督跨尺度注意力网络的深度图像超分辨率重建

消费级深度相机拍摄的深度图像具有分辨率较低的问题，深度图像超分辨率重建是解决该问题的有效方法 .为了提高重建性能，提出一种基于深监督跨尺度注意力网络的深度图像超分辨率重建算法.网络逐级放大，在损失函数中对每一级的输出都进行约束，实现深监督的目的 .采用高阶跨尺度注意力模块，将多尺度特征尺度内及跨尺度相关性与注意力机制结合起来，实现多尺度特征的自适应调整.采用内层为宽激活残差、外层为基本残差的双层残差块作为网络基本构成元素，以提高网络对复杂非线性关系的学习能力.实验结果表明，本文算法在主观视觉效果和客观质量评价指标方面都优于当前主流的深度图像超分辨率重建算法.     

基于改进沙漏网络的人体姿态估计模型

堆栈沙漏网络(SHN)是人体姿态估计中的代表性研究成果,但该网络忽略了关节局部信息.因此,提出了一种基于改进沙漏网络的人体姿态估计模型.首先,利用多个残差模块及步长为2的卷积层获取低层次到高层次的特征,同时随着网络层数的加深,相应调整残差模块的数目和通道数,以突出局部细节特征信息.然后,为了提取遮挡部位的纹理和形状等局部特征,融合了在线困难关键点挖掘模块.最后,采用反卷积最大化恢复原始的局部特征.实验结果表明,本模型在COCO数据集上的平均精度达到了74.6％,总参数量为1.5×107,比叠加8个SHN(8-SNH)的平均精度高5.1个百分点,且其总参数量仅为8-SNH的1/3.     

基于残差网络的光学遥感图像场景分类算法

提出一种基于卷积神经网络中残差网络的遥感图像场景分类方法.本文方法在原网络模型中嵌入了跳跃连接和协方差池化两个模块,用于连接多分辨率特征映射和融合不同层次的多分辨率特征信息,并在3个公开的经典遥感数据集上进行了实验.结果证明,本文方法不仅可以将残差网络中不同层次的多分辨率特征信息融合在一起,还可以利用高阶信息来实现更具...     

基于提取双选紧密特征的RGB-D显著性检测网络

针对现有算法对不同来源特征之间的交互选择关注度欠缺以及对跨模态特征提取不充分的问题,提出了一种基于提取双选紧密特征的RGB-D显著性检测网络。首先,为了筛选出能够同时增强RGB图像显著区域和深度图像显著区域的特征,引入双向选择模块(bi-directional selection module, BSM);为了解决跨模态特征提取不充分,导致算法计算冗余且精度低的问题,引入紧密提取模块(dense extraction module, DEM);最后,通过特征聚合模块(feature aggregation module, FAM)对密集特征进行级联融合,并将循环残差优化模块(recurrent residual refinement aggregation module, RAM)配合深度监督实现粗显著图的持续优化,最终得到精确的显著图。在4个广泛使用的数据集上进行的综合实验表明,本文提出的算法在4个关键指标方面优于7种现有方法。     

基于U-Net网络改进算法的视网膜血管分割研究北大核心CSCD

针对视网膜图像血管细小,细节特征丢失、梯度下降、爆炸而导致分割效果差的问题,本文提出了一种引入残差块、循环卷积模块和空间通道挤压激励模块的U-Net视网膜血管图像分割模型。首先通过使用一系列随机增强来扩展训练集并对数据集进行预处理,然后在U-Net模型中引入残差块,避免随着网络深度增加,分割准确率达到饱和然后迅速退化以及优化计算成本;并将U-Net网络的底部替换为循环卷积模块,提取图像低层次的特征,并不断的进行特征积累,增强上下文之间的语义信息,获得更有效的分割模型;最后在卷积层之间嵌入空间通道挤压激励模块,通过找到特征较好的通道,强调这一通道,压缩不相关的通道使得网络模型能够加强关键语义特征信息的学习,通过训练过程学习到有效的特征信息,同时增强抗干扰能力。通过在DRIVE数据集上的验证结果可得,本文所提模型的准确率为98.42%,灵敏度达到了82.36%,特异值达到了98.86%。通过和其他网络分割方法比较,本文所提分割方法具有更优的分割效果。