视频传感器网络中基于相关性图像融合算法

基于图像相关性信息,从系统层面提出了一种图像融合算法.该算法充分考虑到视频传感器节点的有限资源及相邻节点间冗余视觉信息,将同一场景的视觉监测任务分配到相关度较大的2个视频传感器节点上,每个视频传感器节点仅负责传输一部分视觉场景信息.特别地,利用极线约束性质融合多路传输来的部分图像信息,最终实现场景视觉信息的重建.实验结果表明:该算法简单易行,既可以减少网络传输量、节约网络能量,又可以实现场景视觉信息的有效监测.     

基于多尺度注意力融合网络的胃癌病理图像分割方法

近年来,随着深度学习技术的发展,基于编解码的图像分割方法在病理图像自动化分析上的研究与应用也逐渐广泛,但由于胃癌病灶复杂多变、尺度变化大,加上数字化染色图像时易导致的边界模糊,目前仅从单一尺度设计的分割算法往往无法获得更精准的病灶边界。为优化胃癌病灶图像分割准确度,基于编解码网络结构,提出一种基于多尺度注意力融合网络的胃癌病灶图像分割算法。编码结构以EfficientNet作为特征提取器,在解码器中通过对多路径不同层级的特征进行提取和融合,实现了网络的深监督,在输出时采用空间和通道注意力对多尺度的特征图进行注意力筛选,同时在训练过程中应用综合损失函数来优化模型。实验结果表明,该方法在SEED数据集上Dice系数得分达到0.806 9,相比FCN和UNet系列网络一定程度上实现了更精细化的胃癌病灶分割。     

基于注意力融合网络的视频超分辨率重建

基于深度学习的视频超分辨率方法主要关注视频帧内和帧间的时空关系,但以往的方法在视频帧的特征对齐和融合方面存在运动信息估计不精确、特征融合不充分等问题.针对这些问题,采用反向投影原理并结合多种注意力机制和融合策略构建了一个基于注意力融合网络(AFN)的视频超分辨率模型.首先,在特征提取阶段,为了处理相邻帧和参考帧之间的多...     

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。     

改进的基于通道注意力反馈网络的遥感图像融合算法

针对前馈卷积神经网络(CNN)感受野较小、获取上下文信息不足、其特征提取卷积层只能提取到浅层特征的问题,提出改进的基于通道注意力反馈网络的遥感图像融合算法.首先,通过两层卷积层分别初步提取全色(PAN)图像的细节特征和低分辨率多光谱(LMS)图像的光谱特征;其次,将提取的特征和网络反馈的深层特征相结合,并将其输入到通道...     

基于注意力与残差级联的红外与可见光图像融合方法

红外与可见光图像融合是在复杂环境中获得高质量目标图像的一种有效手段,广泛应用于目标检测、人脸识别等领域。传统的红外与可见光图像融合方法未充分利用图像的关键信息,导致融合图像的视觉效果不佳、背景细节信息丢失。针对该问题,提出基于注意力与残差级联的端到端融合方法。将源图像输入到生成器中,通过层次特征提取模块提取源图像的层次特征,基于U-net连接的解码器融合层次特征并生成初始融合图像。将生成器与输入预融合图像的判别器进行对抗训练,同时利用细节损失函数优化生成器,补充融合图像缺失的信息。此外,在判别器中,采用谱归一化技术提高生成对抗网络训练的稳定性。实验结果表明,该方法的信息熵、标准差、互信息、空间频率分别为7.118 2、46.629 2、14.236 3和20.321,相比FusionGAN、LP、STDFusionNet等融合方法,能够充分提取源图像的信息,所得图像具有较优的视觉效果和图像质量。     

基于区域分割的红外和可见光图像融合方法

针对红外和可见光图像融合在场景监控中的应用,提出了一种基于区域分割的图像融合方法。首先采用改进的区域生长法对源图像进行区域分割,得到用于融合图像的联合区域表示,然后综合考虑目标灰度和面积的特点将区域划分为目标区域和背景区域,分别采取基于区域能量和区域平均梯度的融合规则得到融合图像。通过对两组不同场景下的图像进行实验,结果表明该方法能够有效地保持源图像特征,融合结果有利于人眼感知和机器视觉。     

基于视频图像的动态水平测控系统

本文介绍了一种基于视频图像的动态水平测控系统。本系统采用图像传感器实时摄取两互相垂直的重力水平仪的图像，通过亚像素相关匹配算法，快速检测图像中重力水平仪中黑球的位置，以确定系统的水平度，并自动进行调节。此系统可靠性强，具有理想的测量精度。     

基于多尺度和注意力机制的红外与可见光图像融合

现有的红外与可见光图像融合算法通常从单一尺度提取图像特征,导致融合图像无法全面保留原始特征信息.针对上述问题,提出一种基于多尺度和注意力机制的自编码网络结构实现红外与可见光图像融合.首先,采用密集连接和多尺度注意力模块构建编码器网络,并引入自注意力机制增强像素间的依赖关系,充分提取红外图像的显著目标和可见光图像的细节纹理;然后,特征融合阶段采用基于通道与空间的联合注意融合网络,进一步融合图像典型特征;接着,设计基于像素、结构相似性和色彩的混合损失函数指导网络训练,进一步约束融合图像与源图像的相似性;最后,通过对比实验的主观和客观评价结果,验证所提出算法相比于其他代表性融合算法具有更优异的图像融合能力.     

基于融合注意力机制的图像标题生成

图像标题生成利用机器自动产生描述图像的句子,属于计算机视觉与自然语言处理的交叉领域.传统基于注意力机制的算法侧重特征图不同区域,忽略特征图通道,易造成注意偏差.该模型通过当前嵌入单词与隐藏层状态的耦合度来赋予特征图不同通道相应权重,并将其与传统方法结合为融合注意力机制,准确定位注意位置.实验结果均在指定的评估方法上有一定的提升,表明该模型可以生成更加流利准确的自然语句.     

基于特征融合注意网络的图像超分辨率重建

近年来, 基于深度卷积神经网络的单图像超分辨率重建, 取得了显著的进展, 但是, 仍然存在诸如特征利用率低、网络参数量大和重建图像细节纹理模糊等问题. 我们提出了基于特征融合注意网络的单图像超分辨率方法, 网络模型主要包括特征融合子网络和特征注意子网络. 特征融合子网络可以更好地融合不同深度的特征信息, 以及增加跨通道的学习能力; 特征注意子网络则着重关注高频信息, 以增强边缘和纹理. 实验结果表明: 无论是主观视觉效果, 还是客观度量, 我们方法的超分辨率性能明显优于其他代表性的方法.     

基于注意力机制的多尺度融合航拍影像语义分割

航拍影像同一场景不同对象尺度差异较大,采用单一尺度的分割往往无法达到最 佳的分类效果。为解决这一问题,提出一种基于注意力机制的多尺度融合模型。首先,利用不 同采样率的扩张卷积提取航拍影像的多个尺度特征;然后,在多尺度融合阶段引入注意力机制, 使模型能够自动聚焦于合适的尺度,并为所有尺度及每个位置像素分别赋予权重;最后,将加 权融合后的特征图上采样到原图大小,对航拍影像的每个像素进行语义标注。实验结果表明, 与传统的 FCN、DeepLab 语义分割模型及其他航拍影像分割模型相比,基于注意力机制的多尺 度融合模型不仅具有更高的分割精度,而且可以通过对各尺度特征对应权重图的可视化,分析 不同尺度及位置像素的重要性。     

基于生物传感和图像信息融合的视频监控系统

将生物传感与图像信息融合技术引入到网络视频监控系统的研究中,开发出一套用于重点区域的安防监控系统。该系统克服了自动监控报警系统由于环境变化产生的误报警,实现了监控区域对人体生物的自动视频监视与告警。     

一种基于数据融合的医学图像分割方法

针对一类纹理特征明显的医学图像,提出了一种融合纹理信息和灰度信息的图像分割方法,设计了基于金字塔结构的区域增长分割算法,该方法在区域内部结合使用纹理信息和灰度信息,在区域边缘部分则充分利用灰度信息,计算结果表明,该方法对某一类医学图像能够获得较好的分割效果。     

基于神经网络的双通道视频融合人员入侵检测

为克服单个可见光摄像头检测准确率低的问题,提出一种融合双通道视频的人员检测系统.由可见光摄像头和红外热像仪分别获取同一场景的可见光和红外线视频数据,使用自适应学习速率的神经网络背景模型在2个通道中分别检测运动区域.通过图像配准对2个通道的结果进行“或”融合,并采用高斯滤波以消除噪声,利用积分图像快速检测近似长方形响应的人体区域.实验结果表明,该系统对行人和骑自行车人员的检测准确率达到98％,比单一通道具有更高的可靠性.     

跨模态融合的双注意力脑肿瘤分割算法

针对脑肿瘤多模态信息融合不充分以及肿瘤区域细节信息丢失等问题,提出了一种跨模态融合的双注意力脑肿瘤图像分割网络(CFDA-Net).在编码器-解码器的基础结构上,首先在编码器分支采用密集块与大内核注意力并行的新卷积块,可以使全局和局部信息有效融合且可以防止反向传播时梯度消失的问题;其次在编码器的第2、3和4层的左侧加入多模态深度融合模块,有效地利用不同模态间的互补信息;然后在解码器分支使用Shuffle Attention注意力将特征图分组处理后再聚合,其中分组的子特征一分为二地获取空间与通道的重要注意特征.最后使用二进制交叉熵(binary cross entropy, BCE)、Dice Loss与L2 Loss组成新的混合损失函数,缓解了脑肿瘤数据的类别不平衡问题,进一步提升分割性能.在BraTS2019脑肿瘤数据集上的实验结果表明,该模型在整体肿瘤区域、肿瘤核心区域和肿瘤增强区域的平均Dice系数值分别为0.887、0.892和0.815.与其他先进的分割方法 ADHDC-Net、SDS-MSA-Net等相比,该模型在肿瘤核心区域和增强区域具有更好的分割效果.     

结合双非局部注意力感知的SAR和光学图像金字塔细节融合网络

合成孔径雷达(synthetic aperture radar, SAR)与光学图像融合旨在利用卫星传感器的成像互补性, 生成更全面的地貌信息. 然而, 由于各单一卫星传感器数据分布的异质性和成像物理机制的差异, 现有网络模型在融合过程中往往存在成像精度低的问题. 为了解决上述问题, 本文提出DNAP-Fusion, 一种新的结合双非局部注意力感知的SAR和光学图像金字塔细节融合网络(dual non-local-aware-based pyramid fusion net). 该方法利用双非局部注意力模块, 在空间尺度逐渐减小的多级图像金字塔中提取SAR图像的结构信息和光学图像的纹理细节. 然后在空间和通道维度上融合它们的互补特征. 然后, 通过图像重构将融合特征注入上采样光学图像中, 得到最终的融合结果. 此外, 在网络训练之前, 采用图像封装决策来增强同一场景中SAR和光学图像中目标之间的共性关系. 定性和定量的实验结果表明, 提出的方法优于现有融合方法, 其中客观评价指标中的相关系数(correlation coefficient, CC)为0.990 6, 峰值信噪比(peak signal to noise ratio, PSNR)为32.156 0 dB. 此外, 所提方法有效地融合了SAR图像和可见光图像的互补特征, 为提高遥感图像融合的精度和有效性提供了一种有价值的思路和方法.     

基于双尺度特征融合的单幅图像去雾网络

基于深度学习的图像去雾方法在合成数据集上表现良好,但在真实场景中应用时存在去雾不彻底、颜色失真等问题。提出一种新的单幅图像去雾网络,该网络包含特征提取、特征融合2个模块。在特征提取模块中,通过残差密集块和具有空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在特征融合模块中,利用通道注意力机制对局部特征图和全局特征图进行通道加权,并通过卷积操作融合加权后的局部特征图与全局特征图。最后,采用门控网络自适应结合3个不同深度的融合特征图,以恢复高质量的去雾图像。实验结果表明,所提网络在室内数据集下的峰值信噪比(PSNR)和结构相似度（SSIM）分别为33.04 dB、0.983,在HAZERD数据集下的PSNR和SSIM分别比GridDehazeNet网络高出1.33 dB和0.041。同时,该网络的模型参数量和浮点运算数分别为0.34M和16.06×109frame/s,具有较低复杂度,对合成图像和真实图像均可取得理想的去雾效果。     

基于时空注意模型的视频分割算法

针对已有视频分割算法对复杂动态背景下所出现的误分割问题,提出通过显著性映射构造时空注意特征,并采用分层条件随机场进行视频分割,提高分割准确率。算法首先根据视觉注意理论提取时域和空域特征,并建立加权混合模型。其次,采用该混合模型计算运动目标的显著性映射概率分布,有效地提取出运动目标区域。最后,在显著性映射概率分布基础上,采用高斯混合模型建立前景和背景的能量函数,构造分层条件随机场模型对这些特征能量函数进行分割建模,精确地提取出运动对象目标。实验结果表明,该算法即使对复杂动态背景下的视频也能够得到稳定的分割效果,有效地去除摄像机运动等所导致的误分割问题。