一种面向室内场景的语义分割网络

现有RGB D语义分割方法难以充分地融合深度信息来实现对复杂场景的语义分割,为了能更精确地在室内场景RGB图中进行识别内部物体,提出一种基于通道注意力机制的非对称三分支结构型卷积网络语义分割模型。该方法能选择性地从RGB图和深度图像中收集特征。先构建了一个具有三个并行分支的体系结构,并添加了三个互补的注意模块。且运用了双向跨模块特征传播策略,不仅可以保留原始RGB图像和深度图像的特征,还能充分利用融合分支的深度特征。在两个室内场景数据集(NYUDv2数据集和SUN RGBD数据集)进行了对照实验和消融研究。结果表明,所提出的模型与目前最好的表现方法注意力互补网络(ACNet)对比下,像素精度、平均像素精度、平均交并比分别提高了09、13、17,在镜子、书本、箱子等小物体的语义分割交并比指标提高了72、96、112。验证了提出的模型在处理室内场景具更强的适用性。     

一种基于视觉注意机制的感知物体提取算法

针对图像中感知物体提取问题,借鉴认知学对视觉信息表达的研究成果,提出一种感知物体的数学定义,并由视觉注意计算模型得到的视觉注意显著图选择区域增长算法的种子区域。建立图像中感知物体的马尔可夫随机场模型,通过度量图像中感知物体的显著性、边缘和同质性分布情况,最小化能量函数提取出图像中的感知物体。对含有飞机的图像中感知物体的提取实验,验证了提出算法的有效性、以及在认知上的合理性。     

基于特征融合和反馈细化的光场图像显著性检测

现有的光场图像显著性检测算法不能有效地衡量聚焦度信息,从而影响了检测目标的完整性,造成信息的冗余和边缘模糊。考虑到焦堆栈不同的图像及全聚焦图像对于显著性预测发挥着不同的作用,提出有效通道注意力（ECA）网络和卷积长短期记忆模型（ConvLSTM）网络组成特征融合模块,在不降低维度的情况下自适应地融合焦堆栈图像和全聚焦图像的特征;然后由交互特征模块（CFM）组成的反馈网络细化信息,消除特征融合之后产生的冗余信息;最后利用ECA网络加权高层特征,更好地突出显著性区域,从而获得更加精确的显著图。所提网络在最新的数据集中,F-measure和平均绝对误差（MAE）分别为0.871和0.049,表现均优于现有的红、绿、蓝（RGB）图像、红、绿、蓝和深度（RGB-D）图像以及光场图像的显著性检测算法。实验结果表明,提出网络可以有效分离焦堆栈图像的前景区域和背景区域,获得较为准确的显著图。     

基于区域增长的遥感影像视觉显著目标快速检测

针对传统视觉注意模型在遥感影像视觉显著区域检测中存在的计算复杂度高、检测精度低等缺点,提出了一种新的视觉显著区域快速检测算法。首先利用整数小波变换降低遥感影像的空间分辨率,从而降低视觉注意焦点检测的计算复杂度;然后在视觉特征融合中引入二维离散矩变换,生成边缘与纹理信息更为丰富的遥感影像显著图;最后在显著图分析中提出区域增长策略来获得视觉显著区域的精确轮廓。实验结果表明,新算法不仅有效降低了遥感影像视觉显著区域检测的计算复杂度,而且能够精确描述视觉显著区域的轮廓信息,同时避免了对整幅遥感影像的分割与特征提取,为今后的遥感影像目标检测提供了一定地参考价值。     

视觉注意机制的运动方向异常检测方法

针对传统运动方向异常检测方法需要人工参与、智能化较低等缺点,提出了一种新的基于视觉注意机制的运动方向异常检测方法。该方法通过合成源图像的空间导数图与时间导数图获得运动边缘,求取沿空间各方位分布的运动方向特征图。在此基础上,利用所提出的基于运动区域面积的归一化方法对得到的每一幅特征图按照显著性高低分别赋予不同的权重,完成不同运动方向特征的相互竞争。最后融合经过归一化处理的特征图以得到最终的运动显著图。该显著图中运动方向具有显著性的物体得到有效突出,达到了存在多个运动物体的情况时,运动方向上具有显著性的物体能够更加有效、智能地检测出来的目的。     

基于视觉注意机制的UWB SAR叶簇隐蔽目标变化检测

在超宽带合成孔径雷达叶簇隐蔽目标检测中,传统的UWB SAR图像变化检测方法易受图像灰度值起伏和成像条件变化的影响,致使现有的变化检测算法的性能下降.本文根据人类视觉系统的生理结构和认知特点,提出了一种基于视觉注意机制的叶簇隐蔽目标变化检测算法.该方法使用视觉注意模型,将图像的多尺度特征信息融合为单幅视觉显著图像,并利用图像局部邻域信息和目标的空间相关特性对视觉显著图中视觉注意焦点进行分层筛选和变化检测.实验结果表明:本文中基于视觉注意机制的变化检测方法可以有效检测多时相UWB SAR图像中的叶簇隐蔽目标,较之传统的基于统计原理的变化检测方法,其检测速度更快,且对场景复杂的UWB SAR图像亦具有鲁棒性.     

基于跨模态特征融合的RGB-D显著性目标检测

显著性目标检测(SOD)作为目前计算机视觉以及计算机图形学领域中研究的基本课题之一,是许多其他复杂任务的预处理阶段的任务,对例如图像理解与解释、视觉追踪、语义分割,视频分析等对象级应用的发展起到了极大的推动作用。随着深度传感器的普及,深度图像中蕴含的空间信息线索在显著性检测研究中提供了与RGB图像中蕴含的不同模态的辅助补充特征信息,这对于检测精度的提升来说愈发重要,因此如何有效地融合RGB与深度图像中的不同模态间的特征信息成为了RGB-D显著性目标检测课题中研究的重要问题。针对RGB与Depth模态间的特征融合问题,本文设计了一种基于跨模态特征信息融合的双流RGB-D显著目标检测网络模型,通过使用设计的跨模态特征融合模块去除某些低质量深度图带入的冗余与噪音,随后提取放大被优化改良过后的深度特征线索与RGB特征线索间的相似性与差异性,完成跨模态特征信息的有效融合。除此之外在网络编码结构的顶端增加了改良的非局部模块,通过自注意力机制更好地捕捉了的上下文信息以及像素间的长距离依赖。通过使用的两个数据集上的实验表明,这一模型在4个评价指标上取得了较好的表现。     

基于多模态特征融合监督的RGB-D图像显著性检测

RGB-D图像显著性检测是在一组成对的RGB和Depth图中识别出视觉上最显著突出的目标区域。已有的双流网络,同等对待多模态的RGB和Depth图像数据,在提取特征方面几乎一致。然而,低层的Depth特征存在较大噪声,不能很好地表征图像特征。因此,该文提出一种多模态特征融合监督的RGB-D图像显著性检测网络,通过两个独立流分别学习RGB和Depth数据,使用双流侧边监督模块分别获取网络各层基于RGB和Depth特征的显著图,然后采用多模态特征融合模块来融合后3层RGB和Depth高维信息生成高层显著预测结果。网络从第1层至第5层逐步生成RGB和Depth各模态特征,然后从第5层到第3层,利用高层指导低层的方式产生多模态融合特征,接着从第2层到第1层,利用第3层产生的融合特征去逐步地优化前两层的RGB特征,最终输出既包含RGB低层信息又融合RGB-D高层多模态信息的显著图。在3个公开数据集上的实验表明,该文所提网络因为使用了双流侧边监督模块和多模态特征融合模块,其性能优于目前主流的RGB-D显著性检测模型,具有较强的鲁棒性。     

一种新的仿生图像融合算法

提出一种新的仿生图像融合算法。首先模拟人类视觉注意特征,计算出视觉显著度图并采用视觉显著度图制导融合。使得源图像中的视觉显著区域得到突出,对于分量进行整合,然后整体融合,这样使得融合结果包含更多的可视信息,对于的异源图像融合具有良好效果。通过对比实验结果,分析结构相似度和源图像传递到融合图像的边缘信息量的参数表明算法的有效性。     

一种针对海面SAR图像的视觉注意模型设计

在研究了经典ITTI等视觉注意模型的理论基础上,结合海面SAR图像背景及目标特点,对传统视觉模型应用于海面SAR图像的缺陷进行分析总结,提出一种适用于海面SAR图像视觉注意模型设计算法。首先,模型借鉴经典ITTI模型的基本框架,选择并提取了能够较好描述SAR图像的纹理和形状特征,求取相应的特征显著图;其次,采用新的特征显著图整合机制替代经典模型的线性相加机制进行显著图融合得到总显著图;最后,综合各特征显著图下注意焦点的灰度特征,选择最佳的显著性表征,完成通过多尺度竞争策略对显著图的滤波及阈值分割实现显著区域的精确筛选,从而完成SAR图像的显著区域检测。实验采用Terra SAR-X等多幅卫星数据进行仿真实验,结果验证了模型良好的显著性检测效果,更符合实际高分辨率图像目标检测的应用需求。通过进一步与经典视觉模型对比分析,模型在改善了由斑点噪声和不均匀的海杂波背景对检测结果产生的虚警影响的同时,检测速度也较之提高了25%~45%。     

自注意力引导的红外与可见光图像融合算法

为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。     

基于边缘引导的光场图像显著性检测

针对光场图像显著性检测存在检测目标不完整、边缘模糊的问题，本文提出了一种基于边缘引导的光场图像显著性检测方法。利用边缘增强网络提取全聚焦图像的主体图和边缘增强图，结合主体图和焦堆栈图像所提取的特征获得初始显著图，以提高检测结果的准确性和完整性；将初始显著图和边缘增强图通过特征融合模块进一步学习边缘特性的信息，突出边缘细节信息；最后，使用边界混合损失函数优化以获得边界更为清晰的显著图。实验结果表明，本文所提出的网络在最新的光场图像数据集上，F-measure和MAE分别为0.88和0.046，表现均优于现有的RGB图像、RGB-D图像和光场图像显著性检测算法。所提方法能够更加精确地从复杂场景中检测出完整的显著对象，获得边缘清晰的显著图。     

多模态自适应特征融合的目标检测

随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。     

视觉注意驱动的基于混沌分析的运动检测方法

提出了视觉注意驱动的基于混沌分析的运动检测方法(MDSA)。MDSA首先基于视觉注意机制提取图像的显著区域,而后对显著区域进行混沌分析以检测运动目标。算法技术路线为:首先根据场景图像提取多种视觉敏感的底层图像特征;然后根据特征综合理论将这些特征融合起来得到一幅反映场景图像中各个位置视觉显著性的显著图;而后对显著性水平最高的图像位置所在的显著区域运用混沌分析的方法进行运动检测;根据邻近优先和返回抑制原则提取下一最显著区域并进行运动检测,直至遍历所有的显著区域。本文对传统的显著区域提取方法进行了改进以减少计算量:以邻域标准差代替center-surround算子评估图像各位置的局部显著度,采用显著点聚类的方法代替尺度显著性准则提取显著区域;混沌分析首先判断各显著区域的联合直方图（JH）是否呈现混沌特征,而后依据分维数以一固定阈值对存在混沌的JH中各散点进行分类,最后将分类结果对应到显著区域从而实现运动分割。MDSA具有较好的运动分割效果和抗噪性能,对比实验和算法开销分析证明MDSA优于基于马塞克的运动检测方法（MDM）。      

基于深度调制的超像素分割和显著性检测

提出了一种基于深度调制的超像素分割和视觉显著性检测方法。对于一对匹配的纹理和深度图,该方法首先对深度图像进行超像素计算,然后借助纹理和深度信息对超像素结果进行融合,完成对图像的超像素分割,最后对分割区域进行纹理和空间的全局对比,从而产生全分辨率的显著性图。实验证明,该方法简单、高效,所得显著性检测结果具有更高的精度,明显优于现有的视觉显著性检测方法。     

基于视觉注意机制的人脸区域预检测

为了快速搜索图像中的人脸区域,依据人类视觉系统的特点,引入Itti模型,提出了一种基于肤色特征和方向特征的人脸区域预检测注意力模型,并应用于复杂背景下彩色图像的人脸区域预检测.首先把图像从RGB空间转换到HSI空间,利用肤色在色度空间的聚散性,采用Gaussian金字塔和center-surround算子获取肤色和方向特征的多尺度视觉差异,通过这2个不同特征图的规格化和线性融合获得综合的显著图,由显著图地址转换成图像坐标找出原图中的人脸区域.实验结果表明,该方法能有效检测出人脸区域,且检测速度快,为后续的处理和分析提供了良好的基础.     

基于优化的极限学习机和深度层次的RGB-D显著检测

目前,相当多的显著目标检测方法均聚焦于2D的图像上,而RGB-D图像所需要的显著检测方法与单纯的2D图像相去甚远,这就需要新的适用于RGB-D的显著检测方法。该文在经典的RGB显著检测方法,即极限学习机的应用的基础上,提出融合了特征提取、前景增强、深度层次检测等多种思路的新的RGB-D显著性检测方法。该文的方法是:第一,运用特征提取的方法,提取RGB图4个超像素尺度的4096维特征;第二,依据特征提取中产生的4个尺度的超像素数量,分别提取RGB图的RGB, LAB, LBP特征以及深度图的LBE特征;第三,根据LBE和暗通道特征两种特征求出粗显著图,并在4个尺度的遍历中不断强化前景、削弱背景;第四,根据粗显著图选取前景与背景种子,放入极限学习机中进行分类,得到第1阶段显著图;第五,运用深度层次检测、图割等方法对第1阶段显著图进行再次优化,得到第2阶段显著图,即最终显著图。     

基于融合边缘变化信息全卷积神经网络的遥感图像变化检测

高分辨率遥感图像变化检测是了解地表变化的关键,是遥感图像处理领域的一个重要分支。现有很多基于深度学习的变化检测方法,取得了良好的效果,但是不易获得高分辨率遥感图像中的结构细节且检测精度有待提高。因此,该文提出融合了边缘变化信息和通道注意力模块的网络框架(EANet),分为边缘结构变化信息检测、深度特征提取和变化区域判别3个模块。首先,为了得到双时相图像的边缘变化信息,对其进行边缘检测得到边缘图,并将边缘图相减得到边缘差异图;其次,考虑到高分辨率遥感图像精细的图像细节和复杂的纹理特征,为了充分提取单个图像的深度特征,构建基于VGG-16网络的3支路模型,分别提取双时相图像和边缘差异图的深度特征;最后,为了提高检测精度,提出将通道注意力机制嵌入到模型中,以关注信息量大的通道特征来更好地进行变化区域的判别。实验结果表明,无论从视觉解释或精度衡量上看,提出算法与目前已有的一些方法相比,具有一定的优越性。     

基于视觉注意模型和进化规划的感兴趣区检测方法

根据生物注意机制,该文提出了一种基于视觉注意模型和进化规划的感兴趣区检测方法。采用进化规划方法分割图像候选区域;区域兴趣度由视觉注意模型产生的局部显著和进化规划计算的全局显著共同度量。在视觉注意模型中,图像经过小波多尺度变换和计算中央周边差得到局部显著度。注意焦点在显著度增强因子的作用下,选取候选区域得到感兴趣区。实验结果表明,所提方法检测的感兴趣区更接近人眼的视觉注意机制,并取得了较为满意的对象检测和兴趣度量结果。     

基于多尺度局部极值分解与ResNet152的红外与可见光图像融合

为了进一步提升红外与可见光图像融合方法的性能 ,本文提出了一种基于多尺度局部极值分解与深度学习网络ResNet152的红外与可见光图像融合方法。首先,利用多尺度局部极值分解 (multiscale local extrema decomposition,MLED)方法将源图像分解为近似图像和细节图 像,分离 出源图像中重叠的重要特征信息。然后采用残差网络ResNet152深度提取源图像的多维显著 特征, 以l₁-范数作为活性测度生成显著特征图,对近似图像进行加权平均融合,以保持能量和残 留细节 信息不丢失。在细节图像中,利用“系数绝对值取大”规则获得初始决策图,源图像作为引 导图像, 初始决策图作为输入图像进行引导滤波处理,得到优化决策图,计算加权局部能量得到能量 显著 图,对细节图像进行加权平均融合,使融合图像具有丰富的纹理细节和良好的视觉边缘感知 。最 后,对近似融合图像和细节融合图像进行重构,得到融合图像。实验结果表明,与现有的典 型融 合方法相比,本文所提出的融合方法在客观评价和视觉感受方面都取得了最好的效果。