基于渐进结构感受野和全局注意力的显著性检测

当前的显著性检测算法在复杂场景下难以分割出完整显著性区域以及锐利的边缘细节.针对这一问题,文中提出了一种新颖的特征融合算法.该方法利用全卷积神经网络获取多个层次粗糙的初始特征并结合特征金字塔结构对其深度解析.设计渐进结构感受野模块将特征转换至不同尺度的空间进行优化,实现特征的渐进融合与传递,有选择性地增强显著性区域.采...     

基于改进特征金字塔网络和注意力机制的场景文本检测

本文提出了基于可切换空洞卷积与注意力导向的特征金字塔网络（SwitchableDilatedConvolutionsand Attention-guidedFPN,SDA-FPN）模型,通过加入不同空洞率的可切换空洞卷积使模型能够根据任务选择不同感受野的特征图;引入注意力导向模块（Attention-guideModule,AM）增强特征语义信息且减少空洞卷积对文本边界信息的破坏。针对各尺度特征融合不充分导致语义信息丢失,提出了特征增强融合模块（FeatureEnhancementFusionModule,FEFM）,通过结合注意力机制增强模型对尺度、空间、任务的感知能力。该方法在公开数据集ICDAR2015取得了较好的检测结果,且召回率有明显的提升。     

基于Transformer和空间注意力的红外与可见光图像融合

目前,已经有很多研究人员将卷积神经网络应用到红外与可见光图像融合任务中,并取得了较好的融合效果。其中有很多方法是基于自编码器架构的网络模型,这类方法通过自监督方式进行训练,在测试阶段需要采用手工设计的融合策略对特征进行融合。但现有的基于自编码器网络的方法很少能够充分地利用浅层特征和深层特征,而且卷积神经网络受到感受野的限制,建立长距离依赖较为困难,因而丢失了全局信息。而Transformer借助于自注意力机制,可以建立长距离依赖,有效获取全局上下文信息。在融合策略方面,大多数方法设计的较为粗糙,没有专门考虑不同模态图像的特性。因此,在编码器中结合了CNN和Transformer,使编码器能够提取更加全面的特征。并将注意力模型应用到融合策略中,更精细化地优化特征。实验结果表明,该融合算法相较于其他图像融合算法在主观和客观评价上均取得了优秀的结果。     

动态感受野特征选择去雾网络

基于深度学习的去雾模型大多在网络参数固定后，感受野也就随之固定。这导致去雾网络无法针对每个具体的场景采用最优的模式进行去雾，从而造成结果中存在模糊和失真。针对这些问题，文中提出动态感受野特征选择去雾网络。该网络以带有空洞卷积的特征注意力空洞模块为基础组件，并行使用多个空洞率不同的特征注意力空洞模块来提取多尺度特征，并进行动态特征融合，构成动态感受野模块。文中将多个动态感受野模块搭配残差连接组成深度网络，对不同层次的特征进行动态混合，最终解码得到去雾图像。实验结果表明，文中所提算法对室内和室外的合成雾图以及真实含雾图像均具有良好的去雾效果，可以生成清晰、自然的去雾图像。     

基于卷积神经网络与全局优化的协同显著性检测

针对目前协同显著性检测问题中存在的协同性较差、误匹配和复杂场景下检测效果不佳等问题,该文提出一种基于卷积神经网络与全局优化的协同显著性检测算法。首先基于VGG16Net构建了全卷积结构的显著性检测网络,该网络能够模拟人类视觉注意机制,从高级语义层次提取一幅图像中的显著性区域;然后在传统单幅图像显著性优化模型的基础上构造了全局协同显著性优化模型。该模型通过超像素匹配机制,实现当前超像素块显著值在图像内与图像间的传播与共享,使得优化后的显著图相对于初始显著图具有更好的协同性与一致性。最后,该文创新性地引入图像间显著性传播约束因子来克服超像素误匹配带来的影响。在公开测试数据集上的实验结果表明,所提算法在检测精度和检测效率上优于目前的主流算法,并具有较强的鲁棒性。     

融合红外特征的可见光图像目标检测算法研究

为提升复杂场景下基于可见光图像的目标检测性能,将深层卷积神经网络与多源信息融合技术相结合,提出了一种自适应融合红外特征的可见光目标检测算法.该算法以红外和可见光图像作为输入,通过卷积、激活结合残差结构的方式分别提取目标红外和可见光特征,并利用空间和通道注意力机制提升目标所属类别以及所在图像区域的特征权重.其次,将提取的红外特征以自适应加权的方式融入对应维度的可见光特征中,充分弥补目标在单模态模型下的局限.最后,针对多尺度目标,设计了金字塔采样结构,通过交替上采样和下采样方式来充分融合目标全局及局部特征,增强网络尺度不变性.通过实验验证,所提注意力机制、特征自适应融合以及金字塔采样结构都能有效提升目标检测效果,相比于同类型红外-可见光目标检测方法,该方法可以充分融合目标多模态特征,并有效降低噪声干扰,使网络具有更高的检测性能.同时,在实际电网设备检测中,所提方法也表现出较高泛化能力和鲁棒性,可以准确高效的实现目标设备的识别及定位.     

多尺度特征融合U-Net的遥感影像黑臭水体智能检测

研究采用卫星遥感技术获取高分辨率遥感影像水体样本数据集,基于深度卷积神经网络从高分辨遥感影像中提取水体并进行黑臭水体智能监测,提出了一种改进U-Net的黑臭水体检测网络模型(IWDNet)。基于U-Net结构引入跳跃式多尺度特征融合,结合通道注意力机制、卷积注意力模块、通道与空间注意力机制生成不同多尺度特征融合注意力机制(MFFAM)模块进行对比,并引入空洞卷积扩大网络感受野,最终实现黑臭水体的识别检测。实验证明：基于跳跃式多尺度融合与CBAM注意力机制的黑臭水体检测网络(MFFCBAM-IWNet)模型有效提升了识别精度,在高分辨遥感影像水体样本数据集上表现最佳,总体精度达98.56%,Kappa系数达0.978 4。     

基于多尺度特征增强卷积神经网络遥感目标检测算法

随着技术的不断发展,遥感技术被广泛应用于地图绘制、资源勘探以及灾害预警等领域。遥感目标检测是进行遥感图像解译的关键步骤。传统的目标检测算法在对遥感目标进行检测的过程中存在目标漏检、检测精度低以及无法解决小目标检测等问题。提出一种基于多尺度特征增强卷积神经网络(MSFE-CNNs)的遥感目标检测算法,通过对不同卷积层特征进行增强和融合,使得模型具有更快的训练速度和更高的检测精度。所提算法结合特征提取模块、特征增强模块、自注意力机制和金字塔特征注意力机制。特征提取模块对输入的海量遥感数据进行特征提取,获取不同类别目标的多尺度特征;特征增强模块用于增强不同卷积层特征相关性,强化模型的学习能力和特征之间的非线性关系;自注意力机制和金字塔特征注意力机制主要解决传统卷积神经网络无法获取小尺度目标特征的问题。为了验证所提算法的有效性,在DOTA数据集上进行不同方法对比,实验结果表明所提算法在检测精度和训练速度上均优于现有基于深度学习的目标检测算法。     

基于改进的AG-CNN的视网膜OCT图像的黄斑病变识别方法

本文针对目前应用全局图像训练卷积神经网络可能会受到若干无关噪声区域的影响,易导致视网膜OCT图像黄斑病变识别或诊断错误等问题,提出了一种改进的注意力引导四分支卷积神经网络的视网膜OCT图像黄斑病变识别方法.采用改进注意力引导卷积神经网络框架,通过集成全局分支、局部分支和层分割分支构成融合分支,利用注意力热图对重要区域进行掩膜和训练,减少视网膜OCT图像噪声的干扰和黄斑病变识别错误率,通过与VGG16和IDL 2种方法在公开数据集上进行了实验验证比较.结果表明,文中方法在视网膜OCT图像数据集上对于识别准确度和识别性能的提升具有显著性的作用.     

基于注意力机制和特征聚合的车道线检测

车道线检测的可靠性和稳定性对智能驾驶系统来说至关重要.由于车道线容易受到光线、遮挡、老化等复杂情况的干扰,导致传统的语义分割网络无法准确的学习到车道线的细节特征.为解决该问题,本文首先在编码网络部分引入CA坐标注意力机制,进一步增强网络对车道线提取能力,然后,在特征聚合网络引入金字塔空洞卷积模块与RESA模块并联来增强模型的感受野,以丰富和提取全局的空间特征信息,最后经过解码网络将融合后的特征图上采样到原图大小,并预测每个车道的位置和概率分布.实验证明,文中提出的算法在CULane数据集上有较高准确率,多路面综合准确率达到76.2%,并通过实车测试表明,该算法检测帧率为30 fps,可以在复杂交通场景下进行实时检测,具有较高的泛化性和鲁棒性.     

一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

Feature refinement for image-based driver action recognition via multi-scale attention convolutional neural network

Driver distraction has currently been a global issue causing the dramatic increase of road accidents and casualties. However, recognizing distracted driving action remains a challenging task in the field of computer vision, since inter-class variations between different driver action categories are quite subtle. To overcome this difficulty, in this paper, a novel deep learning based approach is proposed to extract fine-grained feature representation for image-based driver action recognition. Specifically, we improve the existing convolutional neural network from two aspects: (1) we employ multi-scale convolutional block with different receptive fields of kernel sizes to generate hierarchical feature map and adopt maximum selection unit to adaptively combine multi-scale information; (2) we incorporate an attention mechanism to learn pixel saliency and channel saliency between convolutional features so that it can guide the network to intensify local detail information and suppress global background information. For experiment, we evaluate the designed architecture on multiple driver action datasets. The quantitative experiment result shows that the proposed multi-scale attention convolutional neural network (MSA-CNN) obtains the state of the art performance in image-based driver action recognition.     

基于细化多尺度深度特征的目标检测网络

现有深度卷积神经网络中感受野尺度单一,无法适应目标的尺度变化和边界形变,故此本文提出了一种提取并融合多尺度特征的目标检测网络.该网络通过减少池化并在网络底层加入空间加信道压缩激励模块来突出可利用的细节信息,生成高质量的特征图;此外,在深层网络中加入可变多尺度特征融合模块,该模块具有多种尺度的感受野并可根据物体边界预测采样位置,最后通过融合多尺度特征使网络具有更强的特征表达能力并且对不同尺度实例及其边界信息更具鲁棒性.实验证明,本文结构实现了比原有结构更高的平均精度,与目前主流目标检测算法相比也具有一定优势.     

基于改进U-Net网络的腺体细胞图像分割算法

针对腺体图像在自动分割过程中由于多尺度目标和信息丢失影响导致准确率降低的问题,文中采用了一种引入注意力模块的全卷积神经网络模型。该模型遵循编码器-解码器结构,在编码网络中用空洞残差卷积层代替原有的普通卷积层,并添加空洞金字塔池;再在解码网络中加入注意力模块,使模型输出高分辨率特征图,提高对多尺度目标的分割精度。实验结果表明,提出的网络模型参数少分割精度高,对腺体图像的平均分割精度高达89.7%,具有较好的鲁棒性。     

基于深度空时域特征融合的高动态空中多形态目标检测方法(特邀)

针对复杂背景下,依靠高超声速飞行器搭载的红外探测器对高动态空中目标的可靠探测和精确识别问题,提出了一种基于深度空时域特征融合的空中多形态目标检测方法。设计了加权双向循环特征金字塔结构提取多形态目标静态特征,并引入可切换空洞卷积,增大感受野的同时减少空域信息损失。对于时序运动特征的提取,为了抑制复杂背景噪声的同时将角点信息集中到运动区域中,通过特征点匹配法生成掩膜图,之后进行光流计算,根据计算结果设计稀疏光流特征图,利用3D卷积提取多个连续帧图像中包含的时序特征,生成三维时序运动特征图。最后,通过对图像静态特征与时序运动特征进行通道维度的拼接,实现深度空时域特征融合。大量的对比实验表明,文中方法可明显减少复杂背景下的虚假识别概率,具备高实时性的同时目标识别准确率达89.87%,满足高动态下的红外目标智能检测识别需求。     

空间金字塔与局部感受野相结合的相关熵极限学习机

针对空间金字塔词袋模型中空间特征分布信息利用效率低,各类特征融合不充分的问题,该文提出空间金字塔与局部感受野相结合的相关熵极限学习机(SR-CELM)。在特征提取部分,利用多尺度局部感受野对生成的多层级的字典特征分布图进行卷积,并引入局部位置特征和全局轮廓特征。在特征分类部分,提出一种新的网络以融合各部分特征。同时在传统极限学习机训练方法的基础上利用相关熵准则构建判别性约束,推导出权重更新公式以求解网络的输出权重。为验证SR-CELM的有效性,该文分别在数据库Caltech 101, MSRC和15 Scene上进行实验。实验表明SR-CELM能够充分利用特征中可辨识信息,提高分类正确率。     

联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法

为尽可能保持原始低分辨率多光谱(LRMS)图像光谱信息的同时,显著提高融合后的多光谱图像的空间分辨率,该文提出一种联合多流融合和多尺度学习的卷积神经网络遥感图融合方法.首先将原始MS图像输入频谱特征提取子网得到其光谱特征,然后分别将通过梯度算子处理全色图像得到的梯度信息和通过卷积后的全色图像与得到的光谱特征图在通道上拼...     

基于改进YOLOv4-tiny的轻量化室内人员目标检测算法

深度学习在室内人员检测领域应用广泛,但是传统的卷积神经网络复杂度大且需要高算力GPU的支持,很难实现在嵌入式设备上的部署。针对上述问题,该文提出一种基于改进YOLOv4-tiny的轻量化室内人员目标检测算法。首先,设计一种改进的Ghost卷积特征提取模块,有效减少了模型的复杂度;同时,该文通过采用带有通道混洗机制的深度可分离卷积进一步减少网络参数;其次,该文构建了一种多尺度空洞卷积模块以获得更多具有判别性的特征信息,并结合改进的空洞空间金字塔池化结构和具有位置信息的注意力机制进行有效的特征融合,在提升准确率的同时提高推理速度。在多个数据集和多种硬件平台上的实验表明,该文算法在精度、速度、模型参数和体积等方面优于原YOLOv4-tiny网络,更适合部署于资源有限的嵌入式设备。     

多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取

针对全卷积神经网络多次下采样操作导致的道路边缘细节信息损失和道路提取不准确的问题,本文提出了多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取方法。首先,通过目视解译的方法制作大量的道路提取标签数据;其次,在残差网络ResNet-101的各个残差块中引入膨胀卷积和多尺度特征感知模块,扩大特征点的感受野,避免特征图分辨率减小和道路边缘细节特征的损失;然后,通过叠加融合和上采样操作将各个尺寸的道路特征图进行融合,得到原始分辨率大小的特征图;最后,将特征图输入Sigmoid分类器中进行分类。实验结果表明:本文方法的提取精度优于经典全卷积神经网络模型,准确率达到了98%以上,有效保留了道路的完整性及其边缘的细节信息。