基于Bert-GNNs异质图注意力网络的早期谣言检测

网络谣言的广泛传播已经造成了很大的社会危害,因此早期谣言检测任务已成为重要的研究热点.现有谣言检测方法主要从文本内容、用户配置和传播结构中挖掘相关特征,但没有同时利用到文本全局语义关系和局部上下文语义关系.为了克服以上局限性,充分利用到谣言数据中的文本全局-局部上下文语义关系、文本语义内容特征和推文传播的结构特征,本文提出了一种基于Bert-GNNs异质图注意力网络的早期谣言检测算法（Bert-GNNs Heterogeneous Graph Attention Network,BGHGAN）.该方法根据历史谣言集和用户特征构建一个推文-词-用户异质图,通过采用预训练语言模型Bert和图卷积神经网络（Graph Convolutional Network,GCN）结合的方法进行特征学习,以挖掘谣言的文本语义特征和文本之间的关系,并将异质图分解为推文-词子图和推文-用户子图,采用图注意力网络（Graph Attention network,GAT）的方式分别进行特征学习,从而更充分利用文本全局-局部上下文语义关系和传播图的全局结构关系以加强特征表达;最后,通过子图级注意力机制将不同模块的...     

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。     

基于显著性特征和DCNN的高分遥感影像场景分类

高分遥感影像的场景分类是解译遥感影像信息的重要工作之一.为了准确提取出目标信息,针对高分遥感影像场景分类中存在的背景复杂、目标多样、目标信息与背景信息难以区分等问题,提出了一种基于显著性特征和深度卷积神经网络(DCNN)的高分遥感影像场景分类方法.首先,利用K-means聚类与超像素分割算法得到影像的颜色空间分布与颜色对比图,融合不同对比图,以得到显著图.然后,通过对数变换增强显著图中的特征,采用自适应阈值分割方法提高目标的区分度并划分出目标区域和背景区域,以提取出感兴趣区域.最后,构建了一种用于提取深层语义特征的DCNN模型,并将得到的特征输入网络模型中进行训练和分类.实验结果表明,本方法能有效区分主要目标信息与背景信息,减少无关信息的干扰,在UC-Merced数据集和WHU-RS数据集上的分类精度分别为96.10％和95.84％.     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

基于Bi-LSTM的维吾尔语人称代词指代消解

针对维吾尔语人称代词指代现象,提出利用双向长短时记忆网络（Bi-directional long short term memory,Bi-LSTM）的深度学习机制进行基于深层语义信息的维吾尔语人称代词指代消解.首先将富含语义和句法信息的word embedding向量作为Bi-LSTM的输入,挖掘维吾尔语隐含的上下文语义层面特征;其次对维吾尔语人称代词指代现象进行探索,提取针对人称代词指代研究的24个hand-crafted特征;然后利用多层感知器（multilayer perception,MLP）融合Bi-LSTM学习到的上下文语义层面特征与hand-crafted特征;最后使用融合的两类特征训练softmax分类器完成维吾尔语人称代词指代消解任务.实验结果表明,充分利用两类特征的优势,维吾尔语人称代词指代消解的F1值达到76.86%.实验验证了Bi-LSTM与单向LSTM、浅层机器学习算法的SVM和ANN相比更具备挖掘隐含上下文深层语义信息的能力,而hand-crafted层面特征的引入,则有效提高指代消解性能.     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案。首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影响,构建自适应图卷积网络;最后,将自适应图卷积网络作为基本框架,并嵌入时空注意力模块,与关节信息、骨骼信息以及各自的运动信息构建双流融合模型。该算法在NTU RGB+D数据集的两种评价标准下分别达到了90.2%和96.2%的准确率,在大规模的数据集Kinetics上体现出模型的通用性,验证了该算法在提取时空特征和捕捉全局上下文信息上的优越性。      

基于深度学习的语义分割综述

语义分割是深度学习计算机视觉方面的核心领域,有着很深的研究价值.语义分割技术的发展在近几年趋于成熟,从传统的方法到基于卷积神经网络方法的突破,构建了端到端的语义分割深度学习神经网络算法.这些方法被用于人工智能当中,应用在无人驾驶,遥感影像检测,医疗影像研究等方面.基于对经典语义分割算法进行学习,每个经典算法都有自己的特...     

基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.     

多尺度上下文融合的交通标志识别算法研究

针对自然场景中小型交通标志检测漏检和虚警问题,提出了一种多尺度上下文融合的交通标志检测算法.以YOLOv3为检测框架,将特征金字塔网络的深层特征信息融合进更浅层特征层,提高更浅层特征层中高级前景语义信息的利用率;在YOLOv3框架基础上加入上下文模块,重新分配交通标志特征图中的上下文信息权重,加强目标特征信息的复用;使...     

多特征自适应融合的高分辨率遥感影像变化检测

常规的遥感影像变化检测主要基于光谱信息,没有充分挖掘高分辨率遥感影像的多特征信息,导致检测结果完整性不高、准确性低等问题,针对此问题,提出一种基于面向对象思想的多特征自适应融合的遥感影像变化检测方法。首先,应用e Cognition软件对两时相遥感影像进行分割,提取影像对象的光谱、纹理、形状特征,然后构建神经网络进行特征融合,自适应地调节特征融合权值,得到最终检测结果。实验结果表明,多特征自适应融合的检测方法能够有效减小漏检、虚检概率,提高检测的准确性与完整性。     

语义分割网络重建单视图遥感影像数字表面模型

该文提出了一种仅依靠激光探测与测量数据,实现单视图遥感影像数字表面模型(DSM)重建的新方法。该方法基于深度学习技术设计了一种编码-解码结构的语义分割网络,该网络采用多尺度残差融合的编码块与解码(MRFED)块从输入图像中提取语义信息,进而逐像素预测高度值;采用特征图跳跃级联的策略保留输入图像的细节特征和结构信息。该文采用了一个包含DSM数据的遥感影像公开数据集训练与测试模型,实验结果表明：DSM重建结果与真值的平均绝对误差(MAE)为2.1e-02,均方根误差(RMSE)为3.8e-02,结构相似性(SSIM)为92.89%,均优于经典的深度学习语义分割网络。实验证实该方法能够有效实现单视图遥感影像的DSM重建,具有较高的精度,以及较强的地物分布结构重建能力。     

语义分割网络重建单视图遥感影像数字表面模型

该文提出了一种仅依靠激光探测与测量数据,实现单视图遥感影像数字表面模型(DSM)重建的新方法。该方法基于深度学习技术设计了一种编码-解码结构的语义分割网络,该网络采用多尺度残差融合的编码块与解码(MRFED)块从输入图像中提取语义信息,进而逐像素预测高度值;采用特征图跳跃级联的策略保留输入图像的细节特征和结构信息。该文采用了一个包含DSM数据的遥感影像公开数据集训练与测试模型,实验结果表明:DSM重建结果与真值的平均绝对误差(MAE)为2.1e-02,均方根误差(RMSE)为3.8e-02,结构相似性(SSIM)为92.89%,均优于经典的深度学习语义分割网络。实验证实该方法能够有效实现单视图遥感影像的DSM重建,具有较高的精度,以及较强的地物分布结构重建能力。     

基于深度卷积神经网络和多核学习的遥感图像分类方法

为解决传统遥感图像分类方法特征提取过程复杂、特征表现力不强等问题,该文提出一种基于深度卷积神经网络和多核学习的高分辨率遥感图像分类方法。首先基于深度卷积神经网络对遥感图像数据集进行训练,学习得到两个全连接层的输出将作为遥感图像的两种高层特征;然后采用多核学习理论训练适合这两种高层特征的核函数,并将它们映射到高维空间,实现两种高层特征在高维空间的自适应融合;最后在多核融合特征的基础上,设计一种基于多核学习-支持向量机的遥感图像分类器,对遥感图像进行精确分类。实验结果表明,与目前已有的基于深度学习的遥感图像分类方法相比,该算法在分类准确率、误分类率和Kappa系数等性能指标上均有所提升,在实验测试集上3个指标分别达到了96.43%, 3.57%和96.25%,取得了令人满意的结果。     

Semantic segmentation of 3D point cloud based on contextual attention CNN

Aiming at the under-segmentation of 3D point cloud semantic segmentation caused by the lack of contextual fine-grained information of the point cloud,an algorithm based on contextual attention CNN was proposed for 3D point cloud semantic segmentation.Firstly,the fine-grained features in local area of the point cloud were mined through the attention coding mechanism.Secondly,the contextual features between multi-scale local areas were captured by the contextual recurrent neural network coding mechanism and compensated with the fine-grained local features.Finally,the multi-head mechanism was used to enhance the generalization ability of the network.Experiments show that the mIoU of the proposed algorithm on the three standard datasets of ShapeNet Parts,S3DIS and vKITTI are 85.4%,56.7% and 38.1% respectively,which has good segmentation performance and good generalization ability.     

基于融合边缘变化信息全卷积神经网络的遥感图像变化检测

高分辨率遥感图像变化检测是了解地表变化的关键,是遥感图像处理领域的一个重要分支。现有很多基于深度学习的变化检测方法,取得了良好的效果,但是不易获得高分辨率遥感图像中的结构细节且检测精度有待提高。因此,该文提出融合了边缘变化信息和通道注意力模块的网络框架(EANet),分为边缘结构变化信息检测、深度特征提取和变化区域判别3个模块。首先,为了得到双时相图像的边缘变化信息,对其进行边缘检测得到边缘图,并将边缘图相减得到边缘差异图;其次,考虑到高分辨率遥感图像精细的图像细节和复杂的纹理特征,为了充分提取单个图像的深度特征,构建基于VGG-16网络的3支路模型,分别提取双时相图像和边缘差异图的深度特征;最后,为了提高检测精度,提出将通道注意力机制嵌入到模型中,以关注信息量大的通道特征来更好地进行变化区域的判别。实验结果表明,无论从视觉解释或精度衡量上看,提出算法与目前已有的一些方法相比,具有一定的优越性。     

基于深度卷积网络的高分遥感图像语义分割

随着我国高分对地观测系统的不断发展,对高分影像智能化分析与处理的应用需求愈来愈多,基于深度学习语义分割的影像分类也受到高度关注。作为近景图像语义分割的热点模型,Deeplab网络在应用时取得了良好的效果。为了解决多尺度高分辨率遥感影像语义分割问题,本文首先利用空洞卷积扩大Atrous空间金字塔池化（ASPP）结构的感受野,然后对DeepLabv3进行改进并将其用于高分2号遥感影像的分类处理。我们以郴州地区的高分遥感影像为研究对方法进行了验证,首先对原始影像进行预处理,再对预处理图像进行数据增强与扩充,最后通过对不同参数条件下的分类结果进行对比,分析该模型的适应性和精确性。在我们的数据集中,本文方法的实验分类像素精度为88.2％,MIoU达到72.5％,得到了比Deeplab更好的分类效果。      

基于三元采样图卷积网络的半监督遥感图像检索

该文提出了一种基于三元采样图卷积网络的度量学习方法,以实现遥感图像的半监督检索。所提方法由三元图卷积网络(TGCN)和基于图的三元组采样(GTS)两部分组成。TGCN由3个具有共享权重的并行卷积神经网络和图卷积网络组成,用以提取图像的初始特征以及学习图像的图嵌入。通过同时学习图像特征以及图嵌入,TGCN能够得到用于半监督图像检索的有效图结构。接着,通过提出的GTS算法对图结构内隐含的图像相似性信息进行评价,以选择合适的困难三元组(Hard Triplet),并利用困难三元组组成的样本集合对模型进行有效快速的模型训练。通过TGCN和GTS的组合,提出的度量学习方法在两个遥感数据集上进行了测试。实验结果表明,TGCN-GTS具有以下两方面的优越性：TGCN能够根据图像及图结构学习到有效的图嵌入特征及度量空间;GTS有效评估图结构内隐含的图像相似性信息选择合适的困难三元组,显著提升了半监督遥感图像检索效果。     

基于改进双边网络的SAR图像海陆分割方法

海陆分割是海岸线提取、近岸目标检测的一个基本步骤。传统的海陆分割算法分割准确度差,参数调节繁琐,难以满足实际应用要求。卷积神经网络能够高效地提取图像多个层次特征,广泛应用于图像分类任务,可作为海陆分割新的技术途径。其中双边网络(BiSeNet)能有效平衡分割精度和速度,在自然场景图像语义分割任务上取得了较好的表现。但对于SAR图像海陆分割任务,双边网络难以有效提取SAR图像的上下文语义信息和空间信息,分割效果较差。针对上述问题,该文根据SAR图像特点减少双边网络中空间路径的卷积层数,从而降低空间信息的损失,并选用ResNet18轻量化模型作为上下文路径骨干网络,减少过拟合现象并提供较广阔的特征感受野,同时提出边缘增强损失函数策略,提升模型分割性能。基于高分三号SAR图像数据的实验表明,所提方法可有效提升网络的预测精度和分割速率,其分割准确度和F₁分数分别达到了0.9889和0.9915,对尺寸大小为1024×1024的SAR图像切片处理速率为12.7 frames/s,均优于当前主流的分割网络框架。此外,所提网络的规模较BiSeNet减少50%以上,并小于轻量级的U-Net架构,同时网络有较强的泛化性能,具有较高的实际应用价值。      

一种改进的噪声图像语义分割方法

在图像的获取和传输过程中,可能会出现噪声, 它不仅破坏了图像的真实信息,而且严重影响了图像的视觉效果。因此, 噪声图像的语义分割成为图像分析中最具挑战性的问题之一。为了提高噪声图像的分割性能 ,本文在分析全卷积网络(FCN)的 基础上,提出一种改进的FCN模型(IFCN)对噪声图像语义分割。该算法采用一种新的中值 池化方法代替卷积神经网络的最大值 池化,可以在去除噪声的同时保留更多边缘信息。在训练整个深度网络时,通过反向传播算 法以一种直接的端到端,像素到像素 的方式映射。实验结果表明,提出的模型在PASCAL VOC2012数据集上对噪声图像语义分割 可以获得比较好的分割效果,准确率mean IU达到86.5%。     

基于编码-解码神经网络遥感图像语义分割应用研究

图像分割的实现经历了从传统方法到神经网络方法的演变。本文从图像分割的发展过程入手,介绍了图像分割与语义分割的区别,对最近几年传统图像分割方法在遥感图像分割领域的应用进行梳理分析,总结了传统遥感图像分割方法的不足。基于此,归纳了几种经典编码-解码神经网络架构在遥感图像语义分割领域的应用,对其改进方式进行了综合性分析,并对其未来的发展趋势进行展望。