基于通道多尺度融合的场景深度图超分辨率网络

针对传统消费级深度相机采集的场景深度图通常存在分辨率低、深度图模糊等缺陷,利用场景高分辨率彩色图引导,提出一种基于通道多尺度融合的场景深度图超分辨率网络——CMSFN.为了有效地利用场景深度图的多尺度信息,CMSFN采用金字塔多尺度结构,在金字塔各层级上,通过对低分辨率深度图进行通道多尺度上采样,并结合残差学习提升深度图分辨率.首先,在超分辨率网络金字塔结构每一层级上对深度特征图与同尺度彩色特征图通过密集连接进行融合,使场景彩色-深度图特征得到复用并能够充分融合场景结构信息;其次,对融合后的深度特征图进行通道多尺度划分,使网络能获得不同大小的感受野,并在不同尺度上有效捕捉特征信息;最后,在CMSFN中加入全局与局部残差结构,使网络在恢复场景深度图高频残差信息的同时缓解梯度消失.对于Middlebury数据集A组, CMSFN方法超分辨率均方根误差平均为1.33,与MFR和PMBANet方法相比,分别降低了6.99%和26.92%;对于Middlebury数据集B组, CMSFN方法超分辨率均方根误差平均为1.41,与MFR和PMBANet方法相比,分别降低了9.03%和17.05%.实...     

基于多源数据的阿勒泰地区雪深反演研究

利用阿勒泰地区 2010~2012年冬季(11月~次年2月)3类积雪数据:风云三号微波成像仪(FY\|3/MWRI)反演的雪深数据、美国人机交互式多仪器冰雪制图系统(IMS)积雪面积数据、阿勒泰及周边地区实测雪深数据,进行积雪深度的反演研究。通过结合3类积雪数据的各自优势,建立修正模型,最终得到较准确的研究区雪深数据。同时通过编程实现了相应模型的操作平台,为今后研究区积雪业务化监测做好准备。结果表明:模型提高了FY\|3/MWRI数据反演阿勒泰地区积雪深度的准确性,改善了FY\|3/MWRI数据在阿勒泰地区雪深反演偏低的缺点,使微波与实测平均雪深误差由修正前的21.7~12.1 cm缩小为修正后的3.7~1.5 cm。     

基于图像超分辨率的多尺度特征交互传播研究

该文构建了一种可对不同形式的多尺度结构进行归纳的统一框架,并基于该框架系统地探究了多尺度卷积的两个因素——特征传播和跨尺度交互,提出了简单而有效的多尺度卷积单元——多尺度-跨尺度-权重共享的卷积(MS³-Conv)网络。实验结果表明,与基于标准卷积的网络相比,基于MS³-Conv的网络可使用较少的参数和较低的计算成本实现更好的图像重建性能。除了定量分析,该文也对重建图像进行可视化分析,证明了MS³-Conv网络能更好地恢复高频细节。     

融合多尺度特征的遥感影像道路提取方法

针对遥感影像中由于道路信息错综复杂,导致道路提取不完整、精确度低等问题,提出一种新型遥感影像道路提取方法。融合多尺度特征改善道路提取的整体效果,基于深度残差网络设计混合空洞卷积,并通过定义卷积核各值的间距增大特征提取感受野,从而丰富多尺度特征融合模块中的浅层道路语义信息。在编码端提取特征后,利用权重分布的方法匹配感受野尺度,使用不同层级间的特征对全局先验信息进行表征,提高多尺度融合特征获取浅层道路语义信息的准确性,并将改进的多孔空间金字塔池化模块融入到深度残差网络中,挖掘并深度聚合道路浅层次和深层次的语义信息。在两种高分辨率遥感数据集Cheng_Data_Roads和Zimbabwe_Data_Roads上的实验结果表明,所提方法的F1值和MIoU值分别为91.16%和83.63%,准确率、召回率等评价指标均明显优于U-net、ResUnet、D-Linknet等语义分割方法。     

基于递归多尺度卷积网络的图像超分辨率重建

不断加深网络的深度可提高网络的超分辨率重建效果,但是网络的加深会导致网络参数量急速增加,难以进行网络训练和内存存储.为了减小深度网络的参数规模并尽量保持网络的重建性能,基于递归和多尺度的思想,文中提出精简的基于递归多尺度卷积网络的图像超分辨率重建方法.首先利用多尺度模块充分提取图像在不同尺度下的特征信息,再通过递归操作实现网络规模的加深而不增加网络的参数量,最后将每次递归操作的输出进行特征融合,作为高分辨率图像重建的输入.实验表明,文中方法在网络参数量较少时重建效果较优.     

基于遥感的植被覆盖度估算方法述评

随着遥感技术的发展,作为描述植被覆盖及生长状况的度量参数--“植被覆盖度”在农业、环境、生态等领域应用越来越广泛。介绍了植被覆盖度的重要作用及研究意义,叙述了其遥感监测方法的研究现状及常用遥感数据源,主要从统计、物理、FCD等模型入手讨论植被覆盖度的遥感估算方法及其优缺点,并对今后研究方向及发展趋势进行了展望。
     

基于多尺度特征递归卷积的稠密点云重建网络

针对在三维重建任务中,由于弱纹理区域的光度一致性测量误差较大,使得传统的多视图立体算法难以处理的问题,提出了一种多尺度特征聚合的递归卷积网络(MARDC-MVSNet),用于弱纹理区域的稠密点云重建。为了使输入图像分辨率更高,该方法使用一个轻量级的多尺度聚合模块自适应地提取图像特征,以解决弱纹理甚至无纹理区域的问题。在代价体正则化方面,采用具有递归结构的分层处理网络代替传统的三维卷积神经网络(CNN),极大程度地降低了显存占用,同时实现高分辨率重建。在网络的末端添加一个深度残差网络模块,以原始图像为指导对正则化网络生成的初始深度图进行优化,使深度图表述更准确。实验结果表明,在DTU数据集上取得了优异的结果,该网络在拥有较高深度图估计精度的同时还节约了硬件资源,且能扩展到航拍影像的实际工程之中。     

融合多尺度特征的复杂手势姿态估计网络

目的 基于单幅RGB图像的手势姿态估计受手势复杂性、手指特征局部自相似性及遮挡问题的影响,导致手势姿态估计准确率低。为此,提出一种面向单目视觉手势姿态估计的多尺度特征融合网络。方法 1）采用ResNet50(50-layer residual network)模块从RGB图像提取不同分辨率特征图,通过通道变换模块显式地学习特征通道间的依赖关系,增强重要的特征通道信息,弱化次要的特征通道信息。2）在全局回归模块中,通过设计节点间的连接方式融合不同分辨率特征图,以便充分利用图像的细节与整体信息。采用局部优化模块继续提取更深层的特征信息,获得手部关节点的高斯热图,以此修正遮挡等原因造成部分关节点回归不准确的问题。3）计算经通道变换模块处理后的最小特征图,通过全局池化和多层感知机处理该特征图以获得手势类别和右手相对于左手的深度。4）综合以上结果获得最终的手势姿态。结果 采用InterHand2.6M和RHD(rendered handpose dataset)数据集训练多尺度特征融合网络,评估指标中根节点的平均误差和关节点的平均误差,均低于同类方法,且在一些复杂和遮挡的场景下鲁棒性更高。在In...     

基于多尺度特征融合的土地利用分类算法

针对土地利用分类中高空间分辨率遥感图像已标注样本少和传感器高度变化导致地物形变等问题,提出一种基于多尺度特征融合的土地利用分类算法。通过对多个卷积层特征进行多尺度自适应融合,降低地物形变对分类精度造成的影响。为进一步提高分类精度,利用预训练网络提取的深度特征对多尺度特征融合部分和全连接层进行预训练,采用增广数据集对整个网络进行微调。实验结果表明,自适应融合方法改善了融合效果,有效提高了土地利用分类的精度。     

基于多尺度融合的图像超分辨率重建北大核心CSCD

针对卷积神经网络在图像超分辨率重建任务上忽视提取多尺度特征的问题,提出了一种多尺度融合网络结构。该模型从不同空间尺寸的特征图中提取高频和低频特征,并引入注意力机制,能够自适应地调整不同通道和空间区域的权重。同时,利用不同尺寸的卷积核捕捉多尺度特征,以更好地恢复图像高频细节。在多个基准数据集上进行实验,结果表明,该模型在峰值信噪比、结构相似性和视觉效果上均优于其他几种先进的图像超分辨率重建模型。     

基于轻量级特征融合卷积网络的图像分类算法

传统卷积神经网络存在卷积核单一、网络结构复杂和参数冗余的问题。提出一种轻量级特征融合卷积神经网络MS-FNet。在融合模块中采用多路结构以增加卷积神经网络的宽度,通过不同尺寸的卷积核对输入特征图进行处理,提高网络在同一层中提取不同特征的能力,并在每次卷积后采用批归一化、ReLU等方法去除冗余特征。此外,使用卷积层代替传统的全连接层,从而加快模型的训练速度,缓解因参数过多造成的过拟合现象。实验结果表明,MS-FNet可在降低错误率的同时,有效减少网络参数量。     

南方丘陵区植被覆盖度遥感估算与时空变化研究——以福建省永定县为例

植被覆盖度是生态环境监测的重要指标,而复杂地形因素影响对山地植被遥感信息准确提取。基于Landsat-8OLI遥感数据,分别采用像元二分模型和线性混合光谱分解法,在对比分析植被覆盖度的地形敏感性基础上,选择山地植被指数(NDMVI)估算了1992、2002和2014年永定县的植被覆盖度,并分析其变化。结果表明:1基于山地植被指数(NDMVI)的覆盖度估算模型的地形敏感性最弱,更适合于南方丘陵山地的植被覆盖度遥感反演;2永定县总体植被覆盖度较高,平均植被覆盖度达77.99%以上,高覆盖度区占59.73%以上,22年内植被覆盖度经历了先提高再下降的过程;3在空间上,高坎抚、金丰和西部片区的植被覆盖度较低,动态变化较明显。永定县金丰片区植被覆盖度明显提高;而近12年内高坎抚片区因矿业开采活动对生态环境的破坏,植被覆盖度降低幅度大,且变化面积较大。     

基于FY-4A/AGRI时空特征融合的新疆地区积雪判识

高时间分辨率的积雪判识对于新疆牧区农牧业发展和雪灾预警具有重要作用,针对已有积雪产品易受复杂地形地貌,下垫面类型以及云遮蔽的影响,导致积雪判识精度降低的问题,提出一种利用深度学习方法对风云4号A星多通道辐射扫描计（AGRI）数据与地理信息数据进行多特征时序融合的积雪判识方法：以多时相FY-4A/AGRI多光谱遥感数据,以及高程、坡向、坡度和地表覆盖类型等地形地貌信息作为模型输入,以Landsat 8 OLI提取的高空间分辨率积雪覆盖图作为“真值”标签,构建并训练基于卷积神经网络的积雪判识模型,从而有效区分新疆复杂地形与下垫面地区的云、雪以及无雪地表,最终得到逐小时积雪覆盖范围产品。经数据集和2019年地面气象站实测雪盖验证,该方法精度高于国际主流MODIS逐日积雪产品MOD10A1和MYD10A1,显著降低云雪误判率。     

基于EDRNet模型的高分辨率遥感影像道路提取

针对高分辨率遥感影像道路提取结果不完整、边界质量差的问题,提出基于EDRNet模型的遥感影像道路提取方法。利用残差网络构建道路提取模型EDR1,保留道路的细节信息并加速网络收敛。通过融合多尺度、多层次的道路特征信息,设计道路提取结果优化模型EDR2。在此基础上,利用混合损失函数,提高道路提取的完整度。实验结果表明,EDRNet道路提取方法在马萨诸塞州道路数据集上的召回率、精确率和F1-score指标分别达到了84.4%、81.7%及83.0%,其结果完整且准确。     

面向深度学习的多模态融合技术研究综述

面向深度学习的多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能,而模态的普遍性和深度学习的热度促进了多模态融合技术的发展。在多模态融合技术发展前期,以提升深度学习模型分类与回归性能为出发点,阐述多模态融合架构、融合方法和对齐技术。重点分析联合、协同、编解码器3种融合架构在深度学习中的应用情况与优缺点,以及多核学习、图像模型和神经网络等具体融合方法与对齐技术,在此基础上归纳多模态融合研究的常用公开数据集,并对跨模态转移学习、模态语义冲突消解、多模态组合评价等下一步的研究方向进行展望。     

基于网络表示学习与深度学习的推荐算法研究

针对传统基于协同过滤的推荐算法信息提取能力有限的问题,提出基于网络表示学习的卷积协同过滤推荐算法.将二分网络分成物品与用户同质网络,在各自的同质网络上使用GraphSAGE模型得到融合网络空间信息和用户与物品属性信息的矩阵.在此基础上,利用外积运算丰富用户和物品特征向量各维度的相关表示,通过卷积神经网络训练物品和用户的...     

基于图卷积神经网络的智能路由算法

使用特定数学模型的路由转发算法难以满足用户多样化的服务质量需求,基于深度学习的智能路由方案因具有准确性、高效性、通用性等优势,成为路由决策的发展方向。然而,目前多数智能路由算法在网络拓扑动态变化时需要重新训练,造成路由更新不及时,难以应对网络拓扑动态变化。提出一种基于图卷积神经网络（GCN）的智能路由算法。线下利用提前采集的网络信息,根据路由开销标签训练GCN智能路由模型,通过该模型输出单跳路由开销。线上采集实时信息并根据模型输出的路由开销结果对网络层路由协议进行调整,计算最小路由开销的路由路径,实现自适应网络更新。算法利用GCN的图数据结构处理不规则的网络拓扑,通过图卷积算子自动提取特征解决路由网络多属性参数提取的问题,同时引入模糊C均值算法进行网络状态离散化分析,为数据集生成标签,从而有效监督GCN模型训练。实验结果表明,该算法较ECMP、DRL-TE和SmartRoute算法路由性能更好,其平均丢包率、时延和吞吐量指标均为最优,且相较于单一的流量模式具有更强的泛化能力。     

基于孪生区域建议网络的无人机目标跟踪算法

在无人机跟踪过程中,遮挡、光照变化、背景干扰等影响会导致跟踪目标丢失。基于SiamRPN算法提出一种无人机目标跟踪算法。通过在网络中加入空间条带池和全局上下文模块建立远程上下文关系,以适应不同的跟踪场景。同时利用改进交并比的计算方法提取目标特征,并回归精准的预测框。在UAV123数据集上的实验结果表明,相比SiamRPN、SiamFC、SAMF等算法,该算法的跟踪性能较优且具有较强的鲁棒性,尤其在背景干扰环境下,其精确率和成功率较SiamRPN算法分别提升了6.54%和11.63%。     

基于无锚框分割网络改进的实例分割方法

在无人驾驶应用场景中,现有无锚框实例分割方法存在大目标特征覆盖小目标特征、缺少两阶段检测器中的感兴趣区域对齐操作、忽略类别分支对掩膜分支提供的位置和空间信息等问题,导致特征提取不充分且无法准确获取目标区域。提出一种改进的无锚框实例分割方法。结合可变形卷积,设计编码-解码特征提取网络提取高分辨率特征,以增强对小目标特征的提取能力,并采用空洞卷积和合并连接的方式,在不增加计算量的前提下有效融合多种分辨率的特征。在此基础上,将注意力机制引入到类别分支中,同时设计结合空间信息和通道信息的信息增强模块,以提高目标检测能力。实验结果表明,该方法在COCO 2017和Cityscapes数据集上平均精度和平均交并比分别为41.1%和83.3%,相比Mask R-CNN、SOLO、Yolact等方法,能够有效改进实例分割效果并具有较优的鲁棒性。     

基于图神经网络的自闭症辅助诊断研究综述

自闭症谱系障碍是一种复杂的神经系统发展障碍疾病,截至目前其病因尚不明确。图神经网络作为非欧几里得空间深度学习的重要分支,在处理图结构数据的相关任务中取得优异表现,为医学领域的成像和非成像模式的集成提供了可能,因此利用图神经网络进行自闭症等脑部疾病神经成像诊断逐渐成为研究热点。阐述传统机器学习方法在自闭症疾病预测中应用,介绍图神经网络的基本分类,按照图中节点与边关系的建模方法,从基于人群图和基于个体图两个角度对图神经网络在自闭症辅助诊断中的应用进行梳理和分析,并归纳现有诊断方法的优劣势。根据目前基于图神经网络的自闭症神经成像诊断的研究现状,总结了脑神经科学领域辅助诊断技术面临的主要挑战和未来研究方向,对于自闭症等脑部疾病辅助诊断的进一步研究具有指导意义和参考价值。