基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

基于多尺度感知和图像关联的人群计数方法

人群计数广泛应用于公共安防、视频监控等领域，但由于目标遮挡、背景干扰以及人群尺度变化等因素的影响，人群计数模型的准确率有所降低。基于深度学习卷积神经网络架构，提出了一种基于多尺度感知和图像关联的人群计数方法。其中，多尺度感知模型包括初级特征提取网络、多尺度特征提取模块、特征融合模块和一个后段架构用来提取图像的多尺度特征，从而适应尺度的变化；而图像关联模型使用特征关联模块和融合模块将输入图像与相干图像进行联系，通过学习图像之间的深层关联性来提升预测密度图的质量。在ShanghaiTech Part＿A、Part＿B和UCF＿CC＿50等公开数据集上的实验结果表明，提出的方法在MAE、RMSE和SSIM三项指标上均有较好性能。     

融合多尺度特征的遥感影像道路提取方法

针对遥感影像中由于道路信息错综复杂,导致道路提取不完整、精确度低等问题,提出一种新型遥感影像道路提取方法。融合多尺度特征改善道路提取的整体效果,基于深度残差网络设计混合空洞卷积,并通过定义卷积核各值的间距增大特征提取感受野,从而丰富多尺度特征融合模块中的浅层道路语义信息。在编码端提取特征后,利用权重分布的方法匹配感受野尺度,使用不同层级间的特征对全局先验信息进行表征,提高多尺度融合特征获取浅层道路语义信息的准确性,并将改进的多孔空间金字塔池化模块融入到深度残差网络中,挖掘并深度聚合道路浅层次和深层次的语义信息。在两种高分辨率遥感数据集Cheng_Data_Roads和Zimbabwe_Data_Roads上的实验结果表明,所提方法的F1值和MIoU值分别为91.16%和83.63%,准确率、召回率等评价指标均明显优于U-net、ResUnet、D-Linknet等语义分割方法。     

基于多尺度特征融合的行人重识别方法

针对行人重识别任务在特征提取时缺乏对行人特征尺度变化的考虑,导致其易受环境影响而具有低行人重识别准确率的问题,提出了一种基于多尺度特征融合的行人重识别方法。首先,在网络浅层通过混合池化操作来提取多尺度的行人特征,从而帮助网络提升特征提取能力;然后,在残差块内添加条形池化操作以分别提取水平和竖直方向的远程上下文信息,从而避免无关区域的干扰;最后,在残差网络之后利用不同尺度的空洞卷积进一步保留多尺度的特征,从而帮助模型灵活有效地解析场景结构。实验结果表明,在Market-1501数据集上,所提方法的Rank1达到95.9%,平均精度均值（mAP）为88.5%;在DukeMTMC-reID数据集上,该方法的Rank1达到90.1%,mAP为80.3%。可见所提方法能够较好地保留行人特征信息,从而提高行人重识别任务准确率。     

基于多分支并行空洞卷积的多尺度目标检测算法

针对现有的目标检测算法在提取特征时往往仅使用单一尺度大小的卷积核,忽略了不同尺度特征感受野的差异,从而影响网络对不同尺度目标的检测效果的问题,提出一种基于多分支并行空洞卷积的多尺度目标检测算法.首先,采用基础网络VGG-16对待检测图像进行特征提取;其次,在网络的低层引入多分支并行空洞卷积,对不同扩张率的空洞卷积进行融合,从而获取多尺度特征信息,提高网络对不同尺度特征的提取能力;然后,采用非局部化结构整合特征的全局空间信息,进而增强上下文信息;最后,在不同尺度大小的特征图上执行目标的检测与定位任务.在PASCAL VOC数据集和MS COCO数据集上的实验结果表明,所提算法能有效地提高网络对不同尺度目标的检测准确率,对小目标检测效果有明显改善.     

基于改进YOLOX的多光谱行人检测算法

现有的多光谱行人检测算法大多是基于Faster R-CNN的两阶段检测或设置了锚框机制的一阶段检测,此类模型存在推理速度慢,检测准确率低等不足.为此,本文设计出一种基于一阶段无锚框检查算法YOLOX的多光谱行人检测算法.该算法将多模态特征提取解耦为特性特征提取和共性特征提取两阶段.针对基准特性特征提取网络学习能力不足、提取的语义信息和纹理细节信息不够丰富的问题,本文设计出一种多尺度特征增强(Multi-scale Feature Enhancement, MFE)模块,该模块可提取出特性特征图中丰富的语义和纹理细节信息.此外,本文使用基于差异性的特征融合方法来充分捕获两种模态的差异性特征信息.为证实本文方法的有效性和可行性,本文在KAIST数据集和FLIR数据集上进行了实验验证,实验结果表明本文所提方法可显著提高多光谱行人检测的性能.     

多源异构数据融合驱动的股票指数预测研究

现代信息技术的广泛应用使得资本市场投资者能够获得更及时、更有价值的信息,也更容易受到金融论坛、专业投资网站的影响。融合资本市场的多源异构数据对股票指数进行预测成为该领域的研究热点。提出了一种基于多源异构数据的长短期神经网络（Long Short-Term Memory,LSTM）模型,通过对融合资本市场交易数据、技术指标数据、投资者情绪三种源数据的量化来预测股票指数的走势。提出了一种可以提取深度情感特征的卷积神经网络（Convolutional Neural Networks,CNN）情感分析模型,构建了投资者情绪特征模型。利用“上证50指数”数据进行实验,结果显示：LSTM模型的预测准确率比传统模型更为优秀,数据源的增加也对模型准确率的提升有较大贡献,验证了该方法的可行性和有效性。     

基于受限玻尔兹曼机的电力信息系统多源日志综合特征提取

为了充分利用电力信息系统中的异构数据源挖掘出电网中存在的安全威胁, 本文提出了基于受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)的多源日志综合特征提取方法, 首先采用受限玻尔兹曼机神经网络对各类日志信息进行规范化编码, 随后采用对比散度快速学习方法优化网络权值, 利用随机梯度上升法最大化对数似然函数对RBM模型进行训练学习, 通过对规范化编码后的日志信息进行处理, 实现了数据降维并得到融合后的综合特征, 有效解决了日志数据异构性带来的问题. 通过在电力信息系统中搭建大数据威胁预警监测实验环境, 并进行了安全日志综合特征提取及算法验证, 实验结果表明, 本文所提出的基于RBM的多源日志综合特征提取方法能用于聚类分析、异常检测等各类安全分析, 在提取电力信息系统中日志特征时有较高的准确率, 进而提高了网络安全态势预测的速度和预测精度.     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

多尺度融合注意力机制的胆囊癌显微高光谱图像分类

目的 胆囊癌作为胆道系统中一种恶性程度极高的肿瘤,早期诊断困难、预后极差,因此准确鉴别胆囊病变对早期发现胆囊癌具有重要意义。目前胆囊癌的诊断主要依赖于超声、CT(computed tomography)等传统影像学方法,但准确性较低。显微高光谱能够在获取生物组织图像信息的同时从生化角度对生物组织进行分析,从而实现对胆囊癌的早期诊断,相比于传统医学图像更具优势。因此,本文基于胆囊癌显微高光谱图像设计了一种基于多尺度融合注意力机制的网络模型,以提高分类准确率。方法 提出多尺度融合注意力模块（multiscale squeeze-andexcitation-residual, MSE-Res）。MSE-Res模块引入改进的多尺度特征提取模块实现通道维上特征的融合,用一个最大池化层和一个上采样层代替1×1的卷积层来提取图像的显著特征。为了弥补池化层丢失的局部信息,在跳跃连接中加入一个1×1的卷积层。在多尺度特征提取模块后,引入注意力机制来学习不同通道间特征的相关性,实现通道间特征的融合,并通过残差连接使网络在提取图像深层特征的同时避免出现过拟合现象。结果 在胆囊癌高光谱数据集上进行实验,本文模...     

多尺度下遥感小目标多头注意力检测

针对地理空间遥感图像中检测目标存在多尺度特性、形态多变以及小目标判别特征过少等造成检测识别精度不高的问题,提出了基于多尺度下遥感小目标多头注意力检测算法YOLO-StrVB。对网络结构进行重构,搭建多尺度网络模型,增加目标检测层,提高特征提取网络下遥感小目标模型不同尺度下的检测能力;加入双向特征金字塔网络（Bi-FPN）进行多尺度特征融合,提高双向跨尺度连接和加权特征融合;在YOLOv5网络末端融合Swin Transformer多头注意力机制块,提升感受野适应目标识别任务的多尺度融合关系,优化主干网络;使用Varifocal loss对网络进行训练,提升遥感密集检测小目标的存在置信度和定位精度,并选用CIoU作为边界框回归的损失函数,提高感知分类得分（IACS）的边框回归精度。通过在遥感目标数据集NWPU VHR-10上的实验验证,对比YOLOv5原模型的mAP提高了3.05个百分点,能有效提高小目标的检测精度,达到了对地理空间遥感图像中小目标检测的鲁棒性。     

多尺度信息融合的遥感图像语义分割模型

遥感图像分割是目前学术界和工业界的一个研究热点,在城市规划、变化检测以及GIS信息构建等方面有着十分广泛的应用.然而,诸多复杂因素(如多变的尺度、多样化的拓扑形状以及复杂的背景和阴影等)使得遥感图像语义分割成为一项具有挑战性的任务.为此,提出一种基于多尺度信息融合的遥感图像语义分割深层卷积神经网络模型,该模型分为编码器和解码器2部分.在编码阶段,设计了基于DenseNet网络的跨卷积层级的多尺度特征融合策略,采用子区域全局平均池化及多尺度卷积处理复杂的背景区域;在解码阶段,为了准确地恢复图像的细节信息,设计了能够融合不同层级卷积特征的短解码器;最后,在整体模型构建方面设计了一种具有多输出的分层监督机制网络模型,从不同层级获取监督信息,可在充分利用监督信息的同时更好地引导网络的训练.在ISPRS公开数据集以及北京市遥感数据集上,通过实验验证了文中模型的有效性.     

基于人脸表情识别的在线课堂学生专注度分析

针对人脸表情识别在特征提取时容易丢失大量有用的特征信息, 无法提取更加全面的人脸表情特征的问题, 提出了一种多尺度特征融合网络模型(DS-EfficientNet). 该模型包括深层网络和浅层网络两部分, 浅层网络用来提取面部表情的细节纹理信息, 深层网络提取表情的全局信息. 并在浅层网络中加入注意力机制, 增强对浅层细节信息的提取能力. 最终在通道上进行特征融合, 融合之后网络可以提取更加丰富的人脸表情信息. 为了减少模型参数, 提高模型的泛化性能, 将全连接层替换为全局平均池化层, 加入批归一化. 本文提出的方法在Fer2013和CK+上进行实验, 识别准确率达到了73.47%和98.84%. 实验证明该方法可以提取人脸更加丰富的表情信息, 模型具有更强的泛化能力.     

基于双向门控尺度特征融合的遥感场景分类

针对遥感影像数据集的图像在形状、纹理和颜色上存在较大差别,以及因拍摄高度和角度不同存在的尺度差异导致遥感场景分类精度不高的问题,提出利用主动旋转聚合来融合不同尺度的特征,并通过双向门控提高底层特征与顶层特征互补性的特征融合补偿卷积神经网络（FAC-CNN）。该网络利用图像金字塔为原始图像生成不同尺度图像后将其输入到分支网络中来提取多尺度特征,并提出主动旋转聚合的方式来融合不同尺度的特征,使融合后的特征具有方向信息,从而提高模型对不同尺度输入以及不同旋转输入的泛化能力,实现模型分类精度的提升。FAC-CNN比基于VGGNet的注意循环卷积网络（ARCNet-VGGNet）和门控双向网络（GBNet）在西北工业大学遥感场景图像分类数据集（NWPU-RESISC）上准确率分别提升了2.05个百分点与2.69个百分点,在航空影像数据集（AID）上准确率分别提升了3.24个百分点与0.86个百分点。实验结果表明,FAC-CNN能有效解决遥感影像数据集存在的问题,提高遥感场景分类的精度。     

面向光学遥感图像典型目标检测的SSD模型优化

本文面向光学遥感图像目标检测应用,针对光学遥感图像中的典型目标一飞机和汽车,提出一种改进的SSD模型:首先在SSD (Single Shot multibox Detector)网络模型基础上引入多尺度特征融合模块,实现深层特征与浅层特征的融合以获得更多的特征上下文信息,增强网络对目标特征的提取能力;其次根据数据集目标样本尺寸分布特征进行聚类分析获得更准确的默认目标框参数,从而有效提升网络对目标位置信息的提取能力.将本文模型与SSD及YOLOv3模型在常用遥感图像目标检测数据集上进行对比,目标检测精度均有较大提升,验证了该模型的有效性.     

融合注意力与时域多尺度卷积的手势识别算法

针对基于深度学习的动态手势识别方法网络规模庞大、提取的时空特征尺度单一、有效特征的提取能力不足等问题,提出了一种深度网络框架。首先,使用时域多尺度信息融合的时空卷积模块改进3D残差网络结构,大幅度缩小网络规模,获得多种尺度的时空感受野特征;其次,引入一种全局信息同步的时空特征通道注意力机制,使用极少量参数构建特征图通道之间的全局依赖关系,使模型更加高效地获取动态手势的关键特征。在自建手势数据集SHC和公开手势数据集SKIG上的实验结果显示,提出的手势识别方法参数量更少且多尺度时空特征提取能力强,识别率高于目前的主流算法。     

结合多尺度与可变形卷积的自监督图像特征点提取网络

特征点提取是图像处理领域的一个重要方向,在视觉导航、图像匹配、三维重建等领域具有广泛的应用价值。基于卷积神经网络的特征点提取方法是目前的主流方法,但由于传统卷积层的感受野大小不变、采样区域的几何结构固定,在尺度、视角和光照变化较大的情况下,特征点提取的精度和鲁棒性较差。为解决以上问题提出了一种结合多尺度与可变形卷积的自监督特征点提取网络。本文以L2-NET为网络骨干,在深层网络中引入多尺度卷积核,增强网络的多尺度特征提取能力,获得细粒度尺度信息的特征图;使用单应矩阵约束的可变形卷积以提取不规则的特征区域,同时降低运算量,并采用归一化约束单应矩阵的求解,均衡不同采样点对结果的影响,配合在网络中增加的卷积注意力机制和坐标注意力机制,提升网络的特征提取能力。文章在HPatches数据集上进行了对比试验和消融实验,与R2D2等7种主流方法进行对比,本文方法的特征点提取效果最好,相比于次优数据,特征点重复度指标（Rep）提升了约1%,匹配分数（M.s.）提升了约1.3%,平均匹配精度（MMA）提高了约0.4%。本文提出的方法充分利用了可变形卷积提供的深层信息,融合了不同尺度的特征,使特征点提取结果更加准确和鲁棒。     

基于改进残差网络的交通标志识别算法

针对模型在下采样过程中不断损失图像的高层次信息,从而导致特征提取不足的问题,本文对ResNet网络结构进行改进,提出基于多尺度特征与注意力机制的交通标志识别方法。首先,通过特征融合的方式将模型各个层次的多尺度特征进行融合,丰富特征语义信息,增强网络的特征提取能力。然后,通过注意力机制强化不同通道特征,提升特征整体的表达能力。结合这2种方法可提升模型的交通标志识别准确率。在GTSRB和BelgiumTS交通标志数据集上的实验结果表明,所提出方法的准确率分别达到99.31%和98.96%,优于前沿的交通标志识别算法。     

基于多尺度和多层级特征融合的立体匹配方法

基于卷积神经网络的立体匹配方法未充分利用图像中各个层级的特征图信息,造成对图像在不适定区域的特征提取能力较差。提出一种融合多尺度与多层级特征的立体匹配方法。通过在双塔结构卷积神经网络模型的前端设计一个池化金字塔层,提取图像的多尺度低层结构特征。在该网络模型的后端融合最后三层网络的高级语义特征来提取图像特征,并对图像特征进行相似性度量后输出视差图。在KITTI 2015数据集上的实验结果表明,与LUO和Anita方法相比,该方法的像素误差精度分别由14.65%、8.30%降至8.02%,且可得到细节信息更好的视差图。     

改进Mask R-CNN的遥感图像多目标检测与分割

针对高分辨率遥感图像在目标检测与分割中特征提取困难、准确率低、虚假率高等问题，提出了一种改进的Mask R-CNN卷积神经网络。该网络以ResNet50为特征提取网络，在此基础上利用自下而上和自上而下两种分层跳连融合方式来进行更好的图像特征提取。针对遥感图像不同目标间尺寸差异过大、目标易丢失的问题，设计了自适应感兴趣区域来进行感兴趣区域提取。在目标分割中，使用局部融合全连接的卷积神经网络替换原全卷积神经网络，并使用上采样操作替换反卷积操作。在NWPU VHR-10数据集上进行验证，结果表明该方法与现有常用方法相比，显著地提高了遥感图像中多目标检测与分割的准确率。