基于图像超分辨率的多尺度特征交互传播研究

该文构建了一种可对不同形式的多尺度结构进行归纳的统一框架,并基于该框架系统地探究了多尺度卷积的两个因素——特征传播和跨尺度交互,提出了简单而有效的多尺度卷积单元——多尺度-跨尺度-权重共享的卷积(MS³-Conv)网络。实验结果表明,与基于标准卷积的网络相比,基于MS³-Conv的网络可使用较少的参数和较低的计算成本实现更好的图像重建性能。除了定量分析,该文也对重建图像进行可视化分析,证明了MS³-Conv网络能更好地恢复高频细节。     

FAGNet:基于MAFPN和GVR的遥感图像多尺度目标检测算法

针对大场景遥感图像内容复杂,并且具有目标种类较多、尺度不一、方向多变等特点,导致遥感图像中目标多类多尺度多方向的问题,提出一种基于多尺度注意力特征金字塔网络(MAFPN)以及滑动顶点回归(GVR)机制的遥感图像目标检测方法.首先利用骨干网络提取多层特征作为MAFPN的输入,MAFPN结合特征融合和注意力机制,在融合多个尺度的特征映射的基础上使用通道域注意力和空间域注意力机制来抑制噪声,增强有效特征复用,提高网络对目标多尺度特征的自适应性;将MAFPN输出的融合特征图输入区域建议网络(RPN)生成感兴趣区域,然后将其送入分类/回归网络;在分类/回归网络中使用GVR机制在预测水平框的基础上增加4个顶点偏移比例参数和旋转因子,将水平框转换为旋转框,以减少边框中冗余区域,使预测得到的旋转边框更贴合目标.在DOTA公开数据集上与多种基于卷积神经网络的经典检测算法进行对比的实验结果表明,该方法的平均检测精度得到显著提高,能够更加准确地检测多个尺度以及多个方向的目标,实现了多尺度目标的鲁棒性检测.     

基于多尺度特征融合的恶意HTTP请求检测方法

针对当前网络环境中恶意HTTP请求攻击泛滥的问题,提出了一种多尺度特征融合的检测方法。首先从单词级和字符级两个尺度对HTTP请求进行建模,然后使用卷积神经网络提取其高阶语义特征;再借助多尺度特征融合技术,学习HTTP请求的多尺度公共向量表示;最后使用线性分类器进行分类。实验结果表明该方法性能在HTTP CSIC 2010数据集和WAF真实数据集上优于现有方法。     

MSP-Net:多尺度点云分类网络

针对传统点云分类网络难以充分发挥卷积神经网络优势的问题,提出一种多尺度点云分类网络MSP-Net.首先,基于局部区域划分的完备性、自适应性、重叠性及多尺度特性要求,提出了多尺度局部区域划分算法,并以点云及不同层次的特征为输入,得到多尺度局部区域;然后构建了包含单尺度特征提取、低层次特征聚合及多尺度特征融合等模块的多尺度点云分类网络.该网络充分地模拟了卷积神经网络的作用原理,具备随着网络尺度和深度的增加,局部感受野越来越大,特征抽象程度越来越高的基本特征.最后将该算法应用在标准公开数据集ModelNet10和ModelNet40上,分别取得了94.71%和91.73%的分类准确率,表明该算法在同类工作中处于领先或相当的水平,验证了算法思想的可行性及有效性.     

基于图交互与场景感知融合的轨迹预测方法

在自动驾驶中,精确的环境感知和对周围交通参与者的轨迹预测对道路安全至关重要。基于此,提出了基于鸟瞰图(Bird Eye View, BEV)的实时端到端轨迹预测框架来同时学习交互和场景信息。该框架主要由图交互网络和金字塔感知网络两个模块组成,前者通过时空图卷积网络对交通参与者之间的交互模式进行编码,后者采用时空金字塔网络对周围信息进行场景建模以获取场景特征。然后,对交互特征和场景特征进行单一尺度融合,从而进行分类和轨迹预测任务。在大规模开源数据集NuScenes上的实验和分析表明,与当前先进算法(MotionNet)相比,所提框架平均类别准确度提高了3.1%,轨迹预测平均误差在行驶速度>5m/s时降低了1.43%。此实验结果表明,所提模型具有更好的泛化性和鲁棒性,更符合实际自动驾驶环境中的轨迹预测需求。     

多尺度深度特征提取的肝脏肿瘤CT图像分类

目的 肝脏肿瘤是人体最具侵袭性的恶性肿瘤之一,传统的肿瘤诊断依靠观察患者的CT（computed tomography）图像,工作量大时易造成疲劳,难免会产生误诊,为此使用计算机辅助的方法进行诊断,但现有的深度学习方法中存在肿瘤分类准确率低、网络的特征表达能力和特征提取能力较弱等问题。对此,本文设计了一种多尺度深度特征提取的分类网络模型。方法 首先在原始CT图像中选取感兴趣区域,然后根据CT图像的头文件进行像素值转换,并进行数据增强来扩充构建数据集,最后将处理后的数据输入到本文提出的分类网络模型中输出分类结果。该网络通过多尺度特征提取模块来提取图像的多尺度特征并增加网络的感受野,使用深度特征提取模块降低背景噪声信息,并着重关注病灶区域有效特征,通过集成并行的空洞卷积使得尺度多元化,并将普通卷积用八度卷积替换来减少参数量,提升分类性能,最终实现了对肝脏肿瘤的精确分类。结果 本文模型达到了87.74%的最高准确率,比原始模型提升了9.92%;与现有主流分类网络进行比较,多项评价指标占优,达到了86.04%的召回率,87%的精准率,86.42%的F1分数;此外,通过消融实验进一步验证了所提方法的有效性。结论 本文方法可以较为准确地对肝脏肿瘤进行分类,将此方法结合到专业的医疗软件当中去,能够为医生早期的诊断和治疗提供可靠依据。     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

深度区域网络方法的细粒度图像分类

目的 在细粒度视觉识别中,难点是对处于相同层级的大类,区分其具有微小差异的子类,为实现准确的分类精度,通常要求具有专业知识,所以细粒度图像分类为计算机视觉的研究提出更高的要求。为了方便普通人在不具备专业知识和专业技能的情况下能够区分物种细粒度类别,进而提出一种基于深度区域网络的卷积神经网络结构。方法 该结构基于深度区域网络,首先,进行深度特征提取任务,使用VGG16层网络和残差101层网络两种结构作为特征提取网络,用于提取深层共享特征,产生特征映射。其次,使用区域建议网络结构,在特征映射上进行卷积,产生目标区域;同时使用兴趣区域（RoI）池化层对特征映射进行最大值池化,实现网络共享。之后将池化后的目标区域输入到区域卷积网络中进行细粒度类别预测和目标边界回归,最终输出网络预测类别及回归边框点坐标。同时还进行了局部遮挡实验,检测局部遮挡部位对于分类正确性的影响,分析局部信息对于鸟类分类的影响情况。结果 该模型针对CUB_200_2011鸟类数据库进行实验,该数据库包含200种细粒度鸟类类别,11 788幅鸟类图片。经过训练及测试,实现VGG16+R-CNN （RPN）和Res101+R-CNN （RPN）两种结构验证正确率分别为90.88%和91.72%,两种结构Top-5验证正确率都超过98%。本文模拟现实环境遮挡情况进行鸟类局部特征遮挡实验,检测分类效果。结论 基于深度区域网络的卷积神经网络模型,提高了细粒度鸟类图像的分类性能,在细粒度鸟类图像的分类上,具有分类精度高、泛化能力好和鲁棒性强的优势,实验发现头部信息对于细粒度鸟类分类识别非常重要。     

自适应多模态特征融合胶质瘤分级网络

目的 胶质瘤的准确分级是辅助制定个性化治疗方案的主要手段,但现有研究大多数集中在基于肿瘤区域的分级预测上,需要事先勾画感兴趣区域,无法满足临床智能辅助诊断的实时性需求。因此,本文提出一种自适应多模态特征融合网络（adaptive multi-modal fusion net,AMMFNet）,在不需要勾画肿瘤区域的情况下,实现原始采集图像到胶质瘤级别的端到端准确预测。方法 AMMFNet方法采用4个同构异义网络分支提取不同模态的多尺度图像特征;利用自适应多模态特征融合模块和降维模块进行特征融合;结合交叉熵分类损失和特征嵌入损失提高胶质瘤的分类精度。为了验证模型性能,本文采用MICCAI （Medical Image Computing and Computer Assisted Intervention Society）2018公开数据集进行训练和测试,与前沿深度学习模型和最新的胶质瘤分类模型进行对比,并采用精度以及受试者曲线下面积（area under curve,AUC）等指标进行定量分析。结果 在无需勾画肿瘤区域的情况下,本文模型预测胶质瘤分级的AUC为0.965;在使用肿瘤区域时,其AUC高达0.997,精度为0.982,比目前最好的胶质瘤分类模型——多任务卷积神经网络同比提高1.2%。结论 本文提出的自适应多模态特征融合网络,通过结合多模态、多语义级别特征,可以在未勾画肿瘤区域的前提下,准确地实现胶质瘤分级预测。     

基于改进Inception结构的知识图谱嵌入模型

知识图谱嵌入（KGE）将实体和关系映射到低维连续向量空间中,以利用机器学习方法实现关系数据的应用,如知识分析、推理、补全等。以ConvE为代表将卷积神经网络（CNN）应用于知识图谱嵌入中,以捕捉实体和关系的交互信息,但其标准卷积捕捉特征交互信息能力不足,特征表达能力低下。针对特征交互能力不足问题,提出了一种改进的Inception结构,在此基础上构建一个知识图谱嵌入模型InceE。首先,该结构使用混合空洞卷积替代标准卷积,以提高特征交互信息捕捉能力;其次,使用残差网络结构,以减少特征信息丢失。实验使用基准数据集Kinship、FB15k、WN18验证InceE链接预测有效性。在Kinship、FB15k数据集上,相较于ArcE和QuatRE模型,InceE的Hit@1分别提升了1.6和1.5个百分点;在三个数据集上,与ConvE对比,InceE的Hit@1分别提升了6.3、20.8和1.0个百分点。实验结果表明InceE具有更强的特征交互信息捕捉能力。     

基于小样本学习融合随机深度和多尺度卷积的SDM-RNET网络

针对神经网络难以利用少量标注数据获取足够的信息来正确分类图像的问题,提出了一种融合随机深度网络和多尺度卷积的关系网络——SDM-RNET.首先在模型嵌入模块引入随机深度网络用于加深模型深度,然后在特征提取阶段采用多尺度深度可分离卷积替代普通卷积进行特征融合,经过骨干网络后再采用深浅层特征融合获取更丰富的图像特征,最终学习预测出图像的类别.在mini-ImageNet、RP2K、Omniglot这3个数据集上对比该方法与其他小样本图像分类方法,结果表明在5-way 1-shot和5-way 5-shot分类任务上该方法准确率最高.     

Design of multi-scale receptive field convolutional neural network for surface inspection of hot rolled steels

Due to the large intra-class variations and unbalanced training samples, the accuracy of existing algorithms used in defect classification of hot rolled steels is unsatisfactory. In this paper, a new hierarchical learning framework is proposed based on convolutional neural networks to classify hot rolled defects. Multi-scale receptive field is introduced in the new framework to extract multi-scale features, which can better represent defects than the feature maps produced by a single convolutional layer. A group of AutoEncoders are trained to reduce the dimension of the extracted multi-scale features which improve the generalization ability under insufficient training samples. Besides, to mitigate the deviation caused by fine-tuning the pre-trained model with images of different context, we add a penalty term in the loss function, which is to reconstruct the input image from the feature maps produced by the pre-trained model, to help network encode more effective and structured information. The experiments with samples captured from two hot rolled production lines showed that the proposed framework achieved a classification rate of 97.2% and 97% respectively, which are much higher than the conventional methods.     

Multi-scale features for heartbeat classification using directed acyclic graph CNN

ABSTRACT

A new architecture of deep neural networks, directed acyclic graph convolutional neural networks (DAG-CNNs), is used to classify heartbeats from electrocardiogram (ECG) signals into different subject-based classes. DAG-CNNs not only fuse the feature extraction and classification stages of the ECG classification into a single automated learning procedure, but also utilized multi-scale features and perform score-level fusion of multiple classifiers automatically. Therefore, DAG-CNN negates the necessity to extract hand-crafted features. In most of the current approaches, only the high level features which extracted by the last layer of CNN are used. Instead of performing feature level fusion manually and feeding the results into a classifier, the proposed multi-scale system can automatically learn different level of features, combine them and predict the output label. The results over the MIT-BIH arrhythmia benchmarks database demonstrate that the proposed system achieves a superior classification performance compared to most of the state-of-the-art methods.     

基于改进对比学习的道路裂缝图像分类

道路裂缝是路面破损的重要组成部分,而道路裂缝分类可以对道路养护策略的制定进行针对性的安排.针对人工标注分类耗时长,效率低等问题,本文提出了一个基于对比学习的道路裂缝图像分类方法,在传统的对比学习框架中,对特征提取部分进行改进,使得模型对细小裂缝的特征更敏感.首先对进行数据增强,其次在特征提取部分对ResNet50的部分进行改进,使用多尺度的方法提取特征;再使用多层感知机(MLP)对提取到的特征进行降维处理,并投影到向量空间;最后使用余弦相似度与用归一化温度标度的交叉熵损失对模型进行优化.实验结果表明,改进后的模型比原模型在裂缝图像上的分类效果提高了0.22%,达到了92.1%,对裂缝图像分类有较好的效果.     

基于深度残差概率随机森林的时间序列分类方法

时间序列数据广泛存在于工业、医疗等应用领域,由于其时序相关性强、特征空间维度大,使得传统的时间序列分类方法普遍存在精度不足和需要复杂特征工程等问题.充分考虑深度神经网络在处理复杂时序数据上的优越性以及决策树方法拟合数据能力强的优势,提出一种基于残差网络和概率决策树的端到端统一深度学习模型.该模型利用残差网络从原始时间序列中提取高级特征,为了更好地建立时序数据特征与类别标签间的映射关系,将概率决策树融入至残差网络的分类层.同时,设计随机子空间的集成策略,缓解由于残差网络的深层结构产生的过度拟合现象,并给出联合优化模型分裂参数和预测参数的迭代优化方案.在大量的基准数据集和工业案例上进行实验和分析,实验结果表明,所提出模型的分类性能优于传统方法与其他深度学习方法,且可有效提高残差网络的泛化能力.     

基于空间特征变换与反投影的渐进式图像超分辨

基于深度网络的单帧图像超分辨(SISR)方法为目前SR研究热点,但是多数该类方法在特征提取时主要侧重在网络深度结构的探索,忽略了中间空间特征层之间的相似性,并且在重构时忽略了特征层之间的特征差异性.针对上述问题,提出了基于空间特征变换与反投影重构的渐进式网络.该方法的主要特征是,在图像特征提取时对特征空间进行特征仿射变换,从而获得渐进式特征和空间变换特征,增加特征层间的不同相似性.在图像重构阶段,重构模块采用多尺度反投影的策略融合了图像多源特征,从而使得其模块更加注重特征之间的差异性.实验结果表明,相比大多数超分辨算法,所提方法在图像超分辨重建时PSNR/SSIM等评估指标均有较大提升,且重构图像的纹理信息也更加丰富.     

MSML-BERT模型的层级多标签文本分类方法研究

层级多标签文本分类相比普通的多标签文本分类更具有挑战性,因为文本的多个标签组织成树状的层次结构。当前方法使用相同的模型结构来预测不同层级的标签,忽略了它们之间的差异性和多样性。并且没有充分地建模层级依赖关系,造成各层级标签尤其是下层长尾标签的预测性能差,且会导致标签不一致性问题。为了解决以上问题,将多任务学习架构引入,提出了MSML-BERT模型。该模型将标签结构中每一层的标签分类网络视为一个学习任务,通过任务间知识的共享和传递,提高各层级任务的性能。基于此,设计了多尺度特征抽取模块,用于捕捉不同尺度和粒度的特征以形成不同层级需要的各种知识。进一步,设计了多层级信息传播模块,用于充分建模层级依赖,在不同层级之间传递知识,以帮助下层任务。在该模块中,设计了层次化门控机制,为了过滤不同层级任务之间的知识流动。在RCV1-V2、NYT和WOS数据集上进行了充分的实验,结果显示该模型的总体表现尤其是在下层长尾标签上的表现超过了其他主流模型,并且能维持较低的标签不一致比率。     

Knowledge distilling based model compression and feature learning in fault diagnosis

Recently, there has been interest in developing diagnosis methods that combine model-based and data-driven diagnosis. In both approaches, selecting the relevant measurements or extracting important features from historical data is a key determiner of the success of the algorithm. Recently, deep learning methods have been effective in automating the feature selection process. Autoencoders have been shown to be an effective neural network configuration for extracting features from complex data, however, they may also learn irrelevant features. In addition, end-to-end classification neural networks have also been used for diagnosis, but like autoencoders, this method may also learn unimportant features thus making the diagnostic inference scheme inefficient. To rapidly extract significant fault features, this paper employs end-to-end networks and develops a new feature extraction method based on importance analysis and knowledge distilling. First, a set of cumbersome neural network models are trained to predict faults and some of their internal values are defined as features. Then an occlusion-based importance analysis method is developed to select the most relevant input variables and learned features. Finally, a simple student neural network model is designed based on the previous analysis results and an improved knowledge distilling method is proposed to train the student model. Because of the way the cumbersome networks are trained, only fault features are learned, with the importance analysis further pruning the relevant feature set. These features can be rapidly generated by the student model. We discuss the algorithms, and then apply our method to two typical dynamic systems, a communication system and a 10-tank system employed to demonstrate the proposed approach.     

基于多尺度特征融合的土地利用分类算法

针对土地利用分类中高空间分辨率遥感图像已标注样本少和传感器高度变化导致地物形变等问题,提出一种基于多尺度特征融合的土地利用分类算法。通过对多个卷积层特征进行多尺度自适应融合,降低地物形变对分类精度造成的影响。为进一步提高分类精度,利用预训练网络提取的深度特征对多尺度特征融合部分和全连接层进行预训练,采用增广数据集对整个网络进行微调。实验结果表明,自适应融合方法改善了融合效果,有效提高了土地利用分类的精度。     

基于卷积神经网络的烟瘾渴求脑电分类

脑电信号分类问题是脑-机接口应用中的重点,而脑电信号分类的关键问题是如何寻找合适的特征.目前虽然有支持向量机、浅层神经网络等方法可以对脑电信号有效的分类,但是这些方法大都需要大量先验知识寻找数据的特征.由于脑电信号容易受到噪声干扰,尤其是在烟瘾渴求这种高级认知过程中,不同被试个体间具有很大差异,很难找到具有代表性的有效特征,脑电分类的准确率很难提高.为解决以上问题,本文采用一种基于卷积神经网络的方法对烟瘾患者在不同烟瘾渴求状态下的脑电信号的进行分类,与传统分类方法比,卷积神经网络不需要手动提取特征,能够直接训练原始的脑电信号数据,可以满足在实时反馈的烟瘾治疗过程对获取分类结果的快速需求.