结合全局和局部特征的BiGRU-RA图像中文描述模型

针对目前基于全局特征的图像描述模型存在细节语义信息不足的问题,提出结合全局和局部特征的图像中文描述模型.该模型采用编码器-解码器框架,在编码阶段,分别使用残差网络(residual networks,ResNet)和Faster R-CNN提取图像的全局特征和局部特征,提高模型对不同尺度图像特征的利用.采用嵌入了残差连接结构和视觉注意力结构的双向门控循环单元(bi-directional gated recurrent unit,BiGRU)作为解码器(BiGRU with residual connection and attention,BiGRU-RA).模型可以自适应分配图像特征和文本权重,改善图像特征区域和上下文信息的映射关系.此外,加入基于强化学习的策略梯度对模型的损失函数进行改进,直接对评价指标CIDEr进行优化.在AI Challenger全球挑战赛图像中文描述数据集上进行训练和实验,实验结果表明,该模型获得更高的评分,生成的描述语句更准确、更详细.     

FAGNet:基于MAFPN和GVR的遥感图像多尺度目标检测算法

针对大场景遥感图像内容复杂,并且具有目标种类较多、尺度不一、方向多变等特点,导致遥感图像中目标多类多尺度多方向的问题,提出一种基于多尺度注意力特征金字塔网络(MAFPN)以及滑动顶点回归(GVR)机制的遥感图像目标检测方法.首先利用骨干网络提取多层特征作为MAFPN的输入,MAFPN结合特征融合和注意力机制,在融合多个尺度的特征映射的基础上使用通道域注意力和空间域注意力机制来抑制噪声,增强有效特征复用,提高网络对目标多尺度特征的自适应性;将MAFPN输出的融合特征图输入区域建议网络(RPN)生成感兴趣区域,然后将其送入分类/回归网络;在分类/回归网络中使用GVR机制在预测水平框的基础上增加4个顶点偏移比例参数和旋转因子,将水平框转换为旋转框,以减少边框中冗余区域,使预测得到的旋转边框更贴合目标.在DOTA公开数据集上与多种基于卷积神经网络的经典检测算法进行对比的实验结果表明,该方法的平均检测精度得到显著提高,能够更加准确地检测多个尺度以及多个方向的目标,实现了多尺度目标的鲁棒性检测.     

注意力机制在自然场景文字检测中的应用

针对目前主流的基于分割的文字检测方法中由于需要复杂的后处理过程保证检测精度,通常难以实现高检测速度的问题,提出一种应用位置注意力模块和金字塔注意力网络2种注意力机制的方法.首先用金字塔注意力网络对图像进行特征提取及语义分割;同时将位置注意力模块应用于高层特征,通过加强图像中相似物体的权重加强对文字的检测效果;最后进行简单有效的后处理,在实现较高检测准确度的前提下提高检测速度.实验结果表明,在Total-text数据集中,采用更轻量化的骨干网络时,所提方法在检测速度上优势明显;采用更深层的骨干网络时,所提方法的检测准确度领先2.0％.     

基于深度网络的出租车Pick-up需求预测

在智慧城市建设中,区域的出租车需求预测是一个十分重要的模块。为了预测指定区域未来时刻的出租车需求,本文通过拓展已有序列模型,提出一个多时间分辨率的基于层次注意力机制的循环高速网络（Multi-Time Resolution Hierarchical Attention-Based Recurrent Highway Networks, MTR-HRHN）。MTR-HRHN将对外生数据时空特征的提取和目标数据的时空建模整合到单个框架中,并且通过多分辨率（例如每个小时或者每天）对序列数据不同的时间属性建模,从而捕获更全面的时间模式。最后,在纽约市出租车数据集上评估MTR-HRHN的预测性能。实验结果表明,与其他经典时间序列预测方法相比,MTR-HRHN在多个高需求区域的短期需求预测上表现出更好的预测性能。     

最优知识传递宽残差网络输电线路螺栓缺陷图像分类

目的 输电线路螺栓图像具有分辨率低和视觉信息较差的特点,针对螺栓缺陷图像分类时教师网络（大模型）参数量大、学生网络（小模型）分类精度低的问题,提出了一种最优知识传递宽残差网络输电线路螺栓缺陷图像分类方法,来弥补使用大小模型进行分类任务的局限性。方法 首先改变大模型宽度,即拓宽网络特征表达维度来增加向小模型传递的螺栓缺陷知识和简化小模型结构至3个残差块;然后为了选出传递螺栓缺陷知识性能最优的大模型,提出知识偏差的概念来可视化大模型向小模型螺栓缺陷知识传递的程度,综合分析不同宽度大模型利用知识蒸馏算法与注意力转移算法分别指导小模型训练后的分类准确率,并用知识偏差来确定最优知识传递模型;最后将最优知识传递模型利用知识蒸馏算法与注意力转移算法相结合指导小模型训练,尽可能提升小模型的螺栓缺陷分类性能。结果 在自建螺栓缺陷图像分类数据集上进行了验证,结果表明宽度为5的大模型向小模型传递螺栓缺陷知识性能最优,使小模型的螺栓缺陷分类准确率提高了5.56%,小模型与最优大模型的分类准确率只差2.17%,知识偏差为0.28,且小模型的参数量仅为大模型参数量的0.56%。结论 本文提出的最优知识传递宽残差网络输电线路螺栓缺陷图像分类方法,弥补了大小模型螺栓缺陷图像分类的局限性,实现了精度与资源消耗的平衡。     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

基于动态注意力和多角度匹配的答案选择模型

针对当前主流神经网络在处理答案选择任务时无法同时满足句子的充分表示以及句子间信息充分交互的问题,提出了基于动态注意力和多角度匹配（DAMPM）的答案选择模型。首先,调用预训练语言模型的嵌入（ELMo）获得包含简单语义信息的词向量;接着,在注意力层采用过滤机制有效地去除句子中的噪声,从而更好地得到问句和答案句的句子表征;其次,在匹配层同时引入多种匹配策略来完成句子向量之间的信息交互;然后,利用双向长短期记忆（BiLSTM）网络对匹配层输出的句子向量进行拼接;最后,通过分类器来计算拼接向量的相似度大小,从而得到问句和答案句之间的语义关联。在文本检索会议问答（TRECQA）数据集上的实验结果表明,与基于比较聚合框架的基线模型中的动态滑动注意力网络（DCAN）方法相比,DAMPM在平均准确率均值（MAP）和平均倒数排名（MRR）两个性能指标上均提高了1.6个百分点。在维基百科问答（WikiQA）数据集上的实验结果表明,DAMPM相较DCAN在两个性能指标上分别提高了0.7个百分点和0.8个百分点。所提DAMPM相较于基线模型中的方法整体上有更好的性能表现。     

基于多补丁和多尺度层级聚合网络的快速非均匀图像去雾

尽管基于卷积神经网络的去雾算法在合成的均匀雾气数据集上已经取得了巨大进展,但在真实的非均匀有雾图像上仍然表现不佳.为了快速有效地去除图像中的非均匀雾气,文中首先提出了一种多补丁和多尺度层级聚合网络结构(Multi-patch and Multi-scale Hierarchical Aggregation Network,MPSHAN),融合了多补丁局部化信息和多尺度全局化信息.其次,提出了层级融合模块(Hierarchical Fusion Module,HFM),既解耦了残差融合以实现更丰富的非线性特征表达,又通过通道注意力机制提升了关键位置的特征融合质量.同时,对层级结构使用扩张卷积获得多尺度信息,增强特征图以优化融合效果.此外,在损失函数中加入频域损失以恢复更好的边缘质量.实验结果表明,所提算法在非均匀雾气图像上具有很好的鲁棒性,1200×1600高分辨率图像的平均处理时间仅有0.044s,相比其他去雾算法,其在图像去雾效果和运行时间之间实现了更好的平衡.     

基于注意力机制和BiGRU融合的文本情感分析

针对简单的神经网络缺乏捕获文本上下文语义和提取文本内重要信息的能力,设计了一种注意力机制和门控单元(GRU)融合的情感分析模型FFA-BiAGRU.首先,对文本进行预处理,通过GloVe进行词向量化,降低向量空间维度;然后,将注意力机制与门控单元的更新门融合以形成混合模型,使其能提取文本特征中的重要信息;最后,通过强制向前注意力机制进一步提取文本特征,再由softmax分类器进行分类.在公开数据集上进行实验,结果证明该算法能有效提高情感分析的性能.