融合残差注意力和标准偏差的6D姿态细化网络

在6D物体姿态估计领域中, 现有算法往往难以实现对目标物体精准且鲁棒的姿态估计. 为解决该问题, 提出了一种结合残差注意力、混合空洞卷积和标准差信息的物体6D姿态细化网络. 首先, 在Gen6D图片特征提取网络中, 采用混合空洞卷积模块替换传统卷积模块, 以此扩大感受野、加强全局特征捕获能力. 接着, 在3D卷积神经网络中, 加入残差注意力模块, 这有助于区分特征通道的重要程度, 进而在提取关键特征的同时, 减少浅层特征的丢失. 最后, 在平均距离损失函数中, 引入了标准差信息, 从而使模型能够区分物体的更多姿态信息. 实验结果显示, 所提出的网络在LINEMOD数据集和GenMOP数据集上的ADD指标分别达到了68.79%和56.03%. 与Gen6D网络相比, ADD指标分别提升了1.78个百分点和5.64个百分点, 这一结果验证了所提出的网络能够显著提升6D姿态估计的准确性.     

空洞卷积的多尺度语义分割网络

计算机硬件的发展极大程度地促进了计算机视觉的发展,卷积神经网络在语义分割中取得了令人瞩目的成就,但多卷积层叠加难免造成图像中目标边界信息的丢失。为了尽可能保留边界信息,提高图像分割精度,提出一种多尺度空洞卷积神经网络模型。该模型利用多尺度池化适应图像中不同尺度目标,并利用空洞卷积学习目标特征,在更加准确识别目标的同时,提高目标边界的识别精度,在ISPRS Vaihingen数据集上的实验结果表明,提出的多尺度空洞卷积神经网络对于目标边界的拟合结果较为理想。     

基于DSPP的单目图像深度估计

空洞空间金字塔池化（ASPP）在深度学习各种任务中均有应用,传统ASPP模块只考虑了提升卷积感受视野,但ASPP中的每次空洞卷积选取的像素点分散,会丢失大量像素点间的信息,而深度估计属于密集预测任务。针对ASPP模块这一弊端提出了一种动态密集的DSPP模块。该模块用一种动态卷积代替空洞卷积,结合ASPP的思想,采用不同大小的卷积尺寸,并结合通道注意力充分利用每一层的特征,解决了ASPP丢失信息的问题,与ASPP相比在大大减小模块参数量的前提下,提升了整体模型的准确率。在NYU Depth v2数据集上与主流算法相比深度图在均方根误差（RMSE）上降低了12.5%,到0.407,并且准确率（δ<1.25）提高了3.4%,达到0.875,验证了算法的有效性。     

基于轻量级金字塔网络的种子分选方法研究

针对目前卷积神经网络种子分选方法存在识别精度不高、模型参数量大、推理速度慢且难于部署等问题,提出了基于轻量级金字塔空洞卷积网络的种子分选方法;该网络提出了残差空间金字塔模块,利用不同扩张率的空洞卷积扩大感受野,更有效地提取多尺度特征;再结合深度可分离卷积技术减少模型参数量和计算复杂度;在网络结构中引入轻量级注意力机制模块,利用局部跨通道交互方式关注重要的信息,提高种子关键特征提取能力;实验结果表明,提出网络参数量仅为0.13 M,在玉米和红芸豆数据集上准确率高达96.00%和97.38%,在NVIDIA Quadro板卡上识别单张图片时间仅为4.51 ms,均优于主流轻量级网络MobileNetv2、Shufflenetv2和PPLC-Net等,可以满足工业现场实时识别的要求。     

改进多尺度残差网络病害叶片图像识别

针对农作物病害图像识别模型存在参数量较大内存占用较多、识别准确率不高及训练速度慢等问题,提出了融合注意力模块的多尺度卷积网络叶片病害图像识别模型。该网络模型基于残差网络模块,利用多尺度卷积取代了传统的单尺度卷积,使得网络加宽以获取更多的特征信息,避免网络堆叠过深引起的过拟合现象;同时为了加快模型训练速度,采用深度可分离卷积代替传统卷积减少模型参数量;将注意力机制引入到残差网络中,增强了模型的关键特征信息的提取能力,从而提高了模型的识别精度。通过对试验数据集进行对比试验,改进网络模型的识别准确率达到99.48%并且模型参数量仅有19.06 MB,试验结果表明所提出的方法能有效地提高模型的识别性能并降低模型参数量,为实现低成本终端运行奠定基础。     

注意力机制下密集空洞卷积的肺部图像分割

目的 卷积神经网络（convolutional neural network,CNN）在计算机辅助诊断（computer-aided diagnosis,CAD）肺部疾病方面具有广泛的应用,其主要工作在于肺部实质的分割、肺结节检测以及病变分析,而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此,为了更好地适应计算机辅助诊断系统要求,提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络,进行肺部分割。方法 将注意力机制引入网络的解码部分,通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息,将密集空洞卷积模块部署在网络中间,该模块集合了Inception、残差结构以及多尺度空洞卷积的优点,在不引起梯度爆炸和梯度消失的情况下,获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题,对网络中的上/下采样模块进行改进,利用多个不同尺度的卷积核级联加宽网络,有效避免了特征丢失。结果 在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验,结果表明,本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union,IoU）、准确度（accuracy,ACC）以及敏感度（sensitivity,SE）等评价指标均优于对比方法,相比于性能第2的模型,分别提高了0.443%,0.272%,0.512%以及0.374%。结论 本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络,相对于其他分割网络取得了更好的分割效果。     

融合深度神经网络和空洞卷积的语义图像分割研究

语义分割是计算机视觉中的基本任务,是对图像中的不同目标进行像素级的分割与分类.针对多尺度的目标分割难题,本文提出了一种基于Res Net网络的方法,通过定义并联支路,将浅层特征图像信息融合到深层特征图像中,提出新的空洞空间金字塔模块,该模块采用并行的不同采样率的空洞卷积进行特征提取与融合,从而更有效的提取不同层的特征以及上下文信息,并且在新模块中加入批规范化计算,增强参数调优的稳定性.本文还采用了Adam自适应优化函数,在训练的过程中,使得每个参数的更新都具有独立性,提升了模型训练的稳定性.本文结果在PASCAL VOC 2012语义分割测试集中取得了77.31%mIOU的成果,优于Deeplab V3的效果.     

一种浅层非对称结构的视网膜血管分割网络

针对传统视网膜血管分割网络随着网络深度加深导致微小特征信息丢失,网络分割灵敏度低的问题,提出了一种有别于传统对称编码-解码模块的非对称视网膜血管分割结构。网络权重参数量为7.2MB,以残差注意力模块和多尺度空洞卷积模块作为基础特征提取模块,特征图的最大通道层数只有64层,特征图尺寸减半和反卷积操作都只有两次,能够减少特征图尺寸变化带来的信息丢失现象。本文所提方法在DRIVE和CHASE-DB1数据集上进行测试的准确性分别为96.85%和97.39%,灵敏度分别为84.03%和86.50%,特异性分别为98.08%和98.12%,AUC分别为98.63%和98.99%。     

PipeCNN：一种基于软件流水线的并行化卷积神经网络方法

针对使用传统模型并行方法加速卷积神经网络训练容易出现设备利用率不高的问题,提出了通过软件流水线方式加速卷积神经网络的方法PipeCNN。首先研究了卷积神经网络中的前向传播与反向传播算法,分析了训练过程中的数据相关性;然后基于软件流水线改进了卷积神经网络的训练过程,提出了两种可行的参数更新方式;最后使用循环队列来实现网络中层与层之间的消息通信,并提出任务分配算法来划分软件流水线中的工作段。实验结果显示,这种方法在保证模型准确性的前提下,可以取得良好的加速比以及设备利用率,表明了使用软件流水线可以有效解决模型并行中设备利用率不高的问题,提高了卷积神经网络的训练速度。     

基于序列卷积网络的Twitter情感分类

为解决传统用于文本分类等时序性问题的循环神经网络无法留住长远记忆及模型框架复杂的问题,提出一种基于序列卷积神经网络的分类模型。利用卷积的思想处理时序性问题,将因果卷积和扩张卷积结合作为卷积层来保证网络具有足够大的感受野,应用残差模块和批处理加深神经网络并消除层数增加误差增大和模型难训练的问题,用卷积层代替全连接层以改善网络特征选取的局限性。实验结果表明,序列卷积分类模型用于Twitter情感分类任务中可获得更优的分类效果,验证了卷积网络的思想可以处理时序性问题。     

应用空洞卷积的神经网络轻量化方法#br#

为了深度卷积神经网络能够更好地应用于边缘设备,减少深度神经网络的模型参数量,降低网络复杂度,对于轻量化卷积神经网络的研究日益增多。将常用于多尺度融合的卷积——空洞卷积首次应用于神经网络轻量化领域研究。利用空洞卷积采样与扩大感受野的结构特性,实现了模型参数量的减少与计算复杂度的降低。将空洞卷积单纯作用于残差网络结构,达到轻量化目的,并进一步与逐点卷积结合,提高轻量化效果,形成改进型空洞卷积轻量化方法。为减少准确率衰减,将改进型空洞卷积与普通卷积相融合,提出一种融合型空洞卷积轻量化方法。实验结果表明,改进型空洞卷积轻量化方法具有最显著的轻量化效果,融合型空洞卷积轻量化方法使模型参数量减少同时具有最佳速度与精度的权衡。     

基于PDSSD改进型神经网络的小目标检测算法

SSD卷积神经网络一直对较小目标检测精度不佳。对此在SSD网络结构的基础上引入空洞卷积(Dilated Convolution),并组建空洞金字塔模块(Pyramid Dilated Convolution)和特征空洞金字塔模块(Feature Pyramid Dilated Convolution)融入SSD中,提升了网络浅层特征层的语义信息,提高了深层特征层的感受野和特征提取能力,构建了新型网络结构Pyramid Dilated SSD(PDSSD)。实验结果表明,PDSSD在PASCAL-VOC数据集上的检测mAP(Mean Average Precision)值高达82.1%,检测精度和小目标检测能力明显高于SSD,并且网络训练速度和mAP值领先于其他主流算法。     

基于膨胀卷积神经网络模型的中文分词方法

目前,许多深度神经网络模型以双向长短时记忆网络结构处理中文分词任务,存在输入特征不够丰富、语义理解不全、计算速度慢的问题。针对以上问题,该文提出一种基于膨胀卷积神经网络模型的中文分词方法。通过加入汉字字根信息并用卷积神经网络提取特征来丰富输入特征;使用膨胀卷积神经网络模型并加入残差结构进行训练,能够更好理解语义信息并提高计算速度。基于Bakeoff 2005语料库的4个数据集设计实验,与双向长短时记忆网络模型的中文分词方法做对比,实验表明该文提出的模型取得了更好的分词效果,并具有更快的计算速度。     

基于膨胀卷积和稠密连接的烟雾识别方法

为更好地提取烟雾图像的全局特征,提出一种基于膨胀卷积和稠密连接的烟雾识别方法.依次堆叠膨胀率不同的膨胀卷积,扩大卷积核的感受野,使得卷积核能够感知更广泛的烟雾图像区域,在不同膨胀卷积层之间设计稠密连接机制,促进卷积层之间的信息流通,实现烟雾图像局部特征和全局特征的融合.在此基础上,构造应用于烟雾识别的深度卷积神经网络,并在训练样本和标签的凸组合上完成训练以增强模型的泛化能力.实验结果表明,与AlexNet、VGG16等方法相比,该方法具有较好的烟雾特征表达能力,能在提高烟雾识别效果的同时,减小模型尺寸效果,其实用性较好.     

基于改进型C3D神经网络的动作识别技术

Facebook提出的C3D三维卷积神经网络虽然能达到良好的视频动作识别准确率,但是在速度方面还有很大的改进余地,而且训练得到的模型过大,不便于移动设备使用。本文利用小型卷积核能够减少参数的特点,对已有网络结构进行优化,提出一种新的动作识别方案,将原C3D神经网络常用的3×3×3卷积核分解成深度卷积和点卷积（1×1×1卷积核）,并且在UCF101数据集和ActivityNet数据集训练测试。结果表明,与原C3D网络进行对比：改进后的C3D网络准确率比C3D提升了2.4%,在速度方面比C3D提升了12.9%,模型大小压缩到原来的25.8%。     

基于密集连接空洞卷积神经网络的青藏地区云雪图像分类

为了提高高纬度地区云雪卫星图像的识别准确率,提出了密集连接空洞卷积神经网络与空洞卷积相结合的方法进行云雪卫星图像识别研究。该方法首先采用常规卷积层对图像进行处理得到特征图,然后采用多个密集块和过渡层对特征图进行处理。其中,密集块中采用跨层连接的方式实现了网络中所用层的特征传递,使得大量云雪特征得到重用,同时减轻了训练过程中的梯度消失问题。密集块中的卷积核采用空洞卷积,在减少参数量的同时扩大局部感受野,对云雪的光谱信息进行特征提取。最后,该方法采用平均全局池化层与全连接层得到云雪图像的预测结果。实验结果表明,与其他机器学习方法相比,该方法能够提高卫星云雪图像的识别准确率,具有良好的泛化能力。     

结合一维扩展卷积与Attention机制的NLP模型

自然语言处理作为人工智能的一个分支,在日常生活中有着广泛的应用。随着循环神经网络在自然语言处理领域的应用以及循环神经网络的不断演进与迭代,自然语言处理有了很大的飞跃。循环神经网络也因此迅速成为自然语言处理领域的主流算法,但是其具有结构复杂和训练时间漫长的缺点。提出一种基于一维扩展卷积和Attention机制的自然语言处理模型,利用一维扩展卷积提取语言文本的深层特征,再通过Attention机制给深层特征分配权重以整合各个时序特征。实验结果表明,该模型只需循环神经网络约30%的训练时间,就能达到与循环神经网络相近的性能,验证了该模型的有效性。     

基于动态扩散卷积交互图神经网络的网络流量预测

现有的网络流量预测模型存在着泛化能力弱和预测准确率低等问题,为了解决此问题,提出了一种结合动态扩散卷积模块和卷积交互模块的预测模型。动态扩散卷积模块可以提取网络流量中复杂的空间特征和动态特性,而卷积交互模块则能捕获到流量中的时间特征,两者的有机结合可以有效预测网络中的流量。通过与其他网络流量预测模型在美国能源科学网（ESnet）流量数据上进行对比实验,验证了提出的动态扩散卷积交互图神经网络模型（DDCIGNN）的有效性。实验结果表明,DDCIGNN模型的均方根误差（RMSE）在最好的情况下优化了大约13.0％,说明该模型能够进行更有效的网络流量预测。