基于多级金字塔卷积神经网络(MLPCNN)的快速特征表示方法

近年来,在机器视觉中基于卷积神经网络(CNN)的特征提取方法取得了令人惊叹的成果,主要原因是深度学习在多层和低维的特征表示上有着很大的优势。但是由于在大尺度图像中卷积滤波的过程速度过慢,导致CNN参数调节困难、训练时间过长,针对这一问题,本文基于传统卷积神经网络(TCNN, Traditional convolution neural network)提出一种快速有效的多级金字塔卷积神经网络MLPCNN(Multi-level pyramid CNN)。这一网络使用权值共享的方法将低级的滤波权值共享到高级,保证CNN的训练只在较小尺寸的图像块上进行,加快训练速度。实验表明,在特征维数比较低的情况下,MLPCNN提取到的特征比传统的特征提取方法更加有效,在Caltech101数据库上,MLPCNN识别率达到81.32%,而且训练速度较TCNN网络提高了约2.5倍。     

多尺度坐标注意力金字塔卷积的面部表情识别

针对传统卷积神经网络对人脸面部表情特征提取能力不足、计算速度较慢等问题，提出了一种多尺度融合注意力的金字塔卷积模型。为了减少网络的参数量，提高网络的计算速度，增大模型的感受野，改进了金字塔卷积结构；为了从多尺度表示面部表情特征，提高模型对面部特征的表示能力，提出了SECA坐标注意力模块；为了节省网络的计算量，解决模型冗余的问题，促进通道间的信息融合，提出了深度可分离混洗方法。实验结果表明，该模型在公开数据集FER2013、CK+和JAFFE上的准确率分别为72.89%、98.55%和94.37%，参数量为1.958×107，与其他网络对比，该网络识别效果更好，准确率更高，同时保持较快的计算速度。     

基于多尺度特征融合的自然场景文本检测

为改善自然场景文本检测任务中存在的分割边界粗糙和多尺度文本漏检等问题,提出了一种多尺度特征融合方法。首先,将密集连接型金字塔池化（DenseASPP）和卷积块注意力模块（CBAM）与渐进式尺度扩展网络（PSENet）进行紧密结合,前者作为尺度感知模块,可以提取丰富的多尺度信息,感知不同规模的文本;而后者作为注意力模块,能够突出多尺度信息中的关键特征,改善边界定位。然后,在骨干网络中添加空洞卷积扩大感受野。最后,在后处理阶段采用渐进式扩展算法优化文字行合成。在ICDAR2015和ICDAR2017-MLT数据集上的实验结果表明,综合评估指标F值相较于PSENet分别提升了2.47%和6.57%。可视化结果表明,该方法能够更好地分割文本边界,检测出PSENet漏检的文本。     

多尺度特征金字塔网格的显著性目标检测

现有算法所提取的语义信息还不够丰富,影响了显著性目标检测的性能.因此,提出了一种多尺度特征金字塔网格模型来增强高层特征包含的语义信息.首先,采用特征金字塔网格结构对高层特征进行增强;其次,采用金字塔池模块对最高层特征进行多尺度操作;最后,引入非对称卷积模块,进一步提高算法性能.所提模型与其他14种显著性目标检测算法在4...     

多尺度方法结合卷积神经网络的行为识别

为了同时计算行为序列样本在时间和空间的特征,提出了一种基于包含多尺度卷积算子的卷积神经网络识别模型。首先通过叠加的方式将序列样本中的骨骼向量信息整合为一个行为矩阵,然后将矩阵输入识别模型。为了挖掘具有不同邻接关系的骨骼点在描述人体行为时的作用,将卷积神经网络各层中的卷积算子拓展为多尺度卷积算子,并使用该网络得到的特征进行分类。实验在MSR-Action3D数据集和HDM05数据集获得较好的识别率。     

基于卷积神经网络的光流估计模型

光流信息是图像像素的运动表示,现有光流估计方法在应对图像遮挡、大位移和细节呈现等复杂情况时难以保证高精度.为了克服这些难点问题,本文建立一种新型的卷积神经网络模型,通过改进卷积形式和特征融合的方式来提高估计精度.首先,加入调整优化能力更强的可形变卷积,以便于提取相邻帧图像的大位移和细节等空间特征;然后利用基于注意力机制...     

基于多尺度CLG光流法的多目标检测方法

多目标检测是计算机视觉中一个重要的研究方向,如何才能准确地检测目标在军事、生活、工业等方面都有着极为重要的研究意义。针对传统光流法在目标检测中对噪声鲁棒性较差的问题,为了提高算法对噪声的鲁棒性,本文将CLG光流法与多尺度的思想相结合。多尺度的主要思想是建立一个图像金字塔,由粗到精地计算光流向量,并在此基础上将L2范数的平方改为L1范数。实验结果表明,改进后的多尺度CLG光流算法相对于原始CLG光流算法有更好的整体效果,说明多尺度CLG光流算法对噪声具有更好的鲁棒性,可以较好地对图像进行光流估计。     

改进的金字塔Lucas Kanade光流算法实现多姿态视频人脸特征点跟踪

目前,在人脸特征点跟踪领域,光流算法的使用较广泛。本文提出对小姿态人脸采用仿射变换矫正以及对大姿态人脸通过跟踪准确特征点的偏移量改进金字塔Lucas Kanade光流方法。实验结果表明,该算法比传统的金字塔Lucas Kanade光流算法在多姿态人脸特征点跟踪方面有更好的效果。     

基于视觉传感器采集光流特征的精神疾病识别方法

目前,精神疾病的筛查主要依靠临床医生的访谈和问卷进行评估,具有高成本、主观性等问题。本文提出了一种基于视觉传感器采集光流特征的精神疾病识别方法,可以实时监测和预警,以较低的成本和非侵入性的方式来进行精神疾病的辅助筛查。该算法通过视觉传感器全面采集患者的面部数据来提取光流特征,输入TSMOSNet进行训练。TSMOSNet以TSM为基础网络进行改进,替换普通卷积为光流提取头,针对视觉传感器采集而来的光流特征图进行密集采样,并添加了时序注意力模块、DML蒸馏和VideoMix数据增强等方法,增强了视觉特征,以提高精神疾病识别的准确率。实验结果表明,在H7-BDSN数据集上相比于其他方法,本文提出的识别算法在精神疾病的筛查任务中取得了最好的效果,准确率为85%,F1分值为0.84。     

基于多尺度特征卷积神经网络的目标定位

针对实际应用中诸多数据集标签部分缺失、无定位标注等问题，提出了基于多尺度特征卷积神经网络的弱监督定位算法。其核心思想是利用神经网络分层的特性，在多层卷积层上使用梯度加权类激活映射，生成梯度金字塔模型，并通过均值滤波计算特征质心位置，利用置信强度映射和阈值梯减模块产生连接的像素段，围绕最大边界标注进行弱监督定位。在标准测试集上的实验结果表明，该算法能够在存在大量类别、多尺度图像的情况下完成目标定位，具有较高的精确度。     

基于可形变自相关网络的图像篡改检测方法

基于深度学习的图像复制-粘贴篡改检测方法在特征提取过程中未考虑特征的空间排列,在小区域篡改样本下检测性能不佳。基于可形变自相关网络提出一种图像篡改检测方法。通过引入可形变卷积和多尺度空间金字塔,自适应地学习篡改目标的空间形变,同时通过构造自相关金字塔式特征层次结构,融合全局特征和局部特征以提升图像篡改检测性能。实验结果表明,该方法在公开的图像篡改检测基准上各项评测指标均优于对比方法,其精确率、召回率、F₁值较BusterNet 2019分别提高14.85、15.04、12.81个百分点,在小区域篡改样本下性能优势更为明显。     

基于改进特征金字塔网络的人体姿态估计

为在人体姿态估计过程中有效获取多尺度特征和关键点坐标,建立一种基于改进特征金字塔网络（IPFN）的人体姿态跟踪模型。在原特征金字塔上采用新的检测器扩大感受野得到新特征金字塔,通过引入多尺度卷积生成高斯热点图,同时搜索和定位关键点,使坐标转换层将高斯热点图转为坐标,实现端到端训练过程。实验结果表明,相比FPN, IPFN模型在MPⅡ数据集的PCKh和COCO数据集的AP上分别提高了2.05和3.20个百分比;在踝、膝、腕和肘4个难检测部位上的PCKh分别提高了3.95、2.80、2.52和2.05个百分点。     

基于可变形卷积神经网络的手势识别方法

卷积神经网络本身具有丰富的特征表达能力和学习能力,但本质上,其模块中几何变换能力是固定的。因此,引入可变形卷积核来改进VGG16的网络结构,搭建名为DCVGG的卷积神经网络结构来进行手势识别的研究。在不同数据集下,基于可变形卷积神经网络的手势识别方法能够直接把RGB图像数据输入网络。最终输出的结果,对手势的平均识别率达到97%以上,有效提高网络的性能,提升卷积神经网络对样本对象的容忍度和多样性,丰富卷积神经网络的特征表达能力,与传统LeNet5、VGG16结构和传统人工特征提取算法相比效果更佳,比传统结构更深,鲁棒性更好,识别率更强,可以为复杂背景下有效识别手势提供参考,具有一定的延拓能力。     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.     

结合多尺度与可变形卷积的自监督图像特征点提取网络

特征点提取是图像处理领域的一个重要方向,在视觉导航、图像匹配、三维重建等领域具有广泛的应用价值。基于卷积神经网络的特征点提取方法是目前的主流方法,但由于传统卷积层的感受野大小不变、采样区域的几何结构固定,在尺度、视角和光照变化较大的情况下,特征点提取的精度和鲁棒性较差。为解决以上问题提出了一种结合多尺度与可变形卷积的自监督特征点提取网络。本文以L2-NET为网络骨干,在深层网络中引入多尺度卷积核,增强网络的多尺度特征提取能力,获得细粒度尺度信息的特征图;使用单应矩阵约束的可变形卷积以提取不规则的特征区域,同时降低运算量,并采用归一化约束单应矩阵的求解,均衡不同采样点对结果的影响,配合在网络中增加的卷积注意力机制和坐标注意力机制,提升网络的特征提取能力。文章在HPatches数据集上进行了对比试验和消融实验,与R2D2等7种主流方法进行对比,本文方法的特征点提取效果最好,相比于次优数据,特征点重复度指标（Rep）提升了约1%,匹配分数（M.s.）提升了约1.3%,平均匹配精度（MMA）提高了约0.4%。本文提出的方法充分利用了可变形卷积提供的深层信息,融合了不同尺度的特征,使特征点提取结果更加准确和鲁棒。     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

一种迁移学习和可变形卷积深度学习的蝴蝶检测算法

针对自然生态蝴蝶多种特征检测的实际需求,以及生态环境下蝴蝶检测效率低、精度差问题,本文提出了一种基于迁移学习和可变形卷积深度神经网络的蝴蝶检测算法（Transfer learning and deformable convolution deep learning network,TDDNET）.该算法首先使用可变形卷积模型重建ResNet-101卷积层,强化特征提取网络对蝴蝶特征的学习,并以此结合区域建议网络（Region proposal network,RPN）构建二分类蝴蝶检测网络,以下简称DNET-base;然后在DNET-base的模型上,构建RPN网络来指导可变形的敏感位置兴趣区域池化层,以便获得多尺度目标的评分特征图和更准确的位置,再由弱化非极大值抑制（Soft non-maximum suppression,Soft-NMS）精准分类形成TDDNET模型.随后通过模型迁移,将DNET-base训练参数迁移至TDDNET,有效降低数据分布不均造成的训练困难与检测性能差的影响,再由Fine-tuning方式快速训练TDDNET多分类网络,最终实现了对蝴蝶的精确检测.所提算法在854张蝴蝶测试集上对蝴蝶检测结果的mAP0.5为0.9414、mAP0.7为0.9235、检出率DR为0.9082以及分类准确率ACC为0.9370,均高于在同等硬件配置环境下的对比算法.对比实验表明,所提算法对生态照蝴蝶可实现较高精度的检测.