改进ASPP及多层次特征语义融合分割方法

为解决图像语义分割中多尺度目标分割困难、类别边界预测不准确等问题，提出一种基于改进空洞空间金字塔池化的多层次特征语义融合分割方法。将深层次网络特征按通道分组，利用分组空洞空间金字塔池化模块捕获每个分组多尺度特征上下文信息；引入条状池化模块对上下文信息补充和完善，增强全局语义信息表达；根据语义引导融合模块建立不同层次特征像素间对应关系，将深层次语义信息以自底向上方式逐步融入到低层次高分辨率图像中。实验结果表明，该方法在PASCAL VOC 2012和Cityscapes公开数据集上分别获得73.1%、71.8%的平均交并比，且在相同精度下，该方法减少了39%的参数量。     

基于SR-VGG19的人脸表情识别算法研究

针对人脸表情识别率低、泛化能力弱的问题,提出一种基于改进卷积神经网络的表情识别算法.对VGG19网络模型进行优化,采用改进的区域候选网络(Improved Regional Proposal Network,IRPN)代替滑动窗口以避免图像特征的重复提取;在输出层之前使用空间金字塔池化(Spatial Pyramid Pooling,SPP)来提高图像特征的表达能力.通过应用Dropout和批归一化(Batch Normalization,BN)策略来解决过拟合问题,并提高网络模型的泛化能力.采用经典的FER2013和CK+人脸表情数据库对该算法与2013年Kaggle比赛前十名的算法和最近几年提出的人脸表情识别算法分别进行对比实验.结果表明,论文提出的算法人脸表情识别率优于上述算法,分别为73.1％(FER2013)和98.99％(CK+),可实现较好的人脸表情识别效果.     

基于序的空间金字塔池化网络的人群计数方法

视频中的人群计数在智能监控领域具有重要价值. 由于摄像机透视效果、图像背景、人群密度分布不均匀和行人遮挡等干扰因素的制约, 基于底层特征的传统计数方法准确率较低. 本文提出一种基于序的空间金字塔池化(Rank-based spatial pyramid pooling, RSPP)网络的人群计数方法. 该方法将原图像分成多个具有相同透视范围的子区域并在各个子区域分别取不同尺度的子图像块, 采用基于序的空间金字塔池化网络估计子图像块人数, 然后相加所有子图像块人数得出原图像人数. 提出的图像分块方法有效地消除了摄像机透视效果和人群密度分布不均匀对计数的影响. 提出的基于序的空间金字塔池化不仅能够处理多种尺度的子图像块, 而且解决了传统池化方法易损失大量重要信息和易过拟合的问题. 实验结果表明, 本文方法相比于传统方法具有准确率高和鲁棒性好的优点.     

基于深度学习的高分辨率遥感图像建筑物识别

为解决当前深度学习方法在高分辨率遥感图像中存在识别结果过度分割,以及小物体识别差的问题,提出一种基于SegNet架构改进的网络模型AA-SegNet,增加了增强的空间金字塔池化模块和空间注意力融合模块。该网络可以加强特征传播并能够有效传递更高级别的特征信息以抑制低级特征的噪声,并且可以增强小目标特征学习。基于高分二号遥感影像制作数据集并进行实验,AA-SegNet网络总体识别准确率为96.61%,在识别率、[F1]分数以及训练时间等方面也都优于SegNet、U-Net、DeepLab-V3网络。     

改进YOLOv3算法及其在航拍图像车辆检测中的应用

针对航拍图像中的车辆目标尺度小、特征不明显导致目标检测困难的问题,提出一种改进YOLOv3的航拍车辆目标检测方法。将空间金字塔池化模块引入到特征提取网络中,丰富卷积特征的表达能力;设计4个不同尺度的卷积特征金字塔,并通过卷积特征融合机制来实现对多层级卷积特征的融合,在融合后的卷积特征金字塔上进行目标检测。在航拍图像车辆目标检测数据集上的测试结果表明,与原YOLOv3相比,改进后的算法能够有效地提高对航拍图像中车辆目标检测效果的查全率以及查准率,并将平均均值精度(mean average precision, mAP)提升了4.5百分点。     

基于金字塔场景分析网络改进的语义分割算法

图像语义分割是图像识别中的一个经典难题,是机器视觉研究的一个热点。但在实际应用中,会出现语义标签预测不准确、所分割对象与背景之间边缘信息损失问题,这已逐渐成为了图像理解的瓶颈。据此,提出了一种基于金字塔场景分析网络（PSPNet）的网络改进结构,在特征学习模块中将输入图在原残差网络（ResNet）的基础上通过在网络内部增加卷积、池化操作,进一步学习各个层次特征,将所学习到的多个低层次特征图与高层次特征图相加,得到新的具有更多空间位置信息的特征图;为得到丰富的上下文信息,利用PSPNet的金字塔池化结构,将特征图中全局上下文信息与不同尺度局部上下文信息相结合,进行卷积和上采样,得到最终预测图。仿真实验结果表明,所改进的方法在PASCAL VOC 2012测试集中平均交并比（Mean Intersection over Union,MIoU）达到78.5%,较基准算法提升了1.7%。     

基于改进DCNN的烟火隐患检测方法

针对山火烟雾这类柔性目标图像存在的形状不固定所导致的识别精度低、泛化性差等问题,提出了一个基于YOLO的改进深度卷积神经网络(DCNN)识别方法.该方法通过数据增强算法优化训练网络;利用GIoU_Loss损失函数替换L2 Loss函数,大幅降低损失值;运用空间金字塔池化,将多尺度特征进行融合,增加网络的感受野,提高检测精度.实验结果表明,改进方法相对于原YOLO算法查全率提升了1.3％,查准率提高了2.1％.     

基于卷积神经网络的语义分割算法研究

针对语义分割中残差网络并不能完好地提取图像信息和分割效果差的问题,提出一种联合特征金字塔模型(JFP)用来融合残差网络的输出特征,并结合暗黑空间金字塔池化模型(ASPP)进一步提取特征。在解码部分应用简单的解码结构,恢复图像尺寸完成语义分割;同时引入注意力模型作为辅助语义分割网络,辅助神经网络进行训练。该方法分别在Pascal VOC 2012数据集和增强的Pascal VOC 2012数据集上对网络进行训练,并在Pascal VOC 2012的验证集上进行测试,其平均交并集之比(mIoU)分别达到了78.55%和80.14%,表明该方法具有良好的语义分割性能。     

基于SHN模型的商品图像检索方法

近年来电子商务行业快速发展,如何通过图像信息在庞大的商品库中快速、准确地找到所需要的商品具有重要的应用价值。针对商品图像数据规模大、类间数据量差异大、被拍摄商品的尺度相差较大以及压缩图像会损失掉细节信息的特点,提出了一个融合金字塔池化策略与哈希学习的空间金字塔池化哈希网络SHN模型,作为本文商品图像检索方法的特征提取部分。为了提高模型对图像形变的鲁棒性,采用金字塔池化策略实现多尺度特征融合;为了使学习到的哈希码具有更好的独立性,使用量化误差损失及附加权值对哈希编码进行约束。本文方法保留了原始图像信息,解决了图像尺度变化所带来的负面影响,通过哈希编码能够实现快速的商品图像检索,商品图像检索实验中的mAP值达到91.986 3%,完成一次检索所用时间为0.034 856 s,检索性能优于当前主流方法。     

基于残差收缩网络的遥感图像目标检测算法

针对于遥感图像中背景复杂噪声多、小目标多且排布密集、目标尺度差异大等问题,提出了一种改进通道注意力与残差收缩网络的遥感图像目标检测算法。该算法借助卷积神经网络,以YOLOV3模型作为基础网络,选择Mosaic图像增强的方式进行数据预处理,采用深度残差收缩模块重构了特征提取网络,并结合通道注意力机制与组合池化构建空间金字塔池化融合层,采用CIOU进行定位损失计算,最终实现遥感图像目标检测。实验结果表明：改进算法相比于原算法的总体mAP由89.2%提升至92.2%,获得了更好的性能表现。     

利用对抗网络改进多标记图像分类

为了更有效地对多标记图像进行分类,提出一个改进的卷积神经网络模型,通过融合多层次特征并利用空间金字塔池化来学习多标记图像中的多尺度特征,同时设计对抗网络生成新的样本辅助模型训练.首先,对传统卷积神经网络模型进行改进,利用空间金字塔池化层替换网络的最后一层,并将在ImageNet上预先训练好的参数传递给该模型;然后,通过将深层特征和浅层特征进行融合,使得模型对不同尺度的物体具有更好的识别能力;最后,设计了一个对抗网络生成带遮挡的样本,使模型对遮挡物体的识别也具有良好的鲁棒性.实验测试在2个基准数据集上进行,文中模型在Corel5K数据集上的平均查准率和平均查全率分别为0.457和0.427,mAP值达到0.442,而在PASCAL VOC 2012数据集上的mAP值则达到0.85.实验结果表明,与当前国际先进的模型相比,该模型具有更好的有效性和更强的鲁棒性.     

多特征区域的细粒度船舶图像目标识别方法

为解决单一特征细粒度船舶图像识别率低的问题,提出一种循环注意卷积神经网络（recurrent attention convolutional neural network,RA-CNN）与多特征区域融合的船舶目标识别方法。该方法通过在VGG-19网络中引入尺度依赖池化（scale-dependent pooling,SDP）算法解决小目标过度池化的问题,提升了小型船舶的识别性能;注意建议网络（attention proposal network,APN）加入联合聚类（joint clustering）算法,生成多个独立的特征区域,使整个模型充分利用全局信息,提高了船舶识别精度;同时设计特征区域优化方法降低多个特征区域的重叠率,解决了过拟合问题;通过定义新的损失函数来交叉训练VGG-19和APN,加快了收敛速度。利用公开的光电船舶数据集对该方法进行测试实验,识别准确率最高可达90.2%,无论是识别率还是模型的鲁棒性较单特征都有了很大的提升。     

基于空洞空间金字塔池化的雾天图像语义分割

针对雾天图像语义分割中分割精度不高的问题,基于空洞空间金字塔池化、Xception模块和残差网络,提出一种雾天图像语义分割算法.该算法一方面使用空洞空间金字塔池化和残差网络,以多个采样率的并行卷积以及卷积核大小为1×1的卷积对输入图像进行多尺度的上下文特征提取;另一方面,采用解码器结构使用预训练后的Xception模块对提取的特征进行分类,得到每一个像素的预测结果,用于增强分割边界的细化得到边界精细的分割结果.实验表明,所提算法在foggy cityscapes数据集上的平均交并比为73.03％、73.81％与74.50％,分割性能良好.     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

改进DeepLabV3+网络的遥感影像农作物分割方法

针对于当前遥感影像农作物提取存在的识别精度较低、边缘识别效果较差、提取速度慢等问题,提出了一种改进DeepLabV3+网络的遥感影像农作物分割方法。将特征提取网络改为更轻量级的MobileNetV2网络,空洞空间金字塔池化模块中的普通卷积改为深度可分离卷积,大幅减少模型计算量,提高模型计算速度;在特征提取模块以及空洞空间金字塔池化模块加入双注意力机制,进一步优化模型边缘识别效果,提升模型分割精度。此外针对农作物数据集类别不平衡问题,引入加权损失函数,给予玉米、薏米与背景类不同的权重,提高模型对农作物区域分割精度。以2019年某地区的无人机遥感影像为研究对象,对玉米、薏米两种农作物进行分割。实验结果表明,改进DeepLabV3+算法像素准确率可达到93.9%,平均召回率可达到90.7%,平均交并比可达到83.3%,优于传统DeepLabV3+、Unet、Segnet等常用于农作物提取的分割方法,对农作物具有更好的分割效果。     

抗模糊特征提取策略下的车标识别

目的 现有的车标识别方法尽管取得了不错的识别效果,但最终的识别率容易遇到瓶颈,很难得到提升。车标识别是智能交通系统中至关重要的一部分,识别率的微小提升也能带来巨大的社会价值。通过挖掘与分析车标识别中潜在的问题和难点,发现未能得到正确分类的图像大部分为模糊车标图像。针对车标图像中存在的成像模糊等情况,本文提出一种基于抗模糊特征提取的车标识别方法。方法 构建车标图像金字塔模型,分别提取图像的抗纹理模糊特征和抗边缘模糊特征。抗纹理模糊特征的提取使用局部量化的LPQ（local phase quantization）模式,可以增强原始特征的鲁棒性,抗边缘模糊特征的提取基于局部块弱梯度消除的HOG（histogram of oriented gradient）特征提取方法,可以在描述车标图像边缘梯度信息的同时,提升特征的抗模糊能力。最后利用CCA（canonical correlation analysis）方法进行两种抗模糊特征的融合并用于后续的降维与分类。结果 本文方法在多个数据集上均取得了很好的识别效果,在20幅训练样本下,本文方法在公开车标数据集HFUT-VL（vehicle logo dataset from Hefei University of Technology）上取得了99.04%的识别率,在本文构建的模糊车标数据集BVL（blurring vehicle logo dataset）上也取得了97.19%的识别率。而在难度较大的XMU（Xiamen University vehicle logo dataset）上,本文方法在100幅训练样本下也达到了96.87%的识别率,识别效果高于一些具有较好表现的车标识别方法,表现出很强的鲁棒性和抗模糊性。结论 本文方法提高了对成像质量欠缺的车标图像的识别能力,从而提升了整体识别效果,更符合实际应用中车标识别的需求。     

基于改进Faster RCNN的城市道路货车检测

针对货车利用躲避摄像头等手段在城市道路中不按规定时间、规定线路行驶, 使得车辆不能被准确识别的问题, 提出基于改进Faster RCNN的城市道路货车检测方法. 该方法以Faster RCNN为基础模型, 通过对传入主干网络的车辆图片进行卷积和池化等操作来提取特征, 其中增加特征金字塔网络(FPN)提升对多尺度目标检测的精度; 同时将K-means聚类算法应用在数据集上以获取新的锚点框; 利用RPN (region proposal network)生成建议框; 并使用CIoU (complete-IoU)损失函数代替原算法的smoothL1损失函数以提升检测车辆的精确性. 实验结果显示, 改进后的Faster RCNN相比原算法对货车检测的平均精度(AP)提高7.2%, 召回率(recall)提高6.1%, 减少了漏检的可能, 在不同场景下具有良好的检测效果.