基于深度学习的多模态融合三维人脸识别

二维人脸识别受光照、遮挡和姿态的影响较大.为了克服二维人脸识别的缺点,本文提出了一种基于深度学习的多模态融合三维人脸识别算法.该方法首先使用卷积自编码器将彩色图像和深度图进行融合,将融合后的图像作为网络的输入进行预训练,并且设计了一种新的损失函数cluster loss,结合Softmax损失,预训练了一个精度非常高的模型.之后使用迁移学习将预训练的模型进行微调,得到了一个轻量级神经网络模型.将原始数据集进行一系列处理,使用处理之后的数据集作为测试集,测试的识别准确率为96.37%.实验证明,该方法弥补了二维人脸识别的一些缺点,受光照和遮挡的影响非常小,并且相对于使用高精度三维人脸图像的三维人脸识别,本文提出的算法速度快,并且鲁棒性高.     

基于深度学习的高速公路收费车辆分类研究

为增强高速公路收费车辆分类的实时性和准确性,对比分析了SSD、YOLO和Faster R-CNN图像识别算法的优缺点,提出了一种结合MixUp数据增强、Focus网络结构和CIOU损失函数的高速公路收费车辆分类方法,对门架高清摄像机抓拍的图像进行识别和分类,在京港澳高速公路数据集上进行验证。结果表明：YOLO模型系列中的YOLOv3模型对于收费车辆分类的平均准确率超过了Faster R-CNN和SSD模型,并且在使用了MixUp数据增强、Focus网络结构和CIOU损失函数时平均准确率达到了92.04%,FPS为22.8。进行消融实验,使用MixUp数据增强后,模型精度提高了0.62%;使用Focus网络结构后,模型FPS提高了1.4;使用CIOU损失函数后,模型精度提高0.28%。由此说明,改进后的YOLOv3模型在高速公路收费车辆分类中可以准确、实时地实现收费车辆分类,为高速公路智能收费系统提供技术支撑。     

基于改进的Faster R-CNN的通用目标检测框架

针对当前基于深度学习的检测器不能有效检测形状不规则或长宽相差悬殊的目标的问题,在传统Faster R-CNN算法的基础上,提出了一个改进的二阶段目标检测框架——Accurate R-CNN。首先,提出了新的交并比（IoU）度量——有效交并比（EIoU）,通过提出中心度权重来降低训练数据中冗余包围框的占比。然后,提出了一个上下文相关的特征重分配模块（FRM）,通过建模目标的远程依赖和局部上下文关系信息对特征进行重编码,以弥补池化过程中的形状信息损失。实验结果表明,在微软多场景通用目标（MS COCO）数据集上,对于包围框检测任务,当使用深度为50和101的残差网络（ResNet）作为骨干网络时,Accurate R-CNN比基线模型Faster R-CNN的平均精度（AP）分别提高了1.7个百分点和1.1个百分点,超越了使用同样骨干网络的基于掩膜的检测器。在添加掩膜分支后,对于实例分割任务,当使用两种不同深度的ResNet作为骨干网络时,Accurate R-CNN比Mask R-CNN的掩膜平均精度分别提高了1.2个百分点和1.1个百分点。研究结果显示,相较于基线模型,Accurate R-CNN在不同数据集、不同任务上均取得了更好的检测效果。     

基于模型微调的空中无人机小样本目标识别方法

空中无人机目标识别是现代军事、航空领域的迫切需求,由于目前无人机的功能和种类繁多,对于新机型很难采集大量的无人机样本用于训练目标识别模型;针对该问题,提出了一种基于模型微调的空中无人机小样本目标识别方法;方法以Faster R-CNN为基础架构,首先采用具有大量标记样本的常见机型数据预训练Faster R-CNN模型;然后将基础架构最后的分类层替换为余弦度量,构建联合新机型与常见机型的小样本平衡数据集以较小的学习率微调分类层。实验结果表明,在标记样本数量为5、10和50的情况下,基于模型微调的小样本目标识别模型的mAP分别为88.6%,89.2%和90.8%,能够满足空中无人机小样本目标识别任务需求,且优于其它小样本目标识别方法。     

基于深度模型迁移的细粒度图像分类方法

针对细粒度图像分类方法中存在模型复杂度较高、难以利用较深模型等问题,提出深度模型迁移（DMT）分类方法。首先,在粗粒度图像数据集上进行深度模型预训练;然后,使用细粒度图像数据集对预训练模型logits层进行不确切监督学习,使其特征分布向新数据集特征分布方向迁移;最后,将迁移模型导出,在对应的测试集上进行测试。实验结果表明,在STANFORD DOGS、CUB-200-2011、OXFORD FLOWER-102细粒度图像数据集上,DMT分类方法的分类准确率分别达到72.23%、73.33%和96.27%,验证了深度模型迁移方法在细粒度图像分类领域的有效性。     

基于改进Faster RCNN的目标检测算法

近年来基于深度卷积神经网络的目标检测算法已经成为了主流,Faster R-CNN就是一种主流的目标检测算法。在Faster R-CNN卷积神经网络的基础上,使用DIoU来评价预测框和真实框的距离。针对Faster R-CNN小目标检测效果不好的缺陷,将原算法中的候选区域池化RoI Pooling改进为检测更为精确的区域特征聚集方式RoI Align。此外还改进了原算法中锚框的非极大值抑制方法,增加了算法的平均检测率。最后在公开数据集MS COCO、PASCAL VOC 2007、PASCAL VOC 2012上进行对比训练,在PASCAL VOC 2007测试集上进行验证。实验结果表明改进后的目标检测算法能够有效提高原Faster R-CNN算法的目标检测率。     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

双通道Faster R-CNN在RGB-D手部检测中的应用

在人机交互、手语识别等大量与人手有关的视觉任务中,手部检测是极为重要的一个预处理阶段。随着RGB-D数据采集设备的发展,额外提供的深度数据能够与传统使用的彩色数据互相补充以提供更强的特征表达。此外,传统的检测方法由于使用肤色、HOG等手工设计的特征,不能对手部进行很好的表达。而基于深度学习的检测方法通过从数据中自动学习有效的特征避免了这个问题。为了结合RGB-D数据和深度学习技术的优点,提出了一种融合彩色和深度数据的双通道 Faster R-CNN检测框架。该方法在原有Faster R-CNN检测框架的基础上,增加了Depth通道信息,并在特征层面上将其与RGB通道信息进行融合。实验结果表明,所提方法在性能上比仅采用RGB或在数据层面上融合的Faster R-CNN框架有明显优势。因此,该方法能有效融合来自彩色和深度通道的数据,以提升手部检测性能。     

基于Faster R-CNN的零件表面缺陷检测算法

针对人工和传统自动化算法检测发动机零件表面缺陷中准确率和效率低下,无法满足智能制造需求问题,提出了一种基于深度学习的检测算法.以Faster R-CNN深度学习算法为算法框架,引入聚类理论来确定anchor方案,通过对比k-meansII和CURE聚类算法生成anchor对检测结果的影响,提出了基于聚类生成anchor方案的Faster R-CNN的零件表面缺陷检测算法,并引入多级ROI池化层结构,减少ROI池化过程中取整带来的偏差,实现高效并准确检测零件表面缺陷的目的.通过设计缺陷图像数据采集方案,建立了3种缺陷零件数据集,并验证了算法的性能.实验结果表明,该算法将缺陷检测的均值平均精度mAP从原算法的54.7%提高到97.9%,检测速度最快达到4.9 fps,能够满足智能制造的生产需求.     

应用于课堂场景人脸验证的卷积网络方法研究

对于人脸验证应用于课堂场景的问题,通过教室内的摄像头采集学生图像数据集,然而受光照、姿势和环境因素的影响,采集到的图像质量较低,一般的深度学习模型学习难度很大。针对这些问题,对采集到的图像进行了图像预处理,建立卷积图像分类模型与残差网络图像分类模型,并且修改损失函数,提高学习复杂度,训练出紧凑的人脸特征表达。设置了人脸验证阈值,实现人脸验证。通过实验分析在不同数据集上两个模型的精度,并验证修改的损失函数可改善模型性能,最后结果表明在采集到的图像数据集上正确率最高可以达到99. 97%,通过理论分析和实验证实了设计方法的有效性。     

跨模态多标签生物医学图像分类建模识别

目的 生物医学文献中的图像经常是包含多种模式的复合图像,自动标注其类别,将有助于提高图像检索的性能,辅助医学研究或教学。方法 融合图像内容和说明文本两种模态的信息,分别搭建基于深度卷积神经网络的多标签分类模型。视觉分类模型借用自然图像和单标签的生物医学简单图像,实现异质迁移学习和同质迁移学习,捕获通用领域的一般特征和生物医学领域的专有特征,而文本分类模型利用生物医学简单图像的说明文本,实现同质迁移学习。然后,采用分段式融合策略,结合两种模态模型输出的结果,识别多标签医学图像的相关模式。结果 本文提出的跨模态多标签分类算法,在ImageCLEF2016生物医学图像多标签分类任务数据集上展开实验。基于图像内容的混合迁移学习方法,比仅采用异质迁移学习的方法,具有更低的汉明损失和更高的宏平均F1值。文本分类模型引入同质迁移学习后,能够明显提高标签的分类性能。最后,融合两种模态的多标签分类模型,获得与评测任务最佳成绩相近的汉明损失,而宏平均F1值从0.320上升到0.488,提高了约52.5%。结论 实验结果表明,跨模态生物医学图像多标签分类算法,融合图像内容和说明文本,引入同质和异质数据进行迁移学习,缓解生物医学图像领域标注数据规模小且标签分布不均衡的问题,能够更有效地识别复合医学图像中的模式信息,进而提高图像检索性能。     

基于深度迁移学习的大鼠肝纤维化诊断

针对肝纤维化临床诊断方法具有有创性和传统机器学习方法特征提取的不完全性的缺陷,本文采用深度迁移学习方法利用预训练的ResNet-18和VGGNet-11模型用于肝纤维化分期诊断.使用南方医科大学提供的大鼠肝纤维化核磁共振影像数据集进行不同程度的迁移训练.将两种模型在通过4种不同参数采集的核磁共振影像数据集上,分别使用6种网络迁移配置训练.实验结果表明,使用T1RHO-FA参数采集的核磁共振影像和采用VGGNet-11模型更能提高肝纤维化分期诊断的准确率.同时相对于ResNet-18模型,深度模型迁移学习方法能稳定提升VGGNet-11模型进行肝纤维化分期诊断的准确率和训练速度.     

基于多特征融合与CELM的场景分类算法

场景分类对于场景图像的语义解译至关重要,是遥感领域近期的主要研究课题之一。针对大部分图像分类方法中提取的特征结构单一,依赖于大量人工标记的数据以及分类器的训练过程缓慢等问题,提出了一种基于多特征融合与约束极限学习机（constrained extreme learning machines,CELM）的场景图像分类方法。该方法采用三种不同结构的预训练卷积神经网络,利用特定数据集对其进行微调,将微调后网络提取到的三种特征进行融合并送入CELM分类器进行分类,最终得到图像的类别标签。以SIRI-WHU、WHU-RS19与UC-Merced数据集作为实验数据集,在预训练卷积神经网络、单一特征和传统分类器上进行的对比实验表明,基于多特征融合与CELM相结合的方法产生了较好的分类效果,三种数据集上的总分类精度分别高达99.25%、98.26%与97.70%。     

一种深度学习的非机动车辆目标检测算法

针对道路交通场景目标检测问题,提出采用EdgeBoxes算法和深度学习融合的非机动车辆目标检测方法,利用深度学习目标分类算法Fast R-CNN,结合VOC格式的非机动车辆数据样本,把道路交通场景中的目标检测问题实化为自行车（bicycle）和电动车（evbike）的分类问题。利用EdgeBoxes算法提取样本的目标建议构建适量的感兴趣区域,和样本一起输入网络进行迭代训练,同时引入正则化思想和微调策略进行网络优化,降低网络复杂度并避免过拟合现象;网络训练后得到非机动车辆目标检测模型,对模型进行新样本测试并分析测试效果。在道路交通场景目标检测中,基于EdgeBoxes算法和优化Fast R-CNN融合的方法与传统方法相比,检测准确度稍有提高,运算量明显降低,检测速度加快近一倍。     

糖尿病性视网膜图像的深度学习分类方法

目的 糖尿病性视网膜病变（DR）是目前比较严重的一种致盲眼病,因此,对糖尿病性视网膜病理图像的自动分类具有重要的临床应用价值。基于人工分类视网膜图像的方法存在判别性特征提取困难、分类性能差、耗时费力且很难得到客观统一的医疗诊断等问题,为此,提出一种基于卷积神经网络和分类器的视网膜病理图像自动分类系统。方法 首先,结合现有的视网膜图像的特点,对图像进行去噪、数据扩增、归一化等预处理操作;其次,在AlexNet网络的基础上,在网络的每一个卷积层和全连接层前引入一个批归一化层,得到一个网络层次更复杂的深度卷积神经网络BNnet。BNnet网络用于视网膜图像的特征提取网络,对其训练时采用迁移学习的策略利用ILSVRC2012数据集对BNnet网络进行预训练,再将训练得到的模型迁移到视网膜图像上再学习,提取用于视网膜分类的深度特征;最后,将提取的特征输入一个由全连接层组成的深度分类器将视网膜图像分为正常的视网膜图像、轻微病变的视网膜图像、中度病变的视网膜图像等5类。结果 实验结果表明,本文方法的分类准确率可达0.93,优于传统的直接训练方法,且具有较好的鲁棒性和泛化性。结论 本文提出的视网膜病理图像分类框架有效地避免了人工特征提取和图像分类的局限性,同时也解决了样本数据不足而导致的过拟合问题。     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

基于Faster R-CNN的疟疾血涂片检测改进算法

根据WHO发布的报告,每年疟疾的新发病例超过2亿,死亡人数仍居高不下.疟疾血涂片镜检法是疟疾检测的金标准,但由于人工评估所需的步骤繁琐,即使在经验丰富的医师手中,这种诊断方法也很耗时并且容易发生漏检和误检.此外疟原虫细胞形状、密度和颜色的变化以及某些细胞类的不确定性等因素,对疟原虫检测提出了重大挑战.基于深度学习的神经...     

基于深度学习方法的复杂场景下车辆目标检测

近年来,深度学习算法逐渐尝试应用于目标检测领域。本文针对实际交通场景下的车辆目标,应用深度学习目标分类算法中具有代表性的Faster R-CNN框架,结合ImageNet中的车辆数据集,把场景中的目标检测问题转化为目标的二分类问题,进行车辆目标的检测识别。相比传统机器学习目标检测算法,基于深度学习的目标检测算法在检测准确度和执行效率上优势明显。通过本实验结果分析表明,该方法在识别精度以及速度上均取得了显著的提高。