多尺度卷积神经网络显著物体检测

目的 传统显著性检测模型大多利用手工选择的中低层特征和先验信息进行物体检测,其准确率和召回率较低,随着深度卷积神经网络的兴起,显著性检测得以快速发展。然而,现有显著性方法仍存在共性缺点,难以在复杂图像中均匀地突显整个物体的明确边界和内部区域,主要原因是缺乏足够且丰富的特征用于检测。方法 在VGG（visual geometry group）模型的基础上进行改进,去掉最后的全连接层,采用跳层连接的方式用于像素级别的显著性预测,可以有效结合来自卷积神经网络不同卷积层的多尺度信息。此外,它能够在数据驱动的框架中结合高级语义信息和低层细节信息。为了有效地保留物体边界和内部区域的统一,采用全连接的条件随机场（conditional random field,CRF）模型对得到的显著性特征图进行调整。结果 本文在6个广泛使用的公开数据集DUT-OMRON（Dalian University of Technology and OMRON Corporation）、ECSSD（extended complex scene saliency dataset）、SED2（segmentation evalution database 2）、HKU、PASCAL-S和SOD（salient objects dataset）上进行了测试,并就准确率—召回率（precision-recall,PR）曲线、F测度值（F-measure）、最大F测度值、加权F测度值和均方误差（mean absolute error,MAE）等性能评估指标与14种最先进且具有代表性的方法进行比较。结果显示,本文方法在6个数据集上的F测度值分别为0.696、0.876、0.797、0.868、0.772和0.785;最大F测度值分别为0.747、0.899、0.859、0.889、0.814和0.833;加权F测度值分别为0.656、0.854、0.772、0.844、0.732和0.762;MAE值分别为0.074、0.061、0.093、0.049、0.099和0.124。无论是前景和背景颜色相似的图像集,还是多物体的复杂图像集,本文方法的各项性能均接近最新研究成果,且优于大多数具有代表性的方法。结论 本文方法对各种场景的图像显著性检测都具有较强的鲁棒性,同时可以使显著性物体的边界和内部区域更均匀,检测结果更准确。     

多尺度上下文信息增强的显著目标检测全卷积网络

针对目前基于深度学习的显著目标检测算法存在的目标完整性和区域平滑度的不足,基于非局部深度特征提出一种多尺度上下文信息增强的全卷积网络算法,包含多级别特征提取、多尺度上下文特征增强、对比度特征提取和局部-全局信息融合预测4个模块.首先从VGG16模型提取多级别局部特征,利用多尺度上下文实现特征信息增强;然后设计组合的损失函数进行网络训练以学习对比度特征;最后用局部-全局融合的方式实现显著图的预测.与已有算法在ECSSD,HKU-IS和DUT-OMRON数据集上进行实验的结果表明,该算法在复杂场景图像上的鲁棒性更好,对背景噪声具有更有效的抑制作用,得到的显著目标区域更加连续和完整.     

MTMS300：面向显著物体检测的多目标多尺度基准数据集

目的 在显著物体检测算法发展过程中,基准数据集发挥了重要作用。然而,现有基准数据集普遍存在数据集偏差,难以充分体现不同算法的性能,不能完全反映某些典型应用的技术特点。针对这一问题,本文对基准数据集的偏差和统计特性展开定量分析,提出针对特定任务的新基准数据集。方法 首先,讨论设计和评价数据集时常用的度量指标;然后,定量分析基准数据集的统计学差异,设计新的基准数据集MTMS300(multiple targets and multiple scales);接着,使用基准数据集对典型视觉显著性算法展开性能评估;最后,从公开基准数据集中找出对多数非深度学习算法而言都较为困难(指标得分低)的图像,构成另一个基准数据集DSC(difficult scenes in common)。结果 采用平均注释图、超像素数目等6种度量指标对11个基准数据集进行定量分析,MTMS300数据集具有中心偏差小、目标面积比分布均衡、图像分辨率多样和目标数量较多等特点,DSC数据集具有前景/背景差异小、超像素数量多和图像熵值高的特点。使用11个基准数据集对18种视觉显著性算法进行定量评估,揭示了算法得分和数据集复杂度之间的相关性,并在MTMS300数据集上发现了现有算法的不足。结论 提出的两个基准数据集具有不同的特点,有助于更为全面地评估视觉显著性算法,推动视觉显著性算法向特定任务方向发展。     

融合显著物体检测的图像显示适配

目的 图像显著适配旨在自动调节图像尺寸,对图像内容进行非均匀缩放,以便在受限的展示空间内更好地保留显著物体。为了解决显示适配过程中显著物体部分扭曲的问题,提出一种基于显著物体检测的图像显示适配方法。方法 本文方法采用显著物体分割结果来替代显著性图,以改进显示适配结果。首先,采用显著性融合和传播的方法生成显著性图;接着,结合输入图像和显著性图,采用自适应三阈值方法实现显著物体分割;然后,以此为基础,生成输入图像的曲边网格表示;最后,通过对不同网格的非均匀缩放,生成符合目标尺寸的适配结果。结果 在面向图像显示适配的公开数据集RetargetMe上,将本文方法与现有的10种代表性显示适配方法的结果进行了人工评估和比较。本文方法可以有效地减少显著物体出现部分扭曲的现象,能在48.8%的图像上取得无明显缺陷的适配效果,比现有最好的方法提高了5%。结论 基于显著物体检测的图像显示适配方法有助于提高显示适配过程中对显著物体处理的一致性,减少由于显著物体部分扭曲而引起的明显人工处理痕迹,从而达到提升显示适配效果的目的。     

多尺度显著区域检测图像压缩

目的 为了解决利用显著区域进行图像压缩已有方法中存在的对多目标的图像内容不能有效感知,从而影响重建图像的质量问题,提出一种基于多尺度深度特征显著区域检测图像压缩方法。方法 利用改进的卷积神经网络（CNNs）,进行多尺度图像深度特征检测,得到不同尺度显著区域;然后根据输入图像尺寸自适应调整显著区域图的尺寸,同时引入高斯函数,对显著区域进行滤波,得到多尺度融合显著区域;最后结合编码压缩技术,对显著区域实行近无损压缩,非显著区域利用有损编码技术进行有损压缩,完成图像的压缩和重建工作。结果 提出的图像压缩方法较JPEG压缩方法,编码码率为0.39 bit/像素左右时,在数据集Kodak PhotoCD上,峰值信噪比（PSNR）提高了2.23 dB,结构相似性（SSIM）提高了0.024;在数据集Pascal Voc上,PSNR和SSIM两个指标分别提高了1.63 dB和0.039。同时,将提出的多尺度特征显著区域方法结合多级树集合分裂（SPIHT）和游程编码（RLE）压缩技术,在Kodak数据集上,PSNR分别提高了1.85 dB、1.98 dB,SSIM分别提高了0.006、0.023。结论 提出的利用多尺度深度特征进行图像压缩方法得到了较传统编码技术更好的结果,该方法通过有效地进行图像内容的感知,使得在图像压缩过程中,减少了图像内容损失,从而提高了压缩后重建图像的质量。     

基于特征感知和更新的显著物体检测

为了解决显著物体检测方法中浅层特征未能有效利用深层语义信息的目标定位优势进行细节特征定位和学习问题,提出一种基于特征感知和更新的显著物体检测模型。采用卷积组提升不同层级侧输出特征性能和降低特征维度,设计全局信息感知模块提取和融合多尺度的全局特征,在每侧直接融合深层的语义特征和浅层的细节特征,并通过计算空间注意力进行显著性特征更新。通过在4个公开基准数据集上与12种近3年发表的具有代表性的主流模型对比,实验结果表明,所提模型面对各种复杂场景均具有较强的鲁棒性,得到具有均匀内部和清晰边界的检测结果。     

基于全局注意力的多尺度显著性检测网络

针对现有算法的多尺度特征融合效果不理想和全局信息利用不充分的问题,提出一种基于多尺度优化和全局注意力的显著目标检测模型.利用特征增强模块对从骨干网络VGG-16中提取出来的粗糙特征进行增强,提升特征的显著性表达能力,对不同层次特征融合得到高层级和低层级特征;设计全局注意力模块,利用空洞空间卷积池化金字塔ASPP模块提取...     

基于背景学习的显著物体检测

目的 显著物体检测的目标是提取给定图像中最能吸引人注意的物体或区域,在物体识别、图像显示、物体分割、目标检测等诸多计算机视觉领域中都有广泛应用。已有的基于局部或者全局对比度的显著物体检测方法在处理内容复杂的图像时,容易造成检测失败,其主要原因可以总结为对比度参考区域设置的不合理。为提高显著物体检测的完整性,提出背景驱动的显著物体检测算法,在显著值估计和优化中充分利用背景先验。方法 首先采用卷积神经网络学习图像的背景分布,然后从得到的背景图中分割出背景区域作为对比度计算参考区域来估计区域显著值。最后,为提高区域显著值的一致性,采用基于增强图模型的优化实现区域显著值的扩散,即在传统k-正则图局部连接的基础上,添加与虚拟节点之间的先验连接和背景区域节点之间的非局部连接,实现背景先验信息的嵌入。结果 在公开的ASD、SED、SOD和THUS-10000数据库上进行实验验证,并与9种流行的算法进行对比。本文算法在4个数据库上的平均准确率、查全率、F-measure和MAE指标分别为0.873 6、0.795 2、0.844 1和0.112 2,均优于当前流行的算法。结论 以背景区域作为对比度计算参考区域可以明显提高前景区域的显著值。卷积神经网络可以有效学习图像的背景分布并分割出背景区域。基于增强图模型的优化可以进一步实现显著值在前景和背景区域的扩散,提高区域显著值的一致性,并抑制背景区域的显著性响应。实验结果表明,本文算法能够准确、完整地检测图像的显著区域,适用于复杂图像的显著物体检测或物体分割应用。     

一种多尺度卷积神经网络的人脸检测模型

卷积神经网络在检测不同尺度的人脸时所需要的计算量很大,检测过程由多个分离的步骤组成,过于复杂。针对这两方面的不足,提出一种多尺度卷积神经网络模型。根据卷积神经网络各个层具有大小不同的感受野,从不同层提取多个尺度的特征向量分别进行人脸分类与回归,并将网络的全连接层改成卷积层,以适应不同大小的图片输入。该方法将人脸检测的多个步骤集成到一个卷积神经网络中,降低了模型复杂度。实验结果表明,相同测试条件下,所提方法相比其他人脸检测模型在准确率和检测速度上均有显著提升。     

采用特征引导机制的显著性检测网络

近年来,基于全卷积网络的显著性物体检测方法较手工选取特征的方法已经取得了较大的进展,但针对复杂场景图像的检测仍存在一些问题需要解决.提出了一种新的基于全局特征引导的显著性物体检测模型,研究深层语义特征在多尺度多层次特征表达中的重要作用.以特征金字塔网络的编解码结构为基础,在自底而上的路径中,设计了全局特征生成模块(GG...     

基于多尺度特征融合网络的交通标志检测

传统交通标志检测方法检测速度慢,且现有深度神经网络对小尺寸交通标志检测精度低。对此提出一个基于YOLOv3的新型端到端卷积神经网络。以YOLOv3为检测框架,对特征提取网络和特征融合网络加以改进,并应用K-means聚类算法生成更适合交通标志的锚点框。充分利用多尺度特征实现了对小尺寸交通标志检测性能的提升。在TT100K (Tsinghua-Tencent 100K)和GTSDB (German Traffic Sign Detection Benchmark)交通标志数据集上进行实验,获得的mAP分别为82.73%和92.66%,运行时间分别为0.037 s和0.033 s。实验结果验证了改进网络的有效性,表明了改进网络的整体性能优于其他检测方法。     

AFM显微图像多尺度形态边缘检测算法

提出一种适应于显微图像的多尺度形态边缘检测算法.用不同尺度大小的结构元素分别检测出显微图像不同尺寸边缘信息,进行图像规格化处理以消除不同尺度边缘图像的灰度值分布差异,运用取极小值方法对所获处理后图像边缘进行自适应融合.实验结果表明运用该算法获得理想图像边缘的同时,增强了模糊边缘,有效地消除了噪声,对显微图像处理十分有效,检测到的边缘非常清晰.     

基于对抗网络与卷积神经网络的目标检测方法

在目标检测方法中,通过使用具有不同遮挡程度的数据集进行训练,能够提升目标检测算法对遮挡的不变性,但现实生活中的数据集往往存在长尾效应。因此提出一种基于对抗网络与卷积神经网络的目标检测方法。通过对抗网络在输入数据上进行计算得到不同遮挡程度的样本,使用Faster RCNN算法进行训练提升遮挡不变性,以此提高算法检测精度。实验结果表明,该方法与Faster RCNN相比,在VOC 2007数据集上平均精度提升了2.2个百分点,在VOC 2007和VOC 2012联合数据集上平均精度提升了1.3个百分点。     

适用于嵌入式平台的E-YOLO人脸检测网络研究

针对现有人脸检测深度学习算法计算量大,难以移植到嵌入式平台,无法满足移动设备实时性和便捷性需求的问题,提出一种基于YOLO(You Only Look Once)算法的适用于嵌入式平台的小型人脸检测网络E-YOLO(Enhance-YOLO)。借鉴YOLO算法的思想,将人脸检测问题转换为回归问题,将待检测的图像均分为S×S个单元格,每个单元格检测落在单元格内的目标。通过修改YOLO网络模型中的卷积神经网络结构,提高其检测的准确性,同时减少网络结构中卷积核的数目,降低模型的大小。实验结果表明,E-YOLO模型大小为43MB,视频的检测帧率为26FPS,在WIDERFACE和FDDB数据集上均有较高的准确率和检测速度,可以实现在嵌入式平台下的实时人脸检测。     

A convex hull approach in conjunction with Gaussian mixture model for salient object detection

The capability of humans in distinguishing salient objects from background is at par excellence. The researchers are yet to develop a model that matches the detection accuracy as well as computation time taken by the humans. In this paper we attempted to improve the detection accuracy without capitalizing much of computation time. The model utilizes the fact that maximal amount of information is present at the corners and edges of an object in the image. Firstly the keypoints are extracted from the image by using multi-scale Harris and multi-scale Gabor functions. Then the image is roughly segmented into two regions: a salient region and a background region, by constructing a convex hull over these keypoints. Finally the pixels of the two regions are considered as samples to be drawn from a multivariate kernel function whose parameters are estimated using expectation maximization algorithm, to yield a saliency map. The performance of the proposed model is evaluated in terms of precision, recall, F-measure, area under curve and computation time using six publicly available image datasets. Experimental results demonstrate that the proposed model outperformed the existing state-of-the-art methods in terms of recall, F-measure and area under curve on all the six datasets, and precision on four datasets. The proposed method also takes comparatively less computation time in comparison to many existing methods.     

基于结构感知深度神经网络的显著性对象检测算法

由于现有的基于深度神经网络的显著性对象检测算法忽视了对象的结构信息,使得显著性图不能完整地覆盖整个对象区域,导致检测的准确率下降。针对此问题,提出一种结构感知的深度显著性对象检测算法。算法基于一种多流结构的深度神经网络,包括特征提取网络、对象骨架检测子网络、显著性对象检测子网络和跨任务连接部件四个部分。首先,在显著性对象子网络的训练和测试阶段,通过对象骨骼检测子网络学习对象的结构信息,并利用跨任务连接部件使得显著性对象检测子网络能自动编码对象骨骼子网络学习的信息,从而感知对象的整体结构,克服对象区域检测不完整问题;其次,为了进一步提高所提方法的准确率,利用全连接条件随机场对检测结果进行进一步的优化。在三个公共数据集上的实验结果表明,该算法在检测的准确率和运行效率上均优于现有存在的基于深度学习的算法,这也说明了在深度神经网络中考虑对象结构信息的捕获是有意义的,可以有助于提高模型准确率。     

跨深度的卷积特征增强目标检测算法

针对当前基于深度学习的目标检测算法采取的特征图融合方式存在缺陷,算法普遍不能很好地应对尺度变化等问题,提出一种跨深度卷积特征增强的目标检测算法CDC-YOLO。对YOLOv3算法进行改进,针对多尺度预测层各自的特点采用与之适应的特征增强模块,采用多通道的跨深度的卷积核并结合空洞卷积并行地提取特征,最终级联起来。该模块能充分利用多尺度多深度特征,形成统一的多尺度特征表达。在VOC2007test上的实验结果表明,提出算法的mAP (均值平均精度)高达82.33%,比原始YOLOv3提升了约2%,且对尺度变化大的物体鲁棒性更强。     

轻量级YOLOv3的交通标志检测算法

交通标志检测在自动驾驶领域一直是个比较热门的课题。在深度学习算法中,YOLOv3和Faster R-CNN已经获得了极好的目标检测性能,但在检测小目标时,存在漏检的情况。针对交通标志检测中小目标准确快速识别的需求,本文提出一种轻量级YOLOv3的交通标志检测算法。通过卷积神经网络同时使用浅层和深层的特征提取,得到多尺度特征图,深层特征可以有效地保持检测精度不下降,浅层特征可以有效地提高小目标检测任务的精度。通过剪枝算法对模型进行压缩,将训练好的模型进行稀疏训练,把一些不重要的卷积核通道删除掉,对剪枝后的模型微调,保持模型文件中参数的平衡,同时保持检测精度。实验结果表明,通过提取多尺度特征图的方法模型准确率提高了2.3%,通过剪枝算法对模型压缩,使模型的权重大小减小了70%,模型的检测时间节省了90%。由此建立了鲁棒性更强的轻量级交通标志检测模型,可以部署在移动端嵌入式设备上,不再占用庞大的GPU计算资源即可提高检测效率。