基于深度学习的图像边缘检测算法综述

边缘检测是将图像中的突变的重要信息提取出来的过程，是计算机视觉领域研究热点，也是图像分割、目标检测与识别等多种中高层视觉任务的基础。近几年来，针对边缘轮廓线过粗以及检测精度不高等问题，业内提出了谱聚类、多尺度融合、跨层融合等基于深度学习的边缘检测算法。为了使更多研究者了解边缘检测的研究现状，首先，介绍了传统边缘检测的实现理论及方法；然后，总结了近年来基于深度学习的主要边缘检测方法，并依据实现技术对这些方法进行了分类，对其涉及的关键技术进行分析，发现对多尺度多层次融合与损失函数的选择是重要的研究方向。通过评价指标对各类方法进行了比较，可知边缘检测算法在伯克利大学数据集（BSDS500）上的最优数据集规模（ODS）经过多年研究从0.598提高到了0.828，接近人类视觉水平。最后，展示了边缘检测算法研究的发展方向。     

图像边缘检测综述

边缘检测的任务是将亮度变化明显的像素点识别为目标边缘,是计算机视觉低层级问题,并且边缘检测在对象识别和检测、对象提议生成、图像分割有着重要应用。如今,边缘检测已经产生了多类方法,如基于梯度的传统检测方法、基于深度学习的边缘检测算法,还有结合新兴技术的检测方法等。对这些方法进行更精细的分类,让研究者更清楚地了解边缘检测的发展趋势。对传统边缘检测的理论依据及实现方法做出介绍;详细介绍近年来主要的深度学习边缘检测方法,根据使用的方法进行分类,并对其中所使用的创新技术进行说明,如分支结构、特征融合和损失函数。衡量算法性能采用评估指标：单图最佳阈值（ODS）和帧数（FPS）,在基础数据集（BSDS500）上进行对比。对边缘检测的研究现状进行分析和总结,对未来可能的研究方向进行展望。     

Transformer与多尺度注意力的自监督单目图像深度估计

针对现有自监督学习的单目图像深度估计在分辨率较大情况下存在边缘模糊、物体轮廓不清晰等问题，本文提出一种结合视觉Transformer的多尺度通道注意力融合单目图像深度估计网络.首先，设计编码器-解码器模型，将视觉Transformer结构作为编码器在多个尺度上提取特征.其次，设计残差通道注意力融合的解码器，优化提取到的多尺度特征并实现上下级特征融合以提高上下文信息的利用率.最后，在多个尺度下对单目图像进行深度估计.本文提出的算法在KITTI数据集上进行实验.实验结果表明，所提出算法的深度图像质量和物体轮廓信息均高于现有算法，其绝对相对误差、平方相对误差和均方根误差分别达到了0.119、0.857和4.571,在不同阈值下的准确度达到了0.959、0.995和0.999,验证了所提算法的正确性和有效性.     

用于手绘检索的伪监督边缘检测算法

基于深度学习的边缘检测算法需要大量的标注，这阻碍了边缘检测的推广应用。因此提出一种伪监督边缘检测算法，能够在无标注的手绘图像数据集上提取图像边缘。算法分成三部分，包括伪监督标签生成、多尺度边缘检测网络和特征增强模块。伪监督标签为多尺度监督的边缘检测网络生成监督信息，特征增强模块可以弥补伪监督带来的信息丢失。该算法比现有边缘检测算法提取的边缘更完整，在手绘数据集QMUL-Shoe和QMUL-Chair上可以提高1%～6%的检索精度，对需要边缘检测的所有领域都有启发性意义。     

多尺度目标检测的深度学习研究综述

目标检测一直以来都是计算机视觉领域的研究热点之一,其任务是返回给定图像中的单个或多个特定目标的类别与矩形包围框坐标.随着神经网络研究的飞速进展,R-CNN检测器的诞生标志着目标检测正式进入深度学习时代,速度和精度相较于传统算法均有了极大的提升.但是,目标检测的尺度问题对于深度学习算法而言也始终是一个难题,即检测器对于尺度极大或极小的目标的检测精度会显著下降,因此近年来有不少学者在研究如何才能更好地实现多尺度目标检测.过往虽然已经出现了一系列的综述文章从算法流程、网络结构、训练方式和数据集等方面对基于深度学习的目标检测算法进行了总结与分析,但是对多尺度目标检测的归纳和整理却鲜有人涉足.因此,本文首先对基于深度学习的目标检测的两个主要算法流派的奠基过程进行了回顾,包括以R-CNN系列为代表的两阶段算法和以YOLO、SSD为代表的一阶段算法;然后,以多尺度目标检测的实现为核心,重点讲解了图像金字塔、构建网络内的特征金字塔等典型策略;最后,对多尺度目标检测的现状进行总结,并针对未来的研究方向进行展望.     

多尺度分解和八度卷积相结合的红外与可见光图像融合

目的 在基于深度学习的红外与可见光图像融合方法中,多尺度分解是一种提取不同尺度特征的重要方式。针对传统多尺度分解方法里尺度设置粗糙的问题,提出了一种基于八度(octave)卷积的改进图像融合算法。方法 融合方法由4部分组成：编码器、特征增强、融合策略和解码器。首先,使用改进后的编码器获取源图像的多尺度上的低频、次低频和高频特征。这些特征会被从顶层到底层进行强化。其次,将这些特征按照对应的融合策略进行融合。最后,融合后的深度特征由本文设计的解码器重构为信息丰富的融合图像。结果 实验在TNO和RoadScene数据集上与9种图像融合算法进行比较。主观评价方面,所提算法可以充分保留源图像中的有效信息,融合结果也符合人的视觉感知;客观指标方面,在TNO数据集上所提算法在信息熵、标准差、视觉信息保真度、互信息和基于小波变换提取局部特征的特征互信息5个指标上均有最优表现,相较于9种对比方法中最优值分别提升了0.54%,4.14%,5.01%,0.55%,0.68%。在RoadScene数据集上所提算法在信息熵、标准差、视觉信息保真度和互信息4个指标上取得了最优值,相较9种对比方法的最优值分别提升了...     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题，提出了一种基于深度学习的遥感图像目标检测与识别算法。首先，构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试；其次，基于原始的多尺度单发射击（SSD）网络模型，融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块；最后，在训练策略上引入聚焦分类损失函数，以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验，结果表明所提算法的检测平均精度均值（mAP）达到77.95%，相较于SSD网络模型提高了3.99个百分点，同时检测速度为33.8 frame/s。此外，在拓展实验中，改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明，所提改进算法能够有效地提高遥感图像目标检测的精度。     

基于RCF的跨层融合特征的边缘检测

针对当前基于深度学习的边缘检测技术产生的边缘线条杂乱且模糊等问题,提出了一种基于RCF的端到端的跨层融合多尺度特征的边缘检测（CFF）模型。该模型使用RCF作为基线,在主干网络中加入CBAM,采用具有平移不变性的下采样技术,并且去除了主干网络中的部分下采样操作,以保留图像的细节信息,同时使用扩张卷积技术增大模型感受野。此外,采用跨层融合特征图的方式,使得高低层特征能够充分融合。为了平衡各阶段损失和融合损失之间的关系,以及避免出现多尺度特征融合之后低层细节过度丢失的现象,对每个损失添加了一个权重。在伯克利分割数据集（BSDS500）和PASCAL VOL Context数据集上进行了训练,在测试时使用图像金字塔技术提高边缘图像的质量。实验结果表明,CFF模型提取的轮廓比基线网络更加清晰,能够解决边缘模糊问题。在BSDS500基准上进行的评估表明,该模型将最佳数据集规模（ODS）和最佳图像比例（OIS）指标分别提高到0.818和0.839。     

司机分心驾驶检测研究进展

随着车辆工业和世界经济的快速发展,私家汽车数量不断增加,导致交通事故越来越多,且交通安全问题已经成为全球关注的焦点问题。司机分心驾驶检测的研究主要分为传统计算机视觉（CV）算法和深度学习算法两种。基于传统CV算法的司机分心检测通过尺度不变特征转换（SIFT）、方向梯度直方图（HOG）等特征算子提取图像特征,然后结合支持向量机（SVM）建立模型并对图像进行分类。然而传统CV算法具有对环境的要求高、运用范围较窄、参数多、计算量大的缺点。近年来深度学习在提取数据特征方面表现出速度快、精度高等优异的性能,因此研究人员开始将深度学习引入到司机分心驾驶检测中。基于深度学习的方法可以实现端到端的司机分心驾驶检测网络,而且取得了很高的准确度。介绍了传统CV算法和深度学习算法在司机分心驾驶检测的研究现状,首先,阐释了传统CV算法用于图像领域和司机分心驾驶检测研究的情况;接着,介绍了基于深度学习的司机分心驾驶研究;而后,从准确度、模型参数量等方面对不同司机分心驾驶检测方法进行比较分析;最后,对现有的研究进行了总结并提出了未来司机分心驾驶检测需要解决的三个问题：驾驶过程中司机分心状态以及分心程度划分规范需进一步完善,需要综合考虑人－车－路三者以及如何才能更有效地减少神经网络参数。     

Holistically-Nested Edge Detection

We develop a new edge detection algorithm that addresses two important issues in this long-standing vision problem: (1) holistic image training and prediction; and (2) multi-scale and multi-level feature learning. Our proposed method, holistically-nested edge detection (HED), performs image-to-image prediction by means of a deep learning model that leverages fully convolutional neural networks and deeply-supervised nets. HED automatically learns rich hierarchical representations (guided by deep supervision on side responses) that are important in order to resolve the challenging ambiguity in edge and object boundary detection. We significantly advance the state-of-the-art on the BSDS500 dataset (ODS F-score of 0.790) and the NYU Depth dataset (ODS F-score of 0.746), and do so with an improved speed (0.4 s per image) that is orders of magnitude faster than some CNN-based edge detection algorithms developed before HED. We also observe encouraging results on other boundary detection benchmark datasets such as Multicue and PASCAL-Context.     

基于深度学习的目标检测算法研究综述

传统的目标检测算法主要依赖于人工选取的特征来对物体进行检测。人工提取的特征对主要针对某些特定对象,比如有的特征适合做边缘检测,有的适合做纹理检测,不具有普遍性。近年来,深度学习蓬勃发展,在计算机视觉领域比如图像分类、目标检测、图像语义分割等方面取得了重大的进展。深度学习作为一种特征学习方法能够自动学习到目标的有用特征,避免了人工提取特征,同时能够保证良好的检测效果。本文首先介绍基于深度学习的目标检测算法研究进展,其次总结目标检测算法中常见的难题与解决措施,最后对目标检测算法的可能发展方向进行展望。     

深度学习的典型目标检测算法研究综述

目标检测是计算机视觉的一个重要研究方向,其目的是精确识别给定图像中特定目标物体的类别和位置。近年来,深度卷积神经网络（Deep Convolutional Neural Networks,DCNN）所具有的特征学习和迁移学习能力,在目标检测算法特征提取、图像表达、分类与识别等方面取得了显著进展。介绍了基于深度学习目标检测算法的研究进展、常用数据集特点以及性能指标评价的关键参数,对比分析了双阶段、单阶段以及其他改进算法的网络结构和实现方式。阐述了算法在人脸、显著目标、行人、遥感图像、医学图像、粮虫等检测领域的应用进展,结合当前存在的问题和挑战,展望分析了其未来的研究方向。     

基于多尺度小波与模糊方法的图像边缘检测

提出了一种基于多尺度小波变换和模糊方法的图像边缘检测算法,它将图像分为高频和低频部分别进行处理,高频部分利用多尺度小波变换进行边缘检测,低频部分利用模糊方法进行边缘检测,并对两种方法得到的边缘图像进行融合,实验结果证明检测出的边缘与其它传统边缘检测算子所获结果得到了很大的改善.     

基于边缘检测技术的水库面积计算

图像边缘是一种重要的视觉信息,是图像最基本的特征之一。首先介绍了经典的边缘检测算子,然后进一步介绍了近年来出现的基于小波变换的多尺度边缘检测以及数学形态学的边缘检测方法,对其性能和算法特点进行了分析,最后将所有的边缘检测方法应用于水库面积计算中,同时对结果数据进行了比较分析。结果证明,基于小波变换的多尺度边缘检测以及数学形态学的边缘检测得出的水库面积精度高于其他算子。     

计算机视觉下的果实目标检测算法综述

基于计算机视觉的果实目标检测识别是目标检测、计算机视觉、农业机器人等多学科的重要交叉研究课题,在智慧农业、农业现代化、自动采摘机器人等领域,具有重要的理论研究意义和实际应用价值。随着深度学习在图像处理领域中广泛应用并取得良好效果,计算机视觉技术结合深度学习方法的果实目标检测识别算法逐渐成为主流。本文介绍基于计算机视觉的果实目标检测识别的任务、难点和发展现状,以及2类基于深度学习方法的果实目标检测识别算法,最后介绍用于算法模型训练学习的公开数据集与评价模型性能的评价指标,且对当前果实目标检测识别存在的问题和未来可能的发展方向进行讨论。     

无监督深度学习模型的多聚焦图像融合算法

深度学习技术应用到多聚焦图像融合领域时,其大多通过监督学习的方式来训练网络,但由于缺乏专用于多聚焦图像融合的监督训练的标记数据集,且制作专用的大规模标记训练集代价过高,所以现有方法多通过在聚焦图像中随机添加高斯模糊进行监督学习,这导致网络训练难度大,很难实现理想的融合效果。为解决以上问题,提出了一种易实现且融合效果好的多聚焦图像融合方法。通过在易获取的无标记数据集上以无监督学习方式训练引入了注意力机制的encoder-decoder网络模型,获得输入源图像的深层特征。再通过形态聚焦检测对获取的特征进行活动水平测量生成初始决策图。运用一致性验证方法对初始决策图优化,得到最终的决策图。融合图像质量在主观视觉和客观指标两方面上进行评定,经实验结果表明,融合图像清晰度高,保有细节丰富且失真度小。     

无人机航拍图像中电力线检测方法研究进展

随着各大电力公司对无人机（unmanned aerial vehicle,UAV）巡检的大力推广,“机巡为主,人巡为辅”已成为我国电力巡检的主要运维模式。电力线检测作为电力巡检的关键技术,在无人机自主导航、低空避障飞行以及输电线路安全稳定运行等方面发挥着重要作用。众多研究者将输电线路的无人机航拍图像用于线路设备识别与故障诊断,利用机器视觉的方法在电力线检测技术研究中占据主导地位,也是未来的主要发展方向。本文综述了近10年来无人机航拍图像中电力线检测方法的研究进展。首先简述了电力线特征,阐明了电力线检测的传统处理方法的一般流程及所面临的挑战;然后重点阐述了使用传统图像处理方法及深度学习方法的电力线检测原理,前者包括基于Hough变换的方法、基于Radon变换的方法、基于LSD （line segment detector）的方法、基于扫描标记的方法及其他检测方法,后者根据深度卷积神经网络（deep convolutional neural network,DCNN）的结构不同分为基于DCNN的分类方法及基于DCNN的语义分割方法,评述各类方法的优缺点并进行分析与比较,与传统图像处理方法相比,深度学习方法能更有效地实现航拍图像中的电力线检测,并指出基于DCNN的语义分割方法在电力线目标智能识别与分析中发挥着重要作用;随后介绍了电力线检测的常用数据集及性能评价指标;最后针对电力线检测方法目前存在的问题,对下一步的研究方向进行展望。