一种基于YOLOv3的共享单车违规停放检测方法

为解决共享单车随意停放给交通管理带来的困难,提出一种基于计算机视觉的共享单车违规停放检测方法。通过多尺度检测训练以及k-means维度聚类改进YOLOv3网络,在此基础上获取共享单车在图片上的特征矩阵,根据特征矩阵计算当前场景下共享单车的运行状态并进行状态统计。在交通监控视频数据集上的测试结果表明,该方法的检测准确率达到87%以上,能够实现共享单车违规停放的有效检测并给出实时预警。     

基于弱监督的改进型GoogLeNet在DR检测中的应用

针对糖尿病视网膜病变分级检测中标定样本少、多目标检测的问题，提出了一种基于改进型GoogLeNet的弱监督目标检测网络。首先，对GoogLeNet网络进行改进，去掉最后一个全连接层并保留检测目标的位置信息，添加全局最大池化层，以sigmoid交叉熵作为训练的目标函数以获得带有多种特征位置信息的特征图；然后，基于弱监督方法仅使用类别标签对网络进行训练；其次，设计一种连通区域算法来计算特征连通区域边界坐标集合；最后在待测图片中使用边界框定位病灶。实验结果表明，在小样本条件下，改进模型准确率达到了94.5%，与SSD算法相比，准确率提高了10%。改进模型实现了小样本条件下端到端的病变识别，同时该模型的高准确率保证了模型在眼底筛查中具有应用价值。     

多类别的边缘感知方法在图像分割中的应用

针对图像语义分割方法预测出的目标大多存在边缘模糊和准确度较低的问题,提出多类别边缘感知的图像分割方法.首先设计一种用于多目标分割的Multi-sigmoid损失函数,结合COCO数据集预训练的FCN+CRF网络,建立可优化类别边界的语义分割模型;然后在全局嵌套边缘检测(HED)模型的基础上,增加自底向上的信息解码部分,利用亚像素(subpixel)的图像增强算法实现上采样以及相邻尺度之间的特征融合,构建出可用于边缘检测的深度多尺度编解码模型(MSDF);最后将FCN+CRF提取到的分割信息作为一元势,MSDF检测到的边缘特征作为二元势,设计全局能量函数并计算最小值,实现分割结果的进一步优化.在2个标准数据集Pascal context和SIFT Flow上进行了实验,结果表明,该模型的总体性能较为优越,可应用在图像语义分割和显著性目标检测等相关领域.     

结合语义边界信息的道路环境语义分割方法

语义分割是实现道路语义环境解释的重要方法,深度学习语义分割由于卷积、池化及反卷积的作用使分割边界模糊、不连续以及小目标漏分错分,影响了分割效果,降低了分割精度。针对上述问题,提出了一种结合语义边界信息的新的语义分割方法,首先在语义分割深度模型中构建了一个语义边界检测子网,利用网络中的特征共享层将语义边界检测子网络学习到的语义边界信息传递给语义分割网络;然后结合语义边界检测任务和语义分割任务定义了新的模型代价函数,同时完成语义边界检测和语义分割两个任务,提升语义分割网络对物体边界的描述能力,提高语义分割质量。最后在Cityscapes数据集上进行一系列实验证明,结合语义边界信息的语义分割方法在准确率上比已有的语义分割网络SegNet提升了2.9%,比ENet提升了1.3%。所提方法可以改善语义分割中出现的分割不连续、物体边界不清晰、小目标错分漏分、分割精度不高等问题。     

检测器和分类器级联的飞机发动机损伤检测

目的 基于深度学习的飞机发动机损伤检测是计算机视觉中的一个新问题。当前的目标检测方法没有考虑飞机发动机损伤检测问题的特殊性,将其直接用于发动机损伤检测的效果较差,无法满足实际使用的要求。为了提高损伤检测的精度,提出检测器和分类器级联的发动机损伤检测方法：Cascade-YOLO （cascade-you only look once）。方法 首先,将损伤区域作为正例、正常区域作为负例,训练损伤检测网络,初始化特征提取网络的网络参数;其次,固定特征提取网络,使用多个检测头分别检测不同类型的发动机损伤,每个检测头独立进行检测,从而提高单类别损伤的检测召回率;最后,对于置信度在一定范围内的损伤,训练一个多分类判别器,用于校正检测头输出的损伤类别。基于检测结果,利用语义分割分支可以准确分割出损伤区域。结果 构建了一个具有1 305幅且包含9种损伤类型的孔探图像数据集,并在该数据集上量化、对比了6个先进的目标检测方法。本文方法的平均精确率（mean average precision,MAP）、准确率、召回率相比单阶段检测器YOLO v5分别提高了2.49%、12.59%和12.46%。结论 本文提出的检测器和分类器级联的发动机损伤检测模型通过对每类缺陷针对性地训练单独的检测头,充分考虑了不同缺陷间的分布差异,在提高召回率的同时提升了检测精度。同时该模型易于扩展类别,并可以快速应用于分割任务,符合实际的应用需求。     

结合YOLO检测和语义分割的驾驶员安全带检测

为了通过交通监控自动检测驾驶员是否佩戴安全带,提出一种结合目标检测与语义分割的驾驶员安全带检测算法.首先通过设计轻量化目标检测算法完成驾驶员区域快速定位;然后利用经过剪枝加速的语义分割模型对驾驶员区域进行分割,得出安全带连通域;最后通过判断安全带连通域面积检测驾驶员是否佩戴安全带.在驾驶员区域定位和安全带检测2个数据集上进行训练和测试,实验结果表明,驾驶员区域定位算法在精准度为99.96%时速度为73帧/s,安全带检测算法在准确率为94.87%时速度为305帧/s;该算法在兼顾速度的同时具有较好的精准度.     

基于神经网络的图像弱监督语义分割算法

类别激活热度图算法是一种可以在图像中找到具体分类对应的热度图的使用弱监督样本进行训练的算法,算法提取得到的语义信息可以提供给其他的检测任务或者定位任务所使用。提出一种使用神经网络进行计算的图像语义分割的算法,仅需要使用弱监督的训练数据对神经网络进行训练,得到模型。该算法将神经网络所输出的特征图像与网络参数相结合计算得到语义分割的大致区域,再在其中使用语义信息回传的方法,从大致区域的结果中得到更为精确的图像语义分割。最后介绍了该算法在不同的数据集上进行验证的结果,并且展示了内部的实现细节。     

基于天空分割的去雾算法在目标检测中的应用

针对道路目标检测的准确率受雾霾环境影响的问题,提出一种基于雾检测与天空分割的自适应去雾算法。提取道路环境中的雾检测区域并对其进行通道相关性以及亮度和饱和度比值的计算,以判别场景类别;对图像进行天空非天空区域的分割并对不同区域建立去雾模型,用于自适应去雾;将恢复后的图像应用到道路目标检测算法中,进行去雾效果验证和道路目标检测。实验结果表明,该算法提高了雾霾环境下目标检测的准确率。     

全卷积语义分割与物体检测网络

目的 目前主流物体检测算法需要预先划定默认框,通过对默认框的筛选剔除得到物体框。为了保证足够的召回率,就必须要预设足够密集和多尺度的默认框,这就导致了图像中各个区域被重复检测,造成了极大的计算浪费。提出一种不需要划定默认框,实现完全端到端深度学习语义分割及物体检测的多任务深度学习模型（FCDN）,使得检测模型能够在保证精度的同时提高检测速度。方法 首先分析了被检测物体数量不可预知是目前主流物体检测算法需要预先划定默认框的原因,由于目前深度学习物体检测算法都是由图像分类模型拓展而来,被检测数量的无法预知导致无法设置检测模型的输出,为了保证召回率,必须要对足够密集和多尺度的默认框进行分类识别;物体检测任务需要物体的类别信息以实现对不同类物体的识别,也需要物体的边界信息以实现对各个物体的区分、定位;语义分割提取了丰富的物体类别信息,可以根据语义分割图识别物体的种类,同时采用语义分割的思想,设计模块提取图像中物体的边界关键点,结合语义分割图和边界关键点分布图,从而完成物体的识别和定位。结果 为了验证基于语义分割思想的物体检测方法的可行性,训练模型并在VOC（visual object classes）2007 test数据集上进行测试,与目前主流物体检测算法进行性能对比,结果表明,利用新模型可以同时实现语义分割和物体检测任务,在训练样本相同的条件下训练后,其物体检测精度优于经典的物体检测模型;在算法的运行速度上,相比于FCN,减少了8 ms,比较接近于YOLO（you only look once）等快速检测算法。结论 本文提出了一种新的物体检测思路,不再以图像分类为检测基础,不需要对预设的密集且多尺度的默认框进行分类识别;实验结果表明充分利用语义分割提取的丰富信息,根据语义分割图和边界关键点完成物体检测的方法是可行的,该方法避免了对图像的重复检测和计算浪费;同时通过减少语义分割预测的像素点数量来提高检测效率,并通过实验验证简化后的语义分割结果仍足够进行物体检测任务。     

基于目标识别与显著性检测的图像场景多对象分割

提出了一种基于目标识别与显著性检测的图像场景多对象分割方法。该方法的步骤包括:在图像训练集上训练语义对象的检测器,用来检测输入图像中对象的位置,标定对象的包围盒;对输入的图像进行过分割处理,得到超像素集合,根据包围盒的位置和超像素的语义概率值计算兴趣区域;在3种稠密尺度上进行场景显著性检测,得到输入图像的显著图;在兴趣区域内计算超像素的邻接关系,形成邻接矩阵,构建条件随机场模型,将多对象分割问题转化成多类别标记问题,每一个对象是一种类别;以每个超像素作为场模型的节点,超像素的邻接关系对应场模型中节点之间的连接关系,将显著性和图像特征转化为节点和边的权重值;利用图割算法,在条件随机场模型上进行优化,迭代终止时得到像素的对象标记结果,从而实现对多个对象的分割。实验结果表明该方法效果较好。     

基于卷积神经网络和语义相关的协同显著性检测

针对目前协同显著性检测方法中存在的语义特征类相差悬殊的物体被误检测为协同对象等问题,提出了一种基于卷积神经网络和语义相关的协同显著性检测算法CSCCD。首先,采用引导超像素滤波方法对SLIC分割出的超像素区域和DSS生成的显著性区域进行处理,清晰地显示了目标边界轮廓;然后使用Mask R-CNN提取语义特征,给出了图像语义特征和语义一致性的定义,并针对提取语义特征过程中出现的同一语义类别的物体在不同形态下被检测为不同语义类别的问题,提出了图像组语义相关类的概念,在此概念的基础上定义了图像组语义关联类,解决了多幅图像的语义关联问题;最后融合显著性检测区域和图像组语义一致性区域得到协同显著性检测结果。在公开基准数据集上的实验结果表明,该算法能够有效凸显目标整体及轮廓,在客观量化方面的综合性能有明显提升。     

基于Mask-RCNN迁移学习的红外图像电力设备检测

红外图像诊断是电力系统故障诊断的重要方式,但目前仍依靠人工辅助框图来实施图像中目标的检测。为提升检测效率,本文借鉴并改进在目标分割任务中表现优异的Mask-RCNN方法,利用图像自动语义分割识别红外图像中的一个或多个电力设备,并提取设备轮廓。为了缓解标注样本相对不足的问题,研究Mask-RCNN的迁移学习机制,设计并实现了训练数据重要性采样、参数迁移映射等方法,使改进后的方法适应于红外图像电力设备检测任务。在实际采集数据集上的实验表明,改进后的算法能在仅有少量像素级标注样本的条件下,较好地提取出电力设备的轮廓,并进一步识别出设备类别。所提模型和算法为进一步的设备分区和故障区域检测提供了精确有效的预处理手段。     

一种基于深度学习的新型小目标检测方法

快速、精准的目标检测方法是计算机视觉领域的研究热点之一,目前通用的目标检测模型主要包括两个部分,候选区域提取和分类器设计。基于卷积神经网络CNN和超像素算法提出了一种新型面向微小目标的检测方法。首先对目标图像进行超像素过分割,然后提取过分割区域的特征并以此进行区域合并,最后提取候选区域。与传统建议区域提取方法相比,本方法能够在保证召回率的前提下大量减少候选区域的数量。为了克服小目标特征提取的困难,本算法利用多尺度和多层次CNN提取候选区域的中高层语义信息进行目标分类。通过对车辆年检标示数据的实验表明提出的基于超像素过分割候选区域提取算法具有较高的召回率,在同等候选区域数量的情况下与Edge Box、Bing、Selective search等方法相比分别提高2%、2.4%和3.5%,同时基于多层次多尺度的目标分类算法能有效降低误检率,提高检测率。     

改进YOLOv5s的自动驾驶汽车目标检测

在自动驾驶领域, 由于道路背景复杂以及小目标信息缺失, 现有目标检测算法存在检测精度低的问题. 由于车载摄像头视角较为固定, 道路上的目标在图像空间中的分布具有一定的规律, 可以为自动驾驶汽车进行目标检测提供更为丰富的信息. 因此, 提出一种改进YOLOv5s的空间特征增强网络(SE-YOLOv5s). 在YOLOv5s的颈部网络中添加位置注意力模块(location attention module, LAM), 该模块能够根据道路目标在图像中的分布特征进行加权, 增强网络对目标类别位置分布的感知和定位能力. 设计一种小目标增强模块(small target enhancement module, STEM), 将浅层特征和深层特征进行融合, 可以获得更丰富的小目标语义信息和空间细节信息, 提高小目标检测效果. 实验结果表明, 改进模型对不同尺度目标检测精度均有所提高, AP_S提高2.8%, AP_M提高2.5%, AP_L提高2%.     

虚拟停车电子围栏设计研究

随着共享单车企业市场竞争的日益激烈,共享单车越发普及,市民使用单车后乱停乱放现象亦日益严重,进而在众多城市中出现了共享单车引发的诸多管理问题。针对市民使用共享单车后乱停乱放的问题,本项目提出利用百度电子地图平台,通过百度地图API技术实现在电子地图上对位置区域的自由划分形成虚拟电子围栏,并结合GPS技术使每一台共享单车形成一个单独的地理位置坐标。当该自行车坐标进入划定的允许停放的虚拟电子围栏后代表该辆自行车允许在该区域内停放,当该地理坐标未进入停放区域则不允许该辆自行车上锁。从而实现了强制市民将自行车停放于规定的区域内,政府管理部门可通过该方法实现共享单车的规范管理,减轻城市管理工作量,美化城市环境等作用。     

基于数据合成和度量学习的台标检测与识别

台标是视频的重要语义信息,其检测与识别面临类别多、结构复杂、区域小、信息量低、背景干扰大等难题.为提高模型的泛化能力,本文提出将台标图像叠加到背景图像中合成台标数据,来构建训练数据集.进一步,我们提出两阶段可伸缩台标检测与识别（scalable logo detection and recognition,SLDR）方法,其采用batch-hard度量学习方法快速训练匹配模型,确定台标类别.SLDR的检测与识别分离机制使得其可将检测目标扩展到未知类别.实验结果表明,合成数据可以有效提升模型的泛化能力和检测精度.实验亦显示SLDR方法在不更新检测模型的情况下,即可获得与端到端模型相当的精度.     

多模型集成的弱监督语义分割算法

为减小池化操作造成空间信息丢失的影响,提高基于迁移学习的弱监督语义分割算法的性能,提出一种多模型集成的弱监督图像语义分割算法.该算法在迁移学习算法的基础上,利用多尺度图像的高层语义特征和单尺度图像的高中层相结合的卷积特征,分别训练2个差异化的同质型基分割模型,并与原迁移学习训练的分割模型进行加权平均,集成构造最后的分割模型.同时结合预测类别可信度调整语义分割中对应类别像素的可信度,抑制分割图中的假正例区域,提高分割的精度.在VOC2012数据集上进行实验的结果表明,验证集上的平均重叠率为55.3%,测试集上的平均重叠率为56.9%,比原迁移学习算法分别提升6.1%和11.1%,也优于其他以类标为弱监督信息的语义分割算法.     

基于共享BERT和门控多任务学习的事件检测方法

事件检测任务的目标是从文本中自动获取结构化的事件信息。目前基于表示学习的神经事件检测方法能够有效利用潜在语义信息,但人工标注数据集的语义知识含量有限,制约了神经网络模型的认知广度。相对地,多任务表示学习框架,有助于模型同时学习不同任务场景中的语义知识,从而提升其认知广度。BERT预训练模型得益于大规模语言资源的充沛语义信息,具有高适应性(适应不同任务)的语义编码能力。因此,该文提出了一种基于BERT的多任务事件检测模型。该方法将BERT已经包含的语义知识作为基础,进一步提升多任务模型的表示、学习和语义感知能力。实验表明,该方法有效提高了事件检测的综合性能,其在ACE2005语料集上事件分类的F₁值达到了76.7%。此外,该文在实验部分对多任务模型的训练过程进行了详解,从可解释性的层面分析了多任务架构对事件检测过程的影响。     

基于肤色和模板的人脸检测

针对彩色图像提出了一种基于肤色和模板的人脸检测方法,由肤色分割、模板匹配和人工神经网验证3部分组成.首先使用HSI空间的肤色统计模型分割出可能包含人脸的区域,然后使用平均脸模板匹配和人工神经网验证的方法在这些区域中搜索人脸.该方法将彩色图像的肤色信息和灰度图像的模板匹配及人工神经网分类模型综合起来,既极大地提高了速度,又具有较强的鲁棒性.实验结果表明,该算法是快速而有效的.     

基于模型集成的高分辨率融合车道线检测算法EI北大核心CSCD

针对无人机航拍视角下车道线形状复杂、细节特征易丢失、车道线前后景像素占比不均衡等问题,提出一种基于模型集成的高分辨率融合车道线检测算法.首先使用高分辨率融合结构和双线性插值算法改进全卷积神经网络的卷积模块和上采样模块;然后依据模型集成思想,使用改进后的模型结构作为车道线前后景语义分割模型及车道线多类别语义分割模型,用于分步骤解决车道线检测问题,并使用阈值化交叉熵损失函数和Lovasz损失函数组成联合损失函数对2种模型进行训练;最后使用局部色选区域生长算法为检测结果添补细节.实验结果表明,所提算法在自定义无人机航拍视角的15类车道线语义分割数据集中达到0.5484的平均交并比和0.9931的像素精度,在NVIDIA Tesla V100平台对分辨率为512×512的图像的检测速度达到23.08帧/s.