融合可变形卷积网络的鱼眼图像目标检测

环视鱼眼图像具有目标形变大和图像失真的缺点,导致传统网络结构在对鱼眼图像进行目标检测时效果不佳.为解决环视鱼眼图像中由于目标几何畸变而导致的目标检测难度大的问题,提出一种基于可变形卷积网络的鱼眼图像目标检测方法.将Cascade_RCNN中固定的卷积层和池化层分别替换为可变形卷积层和可变形池化层,使用Resnet50网...     

煤矿鱼眼畸变图像校正

针对煤矿井下视频监控系统中鱼眼图像的畸变问题,根据理想球面透视投影模型的保线性约束条件,提出一种面向内容的校正参数自动获取方法,即通过对鱼眼畸变图像进行数学形态学和随机霍夫变换预处理得到所需的图像边缘特征直线,然后统计水平和垂直线段在总线段中的比例,分析统计结果,获取最佳校正参数。为了减少图像信息过多对校正参数获取过程的影响,对理想球面透视投影模型进行了改进,提出一种改进的鱼眼畸变图像校正方法,实现了对图像中心的转移和部分区域的放大。实验验证了该方法对鱼眼畸变图像的校正效果较好。     

基于深度学习的图像语义分割技术研究进展

自FCN网络在2014年提出后,SegNet、DeepLab等一系列关于图像语义分割的深度学习架构被相继提出。与传统方法相比,这些架构效果更好、运算速度更快,已经能够运用于自然图像的分割处理。围绕图像语义分割技术,对常用的数据集和典型网络架构进行了梳理分析,对2017年以来的新进展进行了综合研究,利用主流评价指标对主要模型的语义分割效果进行了比较和分析。对语义分割技术面临的挑战以及可能的发展趋势进行了展望。     

基于深度学习的视频语义分割综述

目前对视频语义分割的研究主要分为两方面,一是如何利用视频帧之间的时序信息提高图像分割的精度;二是如何利用视频帧之间的相似性确定关键帧,减少计算量,提升模型的运行速度.在提升分割精度方面一般设计新的模块,将新模块与现有的CNNs结合;在减少计算量方面,利用帧序列的低层特征相关性选择关键帧,同时减少操作时间.本文首先介绍视频语义分割的发展背景与操作数据集Cityscapes、CamVid;其次,介绍现有的视频语义分割方法;最后总结当前视频语义分割的发展情况,并对未来的发展给出一些展望和建议.     

基于深度学习的海面垃圾检测系统

舟山作为我国重要的海洋养殖城市与海洋旅游城市,在经济快速发展的同时如何解决日益严峻的海洋垃圾污染问题愈发突显。相比传统的雷达回波方式,基于深度学习的机器视觉检测方法,具备抗海浪干扰能力强,检测速度快,识别信息丰富等优点。采用DeepLabv3+图像语义分割模型,通过YOLOv5s目标检测算法对海面垃圾目标进行实时检测,最后由摄像机单目测距获取目标距离,可以实现检测效率25 fps,检测准确率87%,具备较好的工程应用价值。     

基于运动点团的鱼眼图像中多目标检测方法研究

采用运动点团模式对鱼眼视频序列中的目标检测方法进行了研究和探讨。运动点团模式的运动目标检测分为三个层次,每个层次对应一个具体的检测算法,即基于像素层的背景提取和更新、运动点团层的点团检测和判定及运动目标层的目标标记和跟踪。对三个算法的原理进行了探讨,并结合鱼眼图像的特点进行了算法改进和优化。实验结果表明,以运动点团作为中间检测过程的方法能有效对圆形鱼眼视频序列中的多个运动目标进行检测,特别是图像边缘的大畸变、低分辨率目标,相比传统的检测方法具有更好的检测稳定性和准确性,在大范围智能视频监控中具备很好的实际应用价值。     

基于深度学习的实例分割研究进展

目标检测确定检测图像中目标对象所在区域及其类别,语义分割对检测图像实现像素级分类,实例分割可以定义为同时解决目标检测与语义分割问题,在分类的同时确定每个目标实例语义.实例分割网络在无人机驾驶、机器人抓取、工业筛检等领域具有重要应用意义,针对目前基于深度学习实例分割综述性文章的空白,对实例分割进展进行概述,按照单阶段实例...     

GZMH：用于有丝分裂细胞核检测和分割的乳腺癌病理图像数据集

目的 有丝分裂细胞核计数是乳腺癌诊断和组织学分级的3个重要评分指标之一,基于深度学习的自动检测方法,可以有效辅助医生进行乳腺病理图像有丝分裂细胞核识别和计数。而当前研究中的公开数据集多为竞赛所用,由举办方联合数据提供者挑选而来,与医院临床应用中所使用的数据存在较大的差异,不利于模型性能及泛化能力的测试验证。针对以上问题,本文发布了来自中国赣州市立医院临床环境的数据集GZMH （Ganzhou municipal hospital）。方法 整理并公开发布的数据集GZMH包含55幅全视野数字切片（whole slide images,WSIs）临床乳腺癌病理图像,提供了用于有丝分裂细胞核目标检测和语义分割研究的两种标注,并由2名高年资医师对3名初级病理医师的标注进行了复核。5种主流目标检测方法和5种经典分割方法在GZMH数据集上进行了训练和测试,检验它们在临床数据集GZMH上的性能。结果 目标检测方法实验结果比较中,SSD （single shot multibox detector）模型取得了最佳的效果,F1分数为0.511;分割方法实验结果比较中,R2U-Net （recurrent rsidual convolutional neural network based on U-Net）性能最佳,F1分数为0.430。所有方法在面对较大规模的临床数据集GZMH时体现的性能都明显低于它们在一些公开数据集上的性能。结论 本文所提出的GZMH数据集能够用于有丝分裂目标检测与语义分割研究任务,且此数据集中的图像更加接近实际的应用场景,在推动乳腺病理图像有丝分裂细胞核分割的研究和临床应用方面具有较大的价值。数据集的在线发布地址为：https：//doi.org/10.57760/sciencedb.08547。     

视觉弱监督学习研究进展

视觉理解,如物体检测、语义和实例分割以及动作识别等,在人机交互和自动驾驶等领域中有着广泛的应用并发挥着至关重要的作用。近年来,基于全监督学习的深度视觉理解网络取得了显著的性能提升。然而,物体检测、语义和实例分割以及视频动作识别等任务的数据标注往往需要耗费大量的人力和时间成本,已成为限制其广泛应用的一个关键因素。弱监督学习作为一种降低数据标注成本的有效方式,有望对缓解这一问题提供可行的解决方案,因而获得了较多的关注。围绕视觉弱监督学习,本文将以物体检测、语义和实例分割以及动作识别为例综述国内外研究进展,并对其发展方向和应用前景加以讨论分析。在简单回顾通用弱监督学习模型,如多示例学习(multiple instance learning, MIL)和期望—最大化(expectation-maximization, EM)算法的基础上,针对物体检测和定位,从多示例学习、类注意力图机制等方面分别进行总结,并重点回顾了自训练和监督形式转换等方法;针对语义分割任务,根据不同粒度的弱监督形式,如边界框标注、图像级类别标注、线标注或点标注等,对语义分割研究进展进行总结分析,并主要回顾了基于图像级别类别...     

基于深度学习的点云目标检测方法

随着自动驾驶技术和点云处理技术的不断发展,如何对点云数据中的点的相关特征进行分析就成为关键问题.针对点云特征分析问题,很多的文献中对点云特征值采取手动输入的方法.然而,该类方法无法适应实际环境中复杂多变的情况.为了解决该问题,该文提出了一种新的基于深度学习网络的三维点云检测框架.该框架以深度学习作为点云分析工具,并引入...     

基于深度学习的心脏图像分割研究现状

面对严重的医学影像分析缺口,深度学习的发展能够满足国内医疗行业的需求。心脏图像的处理方法可大致分为传统的图像处理技术、基于图谱的方法（atlas-based methods）、基于模型的方法（model-based methods）以及目前热门的采用机器学习和深度学习的方法。在深度学习兴起之前,传统的机器学习技术如模型法和图集法在心脏图像分割中有良好表现,但通常需要大量的特征工程知识或先验知识才能获得令人满意的精度。而基于深度学习的算法能从数据中自动发现复杂的特征以进行对象检测和分割。得益于先进的计算机硬件以及更多可用于训练的数据集,基于深度学习的分割算法已超越了以往的传统方法。本文回顾了2012—2022年有关心室、心外膜和心包脂肪的图像处理的各项方法、衡量指标及其目前的研究现状,并结合分割技术的发展,讨论了心脏分割的发展趋势。     

单幅圆形鱼眼图像的校正

针对有效圆域提取不准确以及传统柱面投影校正法在垂直方向上校正视场角不能达到180°的问题,分别提出了变角度线扫描法和纵向压缩柱面投影校正法.前者通过不断改变扫描线的倾斜角来寻找切点坐标,并对无效切点进行滤除,然后使用Kasa圆拟合法求取有效圆域的参数.后者则对传统柱面投影的光路进行了人为的弯折,从而把投影到无穷远点的光线压缩回柱面上,保留了图像有效信息.通过与经纬映射校正法以及墨卡托投影法的实验处理结果对比,纵向压缩柱面投影法能弱化校正图像边缘的拉伸模糊效应,使处理结果更加自然.     

基于深度学习的数字图像取证技术研究进展

随着数字图像篡改技术不断的革新换代,传统的取证方法已经无法对抗最新的多媒体篡改手段和技术,尤其是深度造假及深度学习技术带来的全新挑战。总结提炼了包括图像预处理模块、特征提取模块及分类结果后处理模块的通用数字图像取证框架,并在提出的框架基础之上分析现有相关研究的优缺点,同时归纳了数字图像取证面临的挑战并指明未来的发展方向。     

鱼眼图像轮廓提取及校正研究

提出鱼眼图像轮廓提取的扫描线逼近算法,算法能够准确地求取鱼眼图像的圆心坐标和半径,特别是在鱼眼图像圆形轮廓区域内存在大量黑色像素点、统计算法失效的情况下,该算法仍能准确地提取图像轮廓,计算图像定位参数,具有明显的优越性.在此基础上,采用球面坐标定位校正方法进行图像扭曲变形校正,取得了较好的图像校正效果.     

基于深度学习的船舶吃水线提取策略

提出了一种基于深度神经网络的船舶吃水线检测方法.相比传统手工设定的特征,基于深度神经网络的方法学习得到的特征具有较强的鲁棒性和稳定性,能够适应训练集中未曾出现的新物体.本方法首先使用基于深度学习的语义分割算法对图像中目标区域进行分割,通过水平投影得到水线在图像中的位置,然后根据统计方法得到最终的吃水深度.通过实验表明所提方法能对图像中的目标区域进行较为准确的分割,进而提取到水线值,通过与人工获取的结果对比,证明了所提方法的有效性.     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet.首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化(GN)方法,从而在减少模...     

深度学习图像合成研究综述

图像合成一直是图像处理领域的研究热点,具有广泛的应用前景。从原图中精确提取出前景目标对象并将其与新背景合成,构造尽量接近真实的图像是图像合成的基本目标。为推动基于深度学习的图像合成技术研究与发展,本文论述了当前图像合成任务中面临的主要问题： 1）前景对象适应性问题,包括前景对象相对于背景图像的大小、位置、几何角度等几何一致性问题,以及前后景互相遮挡、前景对象边缘细节模糊的外观一致性问题; 2）视觉和谐问题,包括前后景色彩、对比度、饱和度等不统一的色调一致性问题,及前景对象丢失对应阴影的阴影缺失问题; 3）生境适应性问题,表现为前景对象与背景图像的逻辑合理性。总结了目前为解决不同问题主要使用的深度学习方法,同时对不同问题中的合成图像结果进行质量评估,总结了相应的评价指标,并介绍了为解决不同问题所使用的公开数据集,同时进行了深度学习方法的对比,描述了图像合成技术的主要应用场景,最后分析了基于深度学习的图像合成技术中仍然存在的不足,同时提出可行的研究意见,并对未来图像合成技术发展方向提出展望。     

基于深度学习的实例分割研究综述

深度学习在计算机视觉领域已经取得很大发展,虽然基于深度学习的实例分割研究近年来才成为研究热点,但其技术可广泛应用在自动驾驶,辅助医疗和遥感影像等领域。实例分割作为计算机视觉的基础问题之一,不仅需要对不同类别目标进行像素级别分割,还要对不同目标进行区分。此外,目标形状的灵活性,不同目标间的遮挡和繁琐的数据标注问题都使实例分割任务面临极大的挑战。本文对实例分割中一些具有价值的研究成果按照两阶段和单阶段两部分进行了系统性的总结,分析了不同算法的优缺点并对比了模型在COCO数据集上的测试性能,归纳了实例分割在特殊条件下的应用,简要介绍了常用数据集和评价指标。最后,对实例分割未来可能的发展方向及其面临的挑战进行了展望。     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。