无人机航拍图像语义分割研究综述

随着无人机技术的快速发展,无人机在研究领域和工业应用方面受到了广泛的关注。图像和视频是无人机感知周围环境的重要途径。图像语义分割是计算机视觉领域的研究热点,在无人驾驶、智能机器人等场景中应用广泛。无人机航拍图像语义分割是在无人机航拍图像的基础上,运用语义分割技术使无人机获得场景目标智能感知能力。介绍了语义分割技术和无人机的应用发展、相关无人机航拍数据集、无人机航拍图像特点和常用语义分割评价指标。针对无人机航拍的特点介绍了相关语义分割方法,包括小目标、模型实时性和多尺度整合等方面。综述无人机语义分割相关应用,包括线检测、农业和建筑物提取等方向,并分析无人机语义分割未来发展趋势和挑战。     

采用无人机航拍图像的电力绝缘子缺损检测

高压输电线路距离远、规模大,工作环境恶劣,采用人力巡检耗时长、劳动强度大,不能满足日益增长的巡检需求。结合视觉检测与智能算法,使用无人机航拍图像实现目标检测和故障辨识,能准确快速定位故障点,大幅提高巡检质量,提高故障检测的效率,已经成为当前研究的热点。本文在深入调查大量国内外文献的基础上,使用Faster-RCNN算法,使用848张无人机捕获的绝缘子图像构建数据集,训练出了用于检测绝缘子以及绝缘子缺损的模型,引入平均精度MAP等指标对模型进行评价,在绝缘子以及绝缘子缺损两类识别中,MAP分别达到了97.73%和90.52%。结果表明,该算法在识别绝缘子缺损故障具有良好的效果。     

基于深度学习的海面垃圾检测系统

舟山作为我国重要的海洋养殖城市与海洋旅游城市,在经济快速发展的同时如何解决日益严峻的海洋垃圾污染问题愈发突显。相比传统的雷达回波方式,基于深度学习的机器视觉检测方法,具备抗海浪干扰能力强,检测速度快,识别信息丰富等优点。采用DeepLabv3+图像语义分割模型,通过YOLOv5s目标检测算法对海面垃圾目标进行实时检测,最后由摄像机单目测距获取目标距离,可以实现检测效率25 fps,检测准确率87%,具备较好的工程应用价值。     

轻量化航拍图像电力线语义分割

目的 电力线在航拍图像中的提取是智能巡检的重要研究内容,基于深度学习的图像语义分割模型在此领域的应用已有较好的效果。然而,图像训练集容量较小和预训练模型计算量过大是两个待解决的问题。方法 首先使用生成对抗网络模型结合圆锥曲线和色相扰动进行数据集增强,对3种不同的损失函数以及两个色彩空间所训练的U-Net网络模型进行对比,给出最优组合。然后提出了一种联合一阶泰勒展开和输出通道2范数的显著度指标,对上述完整模型使用改进的通道级参数正则化方法来稀疏化模型权重,并对稀疏模型进行网络剪枝和重训练以降低模型的计算量。最后,在判决阈值的选择上,使用自适应阈值替代固定值法以增强对亮度变化的鲁棒性。结果 实验结果表明,提出的灰度输入轻量化模型IoU（intersection-over-union）指标为0.459,但其参数量和计算量相当于IoU指标为0.573的可见光完整模型的0.03%和3.05%,且自适应阈值法在合适的光照变化范围内能达到该条件下最优阈值的相似结果。结论 验证了不同数据集增强方法、损失函数、输入色彩空间组合对模型收敛性能、训练速度和过拟合程度的影响,给出了各色彩空间内的最佳组合。同时,采用网络剪枝的方式极大降低了电力线语义分割网络的参数量和运算量,对网络模型的落地部署有积极的作用。     

基于深度学习的无人机巡检图像销钉故障检测

随着经济和社会的发展,发电量和用电量逐年上升。安全的电力保障关系到国计民生,在常年的使用过程中,由于电力传输的输电线路受到外界环境的影响,使得输电线路部件容易出现不同程度的破损,其中销钉是固定螺母的关键零件,销钉的脱落会导致各部件之间连接的不稳定,这给输电网络的安全运行带来了极大的隐患。随着深度学习技术在计算机视觉领域中的应用,使得机器自动识别销钉这一输电线路系统中的微小部件成为现实。采用Faster R-CNN算法对无人机巡检图像中的销钉脱落故障进行识别,并讨论了不同分类器对识别结果的影响,然后对ACF+Adaboost、Hough+LSD和Faster R-CNN检测方法进行比较。实验结果表明,基于Faster R-CNN的目标检测方法对于输电线路中销钉脱落故障的识别率可达到96%,同时对正常销钉的识别率最高可达98%。     

全监督学习的图像语义分割方法研究进展

近年来,随着深度学习进入计算机视觉领域,各种深度学习图像语义分割方法相继出现,其中全监督学习方法的分割效果显著超过弱监督学习方法.将全监督学习的图像语义分割方法分为五类,并对各类中最具有代表性的方法进行详细分析,重点阐述各种方法核心部分的实现过程.对语义分割领域中的主流数据集进行归纳总结,介绍了性能算法指标,并在主流数...     

基于DeepLabv3+的轻量级电力线语义分割方法

针对电力巡检中传统视觉电力线识别精度不高，现有基于深度学习的电力线分割速度慢的问题，提出一种基于DeepLabv3+的轻量级电力线语义分割方法。首先使用Mobilenetv2替换原始主干网络Xception，并对ASPP模块进行先降维后升维的操作，在不降低模型感受野和分割精度的情况了减少了模型的参数量。使用Focal Loss和Dice Loss组合的损失函数加强了模型对电力线的分割效果，最后采用多尺度特征融合和注意力机制进一步减少了分割结果中的图像噪点。改进的DeepLabv3+相较于原网络分割速度提升了108.65%,mIoU和mPA分别提升了1.58%和2.09%。     

基于深度学习的无人机地物图像分割方法

针对无人机地物图像的传统分割方法工程量大,效率低下,深度学习的无人机地物图像分割算法在复杂场景下精度不高和数据集的类别不均衡（长尾数据）等问题,提出一种基于深度学习的高分辨率无人机地物图像分割方法,用于提高不同地貌区域的分割精度。在语义分割模型DeepLabv3的基础上进行改进,将原始主干网络ResNet101替换为ResNet152并添加预训练模型,调整扩张卷积空间金字塔池化模块的扩张率,采用类别平衡损失函数来解决长尾数据问题。在采集的无人机地物图像数据集上进行训练并通过测试集的分割效果证明模型改进方法的有效性。根据实验模型分割效果表明,改进后的方法在测试集上平均交并比达到70.8%,相比原始模型提升了27.2%,能够得到效果更好的分割结果。     

基于无人机摄影电力线缆破损位置检测方法

由于部分电力线缆所处环境较为恶劣,极易发生损坏且人工检测可操作性不强,导致位置检测结果与实际破损位置误差大,因此提出基于无人机摄影电力线缆破损位置检测方法。标定无人机采集图像坐标系,提取电力线缆破损有效位置信息。采用色彩空间分割技术,获取图像灰度值,对无人机摄影图像进行校正处理。使用差分计算梯度分量算法,对图像处理结果展开迭代计算,完成破损点定位分析实现电力线缆破损位置的检测。经实验证实,此方法位置检测结果与实际破损位置误差最小,有效提升了电力线缆破损位置检测精度。     

基于航拍图像的电力线自动提取

提出了一种用于从航拍图像中自动提取电力线的方法。该方法首先对图像进行预处理,然后选用Robert算子、Sobel算子、Prewitt算子、Canny算子对预处理后的图像进行边缘检测,并对各种边缘检测的结果进行对比分析,得出canny算子检测到的边缘效果最为理想,最后采用链码跟踪法提取出电力线。实验结果证明该方法可以准确提取一定背景条件下的电力线,可以为电力线的后续处理提供重要的数据。     

旋翼无人机变速下的多图像目标监测仿真

旋翼无人机在变速状态下的多图像目标识别对飞行性能有着重要的影响.旋翼无人机变速状态下,采集的多目标图像受到飞行不定速度的影响,造成采集的识别目标图像之间会出现可识别特征叠加、特征纯正缝隙和重叠等问题,造成可识别图像特征不连续.利用传统算法识别飞机变速下采集的多目标图像特征,无法对不联系的图像特征进行建模,一旦发生飞行速度变化,会造成无人机多目标识别结果出现较大偏差.提出采用经验模态分解算法的旋翼无人机多目标识别方法.根据旋翼无人机采集的不同目标的航拍图像,进行经验模态分解,针对分解结果进行重构,实现变速下多目标航拍图像融合.将融合处理后的结果,进行特征点提取和空间位置计算,实现旋翼无人机的多目标识别.实验结果表明,利用改进算法进行旋翼无人机的多目标识别,能够提高变速下多图像目标识别的准确性.     

无人机舵偏角的自动检测

针对无人机舵偏角测量方法落后的实际情况,提出了一种利用单片机自动测量无人机舵偏角的方法,并成功研制出无人机舵偏角自动检测仪。实用表明,该无人机舵偏角自动检测仪检测精度高,已经取代了落后的人工测量方法,从而提高了无人机地面检测能力。     

Smartphone‐based object recognition with embedded machine learning intelligence for unmanned aerial vehicles

Existing artificial intelligence solutions typically operate in powerful platforms with high computational resources availability. However, a growing number of emerging use cases such as those based on unmanned aerial systems (UAS) require new solutions with embedded artificial intelligence on a highly mobile platform. This paper proposes an innovative UAS that explores machine learning (ML) capabilities in a smartphone‐based mobile platform for object detection and recognition applications. A new system framework tailored to this challenging use case is designed with a customized workflow specified. Furthermore, the design of the embedded ML leverages TensorFlow, a cutting‐edge open‐source ML framework. The prototype of the system integrates all the architectural components in a fully functional system, and it is suitable for real‐world operational environments such as seek and rescue use cases. Experimental results validate the design and prototyping of the system and demonstrate an overall improved performance compared with the state of the art in terms of a wide range of metrics.     

基于视觉惯性里程计与语义信息的无人机SLAM方法研究

室内环境中存在丰富的语义信息,可以使机器人更好地理解环境,提高机器人位姿估计的准确性。虽然语义信息在机器人同时定位与地图构建(SLAM)领域得到了深入研究和广泛应用,但是在环境准确感知、语义特征提取和语义信息利用等方面还存在着很多困难。针对上述难点,提出了一种基于视觉惯性里程计算法与语义信息相结合的新方法,该方法通过视觉惯性里程计来估计机器人的状态,通过校正估计,构建从语义检测中提取的几何表面的稀疏语义地图;通过将检测到的语义对象的几何信息与先前映射的语义信息相关联来解决视觉惯性里程计和惯性测量单元的累积误差问题。在室内环境中对装备RGB-D深度视觉和激光雷达的无人机进行验证实验,结果表明,该方法比视觉惯性里程计算法取得了更好的结果。应用结合语义信息和视觉惯性里程计的SLAM算法表现出很好的鲁棒性和准确性,该方法能提高无人机导航精度,实现无人机智能自主导航。     

基于无人机图像的高速公路积水预警系统设计

雨后微干的路面往往容易让机动车驾驶员忽视路面的安全隐患。雨后高速公路路面形成区域性积水后,当高速行驶的车轮与积水区域相接触时,容易产生滑水现象,导致汽车失去部分或全部操纵性,这时极易导致交通事故的发生。针对此类情况设计了一套基于无人机图像的高速公路积水预警系统,该系统由图像采集、积水识别和积水预警三部分组成。利用无人机的机动灵活、覆盖面广和无线传输的特性对高速公路路面情况进行采集,并将其位置信息和路面图像实时传回远端服务器进行处理。通过图像灰度化、图像二值化、形态学运算、消除小面积区域等操作提取出传回图像中潜在的积水区域,然后根据计算出的潜在积水区域相应的形状特征参数判断其是否为积水区域。当远端服务器确认无人机传回的图像中存在积水区域后,通过电子地图、短信提醒、高速公路显示屏等多种方式将积水区域的位置和面积等预警信息告知机动车驾驶员,从而减少此类交通事故发生。     

面向航拍图像中工程车辆检测与识别的改进胶囊网络

目的 利用无人机(unmanned aerial vehicle, UAV)巡检识别航拍图像中的工程车辆对于减少电力安全事故的发生具有重要意义。采用人工提取特征的经典模式识别方法或YOLOv5(you only look once v5)等深度学习算法识别无人机电力巡检航拍图像中的工程车辆,存在识别准确率低、模型参数规模大等问题。针对上述问题,提出一种改进的胶囊网络识别航拍图像中的工程车辆。方法 采用多层密集连接型方法改进原始胶囊网络结构,以提取图像中工程车辆更多的特征;改进了胶囊网络的动态路由方法,以提高胶囊网络的抗干扰能力;探索了网络层数和动态路由算法中关键参数对识别准确率的影响,以找到识别准确率最高时的参数。结果 实验结果表明：1)在所采用的算法模型中,本文方法的平均识别率(mean average precision, mAP)达到94.56%,明显高于其他方法。2)网络层数对识别准确率有很大影响,但二者之间并非单调线性关系。在本文的应用场景中,5层胶囊网络的识别准确率最高;此外,动态路由算法改进与否并不会影响识别准确率跟随网络层数的变化趋势。3)胶囊网络层数增加会降低识别效率...     

无人机集群网络资源优化综述

无人机集群以其灵活性、低成本和可搭载各类传感器等优势,已成为执行复杂任务的关键设备,其应用依赖于及时高效的通信,因此针对无人机集群网络的研究近年来也得到了广泛关注。无人机集群高移动性、高信息交互量和低能源存储量等固有特性,使其通信资源的管理面临各种严峻的挑战。本文首先综述了无人机集群网络的应用场景、优势及其特点,并结合信道接入控制体制,对无人机集群的无线资源优化问题进行分类,提炼出资源优化所面临的挑战。随后从策略与方法的角度对现有的网络资源优化方案进行了总结归纳,梳理了大规模集群场景下的通信性能提升、高动态环境下的及时决策更新,以及多元异构需求下的通信满意度提升等技术难点。最后,依据研究现状与潜在机遇,结合新兴技术的应用优势,对无人机集群网络的技术方向和发展前景进行了展望。     

高阶深度可分离无人机图像小目标检测算法

当前无人机图像中存在小目标数量众多、背景复杂的特点, 目标检测中易造成漏检误检率较高的问题, 针对这些问题, 提出一种高阶深度可分离无人机图像小目标检测算法. 首先, 结合CSPNet结构与ConvMixer网络, 深度可分离卷积核, 获取梯度结合信息, 并引入递归门控卷积C3模块, 提升模型的高阶空间交互能力, 增强网络对小目标的敏感度; 其次, 检测头采用两个头部进行解耦, 分别输出特征图分类和位置信息, 加快模型收敛速度; 最后, 使用边框损失函数EIoU, 提高检测框精准度. 在VisDrone2019数据集上的实验结果表明, 该模型检测精度达到了35.1%, 模型漏检率和误检率有明显下降, 能够有效地应用于无人机图像小目标检测任务. 在DOTA 1.0数据集和HRSID数据集上进行模型泛化能力测试, 实验结果表明, 该模型具有良好的鲁棒性.     

基于改进YOLOv2和迁移学习的管道巡检航拍图像第三方施工目标检测

针对传统目标检测算法应用在无人机航拍图像上第三方施工目标检测和违章占压建筑检测的数据集少、检测率低等问题,提出基于Aerial-YOLOv2和迁移学习的航拍图像目标检测算法。首先,利用结合数据增强的迁移学习策略训练的网络来扩大数据集规模,并利用K均值聚类分析得到符合所提数据集特点的锚点框数量和尺寸;其次,通过自适应对比度增强的方法对图像进行预处理;最后,提出改进卷积模块替代YOLOv2中的卷积块并结合特征融合的多尺度预测方式进行目标检测。用不同的算法和训练策略在无人机航拍图像上进行对比实验,实验结果表明,Aerial-YOLOv2算法结合多种训练策略后,其准确率、召回率分别能达到95%、91%,每张图像检测时间为14 ms。由此可知,该算法适用于无人机航拍图像第三方施工目标及违章占压建筑的智能检测。     

基于模型的无人机平台管理系统自动测试研究

为实现某无人机平台管理系统的功能逻辑测试,开发了一套通用化的测试设备和测试用例编辑工具;通过总结被控系统的静态及动态特征,用编辑工具生成的测试用例模拟了各系统,建立了系统模型;测试过程中,测试设备的激励信号按条件或时序自动发送,测试用例与平台管理系统完全自主交互,实现了平台管理系统功能逻辑的自动测试;该自动测试方法可以将现有的多个测试用例组合,方便地编辑复杂自动测试用例;通过复杂的测试用例实现了多通道并行自动测试、多被控系统的全任务流程自动测试;该自动测试方法减轻了测试人员负担,使得测试效率提高了4倍,节省了约80%的测试时间。