EDLine与改进光流法线路异物智能检测

为提高无人机电力故障巡检效率,提出一种结合边缘绘制线(edge drawing line,EDLine)特征提取算法与改进光流法的输电线路异物智能检测方法。鉴于背景纹理对航拍图像的影响,研究一种基于矩阵的线段融合算法以解决EDLine线段检测的断续问题,根据多特征约束提取输电线路区域。为有效识别异物,利用动量因子改进光流算法迭代收敛速度,根据光流信息检测异物故障。对无人机巡检图像的测试结果表明,该方法在复杂背景或异物不明显时均可有效检测出异物。提出检测算法准确度高、鲁棒性强,保证巡检的时效性。     

图像处理技术在无人机电力线路巡检中的应用

目前,巡检高压输电线路过程中,其中一项常见方式是利用无人机进行线路巡线。研究和处理无人机航拍收集的通道图像,能够及时发现线路器件是否存在问题。利用图像处理技术,能够有效解决人工处理效率低下、误差率高等问题,在无人机电力线路巡检领域具有广阔的发展前景。基于此,针对当前国内和国外无人机电力线路巡检中图像处理技术的应用情况,探讨无人机电力线路巡检中影响图像处理技术的因素,研究图像处理技术在无人机电力线路巡检中的应用。     

LBP和HOG的分层特征融合的人脸识别

针对LBP描述子提取的纹理特征有限且不能有效地描述图像边缘和方向信息的问题,提出了LBP和HOG的分层特征融合的方法.首先利用LBP算子提取图像的分层纹理谱特征,然后利用HOG算子提取原始图像的边缘特征和基于分层LBP特征的分层HOG特征,最后将分层LBP特征分别与2种HOG边缘特征融合,得到2种不同的多层融合特征.通过在ORL,Yale和GT人脸库上进行实验,比较了15种算法的识别性能,结果证明了文中方法的有效性;相对于传统的经典降维算法、单一的LBP特征提取算法和HOG特征提取算法,该方法的识别率有很大的提高,分别达到99%,99.5%和99.14%.     

基于LBP和HOG特征分层融合的步态识别

针对步态能量图（GEI）在提取人体信息时只描绘出了轮廓信息,而丢失了内部特征的局限性,提出一种基于人体目标图像的局部二值模式（LBP）与方向梯度直方图（HOG）分层融合的GEI识别算法。该算法步骤包括：首先用光流法提取步态周期,获得一个周期的步态能量图（GEI）;然后分三层提取GEI的LBP特征,得到三层的LBP图像;依次提取每层LBP图像的HOG特征,最后将每层提取的LBP和HOG特征融合,得到每层的新特征;最后将三个新特征依次融合成可以用于识别的最终特征。通过几种方法对CASIA和USF步态数据库的实验对比,提出的算法取得了更高的识别率。     

融合Haar型局部特征的人耳识别算法

人耳具有丰富的结构特征,针对单一特征描述影响人耳识别率的不足,提出一种融合Haar型局部特征的人耳识别算法。算法采用符合人耳外部形状的椭圆形LBP算子与HOG算子,分别提取图像的纹理特征和边缘特征,将两种特征进行融合。利用Haar特征运算快捷的优势,引入到LBP和HOG特征提取中。通过分别设计的4组Haar编码模式,构建椭圆形LBP算子与HOG算子。对改进算法进行实验与分析,实验结果表明了算法的有效性和实用性。     

无人机航拍图像中电力线检测方法研究进展

随着各大电力公司对无人机（unmanned aerial vehicle,UAV）巡检的大力推广,“机巡为主,人巡为辅”已成为我国电力巡检的主要运维模式。电力线检测作为电力巡检的关键技术,在无人机自主导航、低空避障飞行以及输电线路安全稳定运行等方面发挥着重要作用。众多研究者将输电线路的无人机航拍图像用于线路设备识别与故障诊断,利用机器视觉的方法在电力线检测技术研究中占据主导地位,也是未来的主要发展方向。本文综述了近10年来无人机航拍图像中电力线检测方法的研究进展。首先简述了电力线特征,阐明了电力线检测的传统处理方法的一般流程及所面临的挑战;然后重点阐述了使用传统图像处理方法及深度学习方法的电力线检测原理,前者包括基于Hough变换的方法、基于Radon变换的方法、基于LSD （line segment detector）的方法、基于扫描标记的方法及其他检测方法,后者根据深度卷积神经网络（deep convolutional neural network,DCNN）的结构不同分为基于DCNN的分类方法及基于DCNN的语义分割方法,评述各类方法的优缺点并进行分析与比较,与传统图像处理方法相比,深度学习方法能更有效地实现航拍图像中的电力线检测,并指出基于DCNN的语义分割方法在电力线目标智能识别与分析中发挥着重要作用;随后介绍了电力线检测的常用数据集及性能评价指标;最后针对电力线检测方法目前存在的问题,对下一步的研究方向进行展望。     

基于智能图像识别的无人机电力线路安全巡检方法

为了解决无人机电力线路巡检过程中安全性指标偏低问题,降低了无人机电力线路巡检效率,因此提出基于智能图像识别设计新的无人机电力线路安全巡检方法。采集无人机电力线路安全巡检图像并加以滤波处理,基于智能图像识别技术设计无人机线路巡检识别算法,采用最优全局概率搜索遗传算法规划无人机电力线路安全巡检路径,实现了无人机电力线路安全巡检。结果表明,设计的无人机电力线路安全巡检方法的巡检安全性指标较高,证明设计的无人机电力线路安全巡检方法的巡检效果较好,具有可靠性,具有一定的应用价值。     

基于超像素和深度神经网络的高压输电线路环境检测

高压输电线路通道环境对高压线路的安全性影响重大,以往都是采用人工对高压输电线路通道环境进行巡检,人工检测作业危险,效率低,难度大.因此,本文提出基于超像素和深度神经网络的航拍高压输电线路环境检测的方法.首先,采用无人机对高压输电线路通道环境航拍,将视频图像进行拼接,得到通道环境的整体图像,然后使用超像素分割算法实现图像的预分割, SURF描述子具有速度快、特性鲁棒性好,因此本文采用SURF描述子提取超像素特征向量,最后采用DNN模型对提取的超像素特征进行训练,对待检测的超像素块进行分类,从而达到检测的目的.通过本算法的应用,电力部门提高了无人机巡视特高压输电通道环境的巡检效率且验证了本算法的有效性.     

基于无人机载多载荷的输电线路巡检方法研究检测

无人机进行电力线路巡检的作业模式在南方电网已经开展了一些示范验证并获得一定的推广应用,目前的巡检方式多为无人机或有人机挂载激光雷达进行巡检。为提高线路巡检效率、提高隐患目标识别准确度,本文提出激光雷达和可见光相机一体化应用的方法来提高巡检自动化程度、提高巡检精细度、提高作业效率及可靠性。首先针对一次飞行同步采集巡检区域的激光点云数据和可见光影像数据,在对采集的数据分别进行相应的预处理;然后将点云数据和影像数据融合处理分析,实现输电线路隐患目标自动识别和精准定位。采用旋翼无人机实际巡检获取的输电线路激光点云数据和影像数据对该过程进行了验证,试验结果表明,基于无人机载多载荷的输电线路巡检具有较高的自动化程度和准确性,缺陷识别检测的水平距离误差为0.1467米,缺陷识别的垂直距离误差为 0.1025米,缺陷识别的净空距离误差为0.1575米,识别检测效果良好,对输电线路巡检具有重要的意义。     

基于分块自适应融合特征的交通标志识别

交通标志由外部轮廓和内部指示符号组成,HOG特征可较好描述图像轮廓但易受噪声影响,而LBP特征对图像细节刻画好,提出基于分块HOG-LBP自适应融合特征的交通标志识别方法。通过分块计算梯度直方图得到的权重系数,来判断该块是属于轮廓还是内部指示,对前者选择HOG权重大,后者选择LBP特征权重大,将自适应串行融合后的特征送入支持向量机识别。仿真实验结果表明,该算法对标准交通标志识别率可达到100%,对含模糊、残缺、遮挡等非标准交通标志也达到了76%。     

面向航拍图像中工程车辆检测与识别的改进胶囊网络

目的 利用无人机(unmanned aerial vehicle,UAV)巡检识别航拍图像中的工程车辆对于减少电力安全事故的发生具有重要意义。采用人工提取特征的经典模式识别方法或YOLOv5(you only look once v5)等深度学习算法识别无人机电力巡检航拍图像中的工程车辆,存在识别准确率低、模型参数规模大等问题。针对上述问题,提出一种改进的胶囊网络识别航拍图像中的工程车辆。方法 采用多层密集连接型方法改进原始胶囊网络结构,以提取图像中工程车辆更多的特征;改进了胶囊网络的动态路由方法,以提高胶囊网络的抗干扰能力;探索了网络层数和动态路由算法中关键参数对识别准确率的影响,以找到识别准确率最高时的参数。结果 实验结果表明：1)在所采用的算法模型中,本文方法的平均识别率(mean average precision,mAP)达到94.56%,明显高于其他方法。2)网络层数对识别准确率有很大影响,但二者之间并非单调线性关系。在本文的应用场景中,5层胶囊网络的识别准确率最高;此外,动态路由算法改进与否并不会影响识别准确率跟随网络层数的变化趋势。3)胶囊网络层数增加会降低识别效率,但是并不会明显增加参数规模,且参数规模与mAP无明显关联。结论 本文方法在获得较高识别准确率的同时具有参数规模较小的特点,为无人机在机载端识别目标物奠定了基础。     

Towards automatic power line detection for a UAV surveillance system using pulse coupled neural filter and an improved Hough transform

Spatial information captured from optical remote sensors on board unmanned aerial vehicles (UAVs) has great potential in automatic surveillance of electrical infrastructure. For an automatic vision-based power line inspection system, detecting power lines from a cluttered background is one of the most important and challenging tasks. In this paper, a novel method is proposed, specifically for power line detection from aerial images. A pulse coupled neural filter is developed to remove background noise and generate an edge map prior to the Hough transform being employed to detect straight lines. An improved Hough transform is used by performing knowledge-based line clustering in Hough space to refine the detection results. The experiment on real image data captured from a UAV platform demonstrates that the proposed approach is effective for automatic power line detection.     

面向航拍图像多运动目标的实时检测与识别

为了实现无人机(UAV)航拍图像中多运动目标的实时检测与识别,将静止目标和运动目标分别定义为背景和前景,利用图像稳化技术将航拍图像序列中的每帧与相邻帧对齐,克服UAV飞行动作对摄像机转动拍摄图像的影响;选取图像中的行人和车辆作为前景,分别使用哈尔(Haar-like)特征和级联分类器对图像中的目标进行检测和识别;利用密集光流计算两幅连续图像的运动矢量,从而区分静止目标(背景)和运动目标(前景),最终图像结果仅保留运动目标所在区域;将文章方法用于DroneVehicl航拍数据集实验,每秒平均帧数达到47.08 fps,检测精度为94%,并且表现出较高的召回率和F统计量,可达到实时检测与识别效果。     

基于显著图融合的无人机载热红外图像目标检测方法

利用无人机载的热红外图像开展行人及车辆检测, 在交通监控、智能安防、防灾应急等领域中, 具有巨大的应用潜力. 热红外图像能够在夜间或者光照条件不理想的情况对场景目标清晰成像, 但也往往存在对比度低、纹理特征弱的缺点. 为此, 本文提出使用热红外图像的显著图来进行图像增强, 作为目标检测器的注意力机制, 并研究仅使用热红外图像和其显著图提高目标检测性能的方法. 此外, 针对无人机内存不足、算力有限的特点, 设计使用轻量化网络YOLOv3-MobileNetv2作为目标检测模型. 在实验中, 本文训练了YOLOv3网络作为检测的评价基准网络. 使用BASNet生成显著图, 通过通道替换和像素级加权融合两种方案将热红外图像与其对应的显著图进行融合增强, 比较了不同方案下YOLOv3-MobileNetv2模型的检测性能. 统计结果显示, 行人及车辆的平均精确度(Average precision, AP)相对于基准分别提升了6.7%和5.7%, 同时检测速度提升了60%, 模型大小降低了58%. 该算法模型为开拓无人机载热红外图像的应用领域提供了可靠的技术支撑.     

电力巡线无人机航拍图像匹配算法研究

基于局部特征的图像匹配算法是电力巡线无人机航拍图像匹配算法中最为实用的一种方法。针对传统匹配算法构建尺度空间会致使图像边缘信息丢失或者效率较低等问题,提出一种基于高斯曲率尺度空间的航拍图像匹配算法。借助高斯曲率滤波器构建一阶尺度空间,利用FAST算法提取特征点并选择特征采样区域,再以对特征采样区域建立二阶尺度空间并提取二阶尺度空间层内LIOP描述符,随后二阶尺度空间两两层LIOP描述符做差值并二值化处理,累加二值化值得到ASV-LIOP描述符完成匹配。在航拍图像上,使用SIFT、ORB、KAZE、AKAZE、改进KAZE等算法与所提对比实验,实验表明,所提算法正确匹配率平均提高5%左右,匹配效率约降低50%,可应用对稳定性要求较高且实时性较低的场景。     

基于ASIFT算法的低重叠度无人机影像拼接方法

在无人机平台上采用低重叠方式成像能够大大提高数据获取效率,可满足包括应急救援和航空侦察等时效性要求很高的特殊领域应用需求。然而,此类影像具有重叠度低和旋转角大的特点,利用常规正射影像镶嵌的方法进行拼接往往带来较大的拼接误差。提出了基于ASIFT算法的低重叠图像配准方法,并对序列影像做光束法平差处理,得到最优变换矩阵后,结合多分辨率样条融合算法进行全景影像输出。实验结果表明:该方法可以获取足够数量稳定的匹配点对,较好地约束了序列影像之间的几何关系,得到的拼接影像无缝清晰,适应于低重叠度无人机影像的快速拼接。     

低空无人机航空摄影高度自动测量方法研究

为控制低空无人机摄影高度,获得更加清晰的地理信息图像,需要对低空无人机摄影高度自动测量方法进行优化研究;当前方法主要利用射影几何知识的自动化标定方法实现低空无人机航空摄影高度的自动测量;该方法存在噪声影响严重,且测量误差较大的问题;为此,提出一种基于多传感器与卡尔曼滤波相结合的低空无人机航空摄影高度自动测量方法;该方法首先通过分析气压测量法计算各种气压因素对低空无人机航空摄影高度的影响,然后推导出大气对流层内气压随低空无人机航空摄影高度的变化;然后采用双GPS系统同时工作,对GPS、气压高度计和IMU测量获得的低空无人机航空摄影高度信号进行冗余备份;采用基于二阶多项式的修正方法对低空无人机航空摄影传感器输出值进行补偿和修正;根据动力学方程建立低空无人机航空摄影的动力学方程获得高度测量状态方程;最后采用卡尔曼滤波的线性最小方差估计准则对低空无人机航空摄影高度进行均方差估计计算,实现低空高度自动测量与校正。实验结果表明,所提方法具有精度高、收敛性好且滤波效果理想的优势。     

基于DenseNet的无人机光学图像树种分类研究

利用无人机航拍获得光学影像数据，结合深度学习理论，建立树种识别模型，以期为大规模树种识别提供一种新的方式。首先以福建安溪县为例，采用无人机获取20 m及40 m高度的航拍影像。其次，以树种为对象，对航拍影像进行分割，获得12种树种影像。最后，结合深度学习理论，采用DenseNet卷积神经网络建立树种识别模型，探讨不同航拍高度以及不同网络深度对树种识别的影响。结果表明:不同航拍高度的树种识别模型，其分类精度均达80%以上，最高精度为87.54%。从航拍影像解析度分析，随着航拍影像解析度的下降，模型识别精度呈现下降趋势，以20 m航拍影像数据建构的树种识别模型，其分类精度高于40 m模型；从模型网络深度分析，随着模型网络层数的增加，模型分类精度出现下降现象，DenseNet121模型分类精度高于DenseNet169模型分类精度。综上所述，基于无人机航拍影像，结合深度卷积神经网络，提出了新的树种识别方式，并以安溪县森林树种识别为例证明了该分类框架的有效性。     

基于DenseNet的无人机光学图像树种分类研究

利用无人机航拍获得光学影像数据,结合深度学习理论,建立树种识别模型,以期为大规模树种识别提供一种新的方式。首先以福建安溪县为例,采用无人机获取20 m及40 m高度的航拍影像。其次,以树种为对象,对航拍影像进行分割,获得12种树种影像。最后,结合深度学习理论,采用DenseNet卷积神经网络建立树种识别模型,探讨不同航拍高度以及不同网络深度对树种识别的影响。结果表明:不同航拍高度的树种识别模型,其分类精度均达80%以上,最高精度为87.54%。从航拍影像解析度分析,随着航拍影像解析度的下降,模型识别精度呈现下降趋势,以20 m航拍影像数据建构的树种识别模型,其分类精度高于40 m模型;从模型网络深度分析,随着模型网络层数的增加,模型分类精度出现下降现象,DenseNet121模型分类精度高于DenseNet169模型分类精度。综上所述,基于无人机航拍影像,结合深度卷积神经网络,提出了新的树种识别方式,并以安溪县森林树种识别为例证明了该分类框架的有效性。     

特征平衡的无人机航拍图像目标检测算法

无人机航拍图像目标较小、图像视角变化大,导致目标检测效果不佳。针对此问题,设计了一种适用于无人机小目标检测的网络。该网络中的可变形卷积模块可以提高多视角目标的特征提取能力,以解决航拍图像目标视角变化剧烈致使目标特征难以提取的问题;特征平衡金字塔模块可以增强网络中底层小目标特征,以解决航拍图像中的小目标因特征易丢失而造成其检测效果差的问题;同时利用像素重组构建底层大尺度特征以解决特征平衡金字塔模块的底层特征卷积运算量大的问题;交叉自注意力机制获取目标上下文信息,改善严苛条件下的漏检错检问题。公开数据集上的仿真结果表明,在保证实时检测的情况下所提算法的平均准确度优于主流检测算法。