融合通道与位置信息的ResNet细粒度图像识别

在细粒度视觉识别(FGVR)领域,由于高度近似的类别之间差异细微,因此图像细微特征的精确提取对识别的准确率有着至关重要的影响。针对该问题,提出了融合通道与位置信息的残差网络(ResNet)细粒度图像识别算法。首先,通过引入超轻量化空间与位置感知注意力模块(ULSLAM)改进的ResNet细粒度图像特征提取网络,提高了细粒度图像特征尺度丰富性与多样性且有效增强了上下文特征非线性依关系;其次,使用融合通道与位置信息特征学习网络,利用权重方差度量获得特征提取网络显著特征以馈送到识别器进行最终有效识别,而后通过抑制因子抑制显著特征用于下阶段特征提取网络对细微特征进行提取。实验结果表明,该算法在数据集CUB-200-211上达到89.60%的top1准确率、98.65%的top5准确率;在数据集Stanford Cars上达到94.93%的top1准确率、98.93%的top5准确率;在FGVC-Aircraft数据集上达到93.80%的top1准确率、98.20%的top5准确率。     

基于协同深度学习的二阶段绝缘子故障检测方法

针对现有绝缘子故障检测模型受航拍图像中复杂背景干扰导致准确率低的问题,提出一种基于协同深度学习的二阶段绝缘子故障检测方法.该方法将全卷积网络(FCN)与YOLOv3目标检测算法相协同,第一阶段,利用FCN算法对航拍图像预处理,设计跳跃结构融合浅层图像特征与深层语义特征,构建8倍上采样的绝缘子分割模型,结合图像像素逻辑运算,实现绝缘子目标的初步分割,避免背景区域对绝缘子故障检测的干扰.在此基础上,第二阶段构建YOLOv3模型进行绝缘子故障检测,以深度神经网络Darknet-53作为特征提取器,借鉴特征金字塔思想,在三个尺度的输出张量上对绝缘子故障进行标记和类别预测,保证模型对不同尺寸的绝缘子故障准确检测.利用K-means++聚类算法优化YOLOv3的锚点框参数(Anchor Boxes),进一步提升检测精度.实验结果表明,基于协同深度学习的二阶段方法能够有效克服复杂背景的干扰,在绝缘子故障检测中平均准确率(MAP)高达96.88％,较原始YOLOv3算法MAP值提升了4.65％.     

火电厂监控视频安全帽检测方法研究

安全帽是火电厂生产环境中非常重要的安全防护装备,利用计算机视觉领域中的相关技术对其检测能有效保障工业生产安全。针对安全帽在复杂工业环境中易受到光照环境变化、多遮挡、目标过小导致检测困难的问题,构建了安全帽目标检测数据集,改进了YOLOv5目标检测算法的Head模块,对Anchor的数目与大小进行了调整,通过k-means聚类算法对安全帽数据集重新聚类,增加自顶向下网络特征提取过程中的上采样模块,对提取到的特征图进一步扩大,并将深层特征与浅层特征信息充分融合,增强了模型多尺度特征提取能力。基于构建的工业场景安全帽目标检测数据集,将改进后的YOLOv5算法与目前相关领域最优算法进行对比实验。实验结果表明,改进后的YOLOv5算法在准确率方面均得到显著提升,最高检测率达到了98.1%。综合考虑算法检测速度、精度与模型体积等多种因素,改进后的YOLOv5算法可以满足工业场景中检测的需求。     

改进YOLOv5的路面缺陷快速检测方法研究

为了实现路面缺陷的智能快速化检测,对深度学习目标检测算法YOLOv5进行改进,得到的3种检测模型(YOLOv5-A,YOLOv5-C,YOLOv5-AC)均可采用视频检测的方式对路面5类缺陷进行快速检测。采用智能手机和数码相机采集路面缺陷图像并制作数据集,在满足视频检测的需求下,使用K-means算法和1-IoU作为样本距离重新聚类anchor,得到更优的锚框参数;在网络多个结构中引入CBAM注意力机制,增强模型的特征提取能力。实验结果表明,YOLOv5-C算法在训练集上的平均精度达到91.8%,相较于原模型提高1%;YOLOv5-A算法在验证集上的平均精度达到92.7%,相较于原模型提高1.7%;在实际检测效果上,YOLOv5-AC算法在裂缝、破碎板和坑洞的识别准确度上达到89%、62%、90%,相较于原模型提高了45%、4%、5%,且模型的检测速度达到40 FPS。YOLOv5-AC算法具有较高的检测精度和识别速度,一定条件下可以满足在道路缺陷检测中的智能化实时检测需求。     

基于关键帧定位的人体异常行为识别

近年来,基于视频的人体异常行为识别算法取得了一定的研究成果,但由于监控视频中存储的数据量庞大且视频时间跨度较长,在进行长视频或多行人异常动作检测与识别时,现有的识别方法并不适用。为此,提出了一种基于关键帧定位的人体异常行为识别模型,首先,通过基于标准化流和注意力增强时空图卷积的关键帧定位网络学习正常帧的概率分布,筛选和提取出长视频中的异常帧（关键帧）序列,并将其作为后续网络模型的输入。然后,为了更好地捕捉人体姿势的运动特征和异常情况,提出一种融合注意力和增强残差的时空图卷积异常行为识别算法,将关键帧序列输入到该模型网络中以实现对监控视频中的人体异常行为的高效准确识别。使用公开数据集和自建数据集对该方法的有效性进行验证,实验结果表明,在公开数据集ShanghaiTech Campus上人体异常行为识别的TOP-1准确率达到82.86%,TOP-5准确率达到98.10%,该方法可以更好的完成监控视频中的人体异常行为识别。     

基于注意力机制的交通标志识别

针对实际场景中的交通标志大多小而密集,导致小目标交通标志识别准确度较低的问题,提出一种改进YOLOv5算法。首先将CBAM同时嵌入YOLOv5网络的Backbone和Head部分,以提升网络特征提取能力。其次为解决GIoU Loss可能造成的模型收敛速度较慢问题,改用DIoU Loss作为网络回归损失函数。实验结果表明,改进后的算法对于交通标志图像的识别平均准确率达到96.40%,相较于原算法有了6.83%的提升。最后为验证模型的实时可行性,在TX2嵌入式系统中利用本文改进YOLOv5算法对实景视频中的交通标志进行识别,结果表明本文改进算法能在嵌入式系统中流畅运行。     

基于改进YOLOv5与CRNN的电表示数识别

为了提高电表示数检测和识别的准确率，基于轻量高效的YOLOv5s网络提出了改进的目标检测网络。首先，在特征提取阶段添加CBAM注意力机制对图像的重要特征进行自主学习，并设计了一种特征融合网络D-BiFPN加强了对深层特征的提取；其次，引入CIOU损失函数，使目标框的回归更加稳定。对CRNN文本识别算法的主干网络进行改进，模型保持轻量化的特点，在移动端部署上有良好的前景。最后，在电表数据集上测试得出：相比于YOLOv5算法，所提出的算法精度均值提升了5.13%;相比于CRNN算法，所提出的文本识别算法准确率提升了7.4%。实验结果表明，改进后的文本检测算法对电表示数的检测精度较高，文本识别算法准确率和速度较高，满足电表示数检测识别的实际应用需求。     

基于DCGAN和改进YOLOv5s的钢丝帘布缺陷检测方法

为解决钢丝帘布表面缺陷检测准确率低且泛化能力不强的问题,提出了一种基于DCGAN和改进YOLOv5s的缺陷检测方法。首先,通过调整DCGAN网络参数并优化超参数,使生成器能够生成具有丰富特征和清晰纹理的钢丝帘布缺陷图像,从而扩充数据集;其次,采用K-means++算法对钢丝帘布缺陷数据重新聚类锚框,以获得更优的锚框参数,实现锚框与实际缺陷的精确匹配;然后,在YOLOv5s主干网络中的C3模块添加坐标注意力机制,以增强模型的特征提取能力和精确定位能力;最后,引入MPDIoU损失函数替换YOLOv5s原损失函数,进一步提高检测精度。实验结果表明,在实测钢丝帘布缺陷数据集上,采用DCGAN数据增强和改进后的YOLOv5s检测模型,缺陷检测平均精度提高了6.6%,达到了89.4%,并且检测准确率和召回率也有所提高。与其他主流检测模型相比,该模型不仅在检测速度上提高了约30%,还保持较高的检测精度。在公开的NEU-DET数据集上,该模型的mAP值达到了82.6%,较原始YOLOv5s模型提高了3.8%。     

基于3D-Attention与多尺度的矿井人员行为识别算法

为了解决现有行为识别模型在矿井环境下识别率低，对矿井下环境的适应性较弱，不具备适用性的问题，提出基于3D-Attention与多尺度(CSAD)的矿井人员行为识别算法。针对国内外现有矿工行为数据集较为匮乏的问题，自建矿工行为数据集；其次，针对煤矿井下视频动态变化的问题，提出3D多尺度卷积模块，通过学习不同尺度的特征，提升模型的泛化性，增强模型对不同煤矿环境的适应性；考虑到模型在煤矿井下环境中识别率较低的问题，提出改进的A3D-Net注意力模块，使模型更加专注于识别区域的特征提取，进而提升模型的准确率。实验结果表明，在公共数据集UCF101、KTH上进行实验，提出的CSAD模型准确率分别达到89.9%、92.7%,在自建矿工行为数据集上进行试验，模型准确率达到74.98%,在使用视频增强预处理后，准确率达到了76.42%。     

基于稠密连接时空双流网络的行为识别方法研究

针对视频中复杂人体动作识别精度低、效率差的问题,提出了一种时空特征提取的稠密连接网络模型。首先利用两个稠密连接网络进行时空特征的提取;其次构建时空网络间的稠密连接,将时间网络中提取到的特征信息逐层输入到空间流网络中,提高两个流的时空交互性;然后使用LSTM网络分别对双流网络特征进行处理得到两个流的预测结果;最后融合双流网络的预测结果,从而实现视频中复杂行为的识别。在UCF101和HMDB51两个基准数据集上进行对比实验,得到94.69%和68.87%的准确率,优于其他算法。实验证明,本文模型可增加时空网络之间的交互性,有利于对复杂人体动作的识别。     

CNN A-BLSTM network的双人交互行为识别

关节点数据结合卷积神经网络用于双人交互行为识别存在图像化过程中对交互信息表达不充分且不能有效建模时序关系问题,而结合循环神经网络中存在侧重于对时间信息的表示却忽略了双人交互空间结构信息构建的问题。为此提出一种新的卷积神经网络结合加入注意机制的双向长短时期记忆网络（CNN A BLSTM network）模型。首先对每个人的关节点采用基于遍历树结构进行排列,然后对视频中的每一帧数据构建交互矩阵,矩阵的中的数值为排列后双人之间所有的关节点坐标间的欧氏距离,将矩阵进行灰度图像编码后所得图像依次送入CNN中提取深层次特征得到特征序列,然后将所得序列送入A BLSTM网络中进行时序建模,最后送入Softmax分类器得到识别结果。将新模型用于NTU RGB D数据集中的11类双人交互行为的识别,其准确率为90%,高于目前的双人交互行为识别算法,验证了该模型的有效性和良好的泛化性能。     

基于增强全局-局部特征融合的视频描述生成方法

现有的视频描述生成方法提取的特征及特征组合的方式较为简单,导致模型丢失了部分与视频描述相关的重要语义信息,限制了对视频内容的准确描述和理解。分析存在的不足,提出了一种基于增强全局-局部特征融合的视频描述生成方法。首先采用不同特征提取器分别对视频片段提取局部特征和全局特征,为了建模不同级别特征(局部和全局)的相关性,利用特征融合增强网络进行特征融合,丰富模型的特征信息。解码器使用的双向长短期记忆网络,并在其后加入重构网络,重构经编码器处理得到的视频特征序列,最终经过长短期记忆网络生成视频的描述语句。在MSVD与MSR-VTT数据集上的实验结果表明,提出的模型可以显著提高生成的描述语句的准确性。     

基于YOLOv5改进算法的印花图案疵点检测

针对圆网印花图案疵点检测问题,本文采用了一种基于YOLOv5改进算法模型来检测印花图案的疵点。本实验根据实际的情况对YOLOv5模型网络结构进行了更改,首先,对YOLOv5网络的骨干部分进行优化改进,引入了注意力机制模块,对输入图片的通道注意力和空间注意分别提取特征。其次,针对印花疵点目标较小的情况对网络的检测层结构进行了修改。实验结果显示,改进的YOLOv5检测算法精确率提升了14.4%,检测速度提升了7.6fps,达到了43.1fps满足实时检测要求。     

融合深度感知特征与核极限学习机的行人检测

行人检测在辅助驾驶和交通监测等方面有着广泛的应用,一直是计算机视觉领域中的研究热点和难点。传统特征提取方法对处在复杂环境中的行人难以有效地捕获具有区分度的特征信息。而目前流行的卷积神经网络因BP算法易陷入局部极小值,对泛化性能有所影响,且随着网络层的增加,一些显著特征信息逐层递减。针对上述问题,提出了融合深度感知特征与核极限学习机的行人检测算法。首先在CNN结构的基础上分两个阶段将前层特征与深层次特征融合后,送入后续层学习,构造一个DAGnet网络。随后采用实时性高,泛化能力强的核极限学习机对所得深度特征信息进行分类,并采用K-折交叉验证进行参数寻优;检测阶段,在DAGnet网络学习到的特征图上采用基于图论的显著性分析算法(GBVS),快速标注测试图像中行人的区域,然后在显著区域利用滑动窗口检测行人的精确位置。实验证明,所提算法在INRIA数据集和Caltech数据集的正检率均高于90%,在保证精度的情况下检测速度也得到明显提高。     

基于AprilTag图像识别的移动机器人定位研究

药液在生产过程中易混入不溶异物,因此投入市场前的必须对药液进行检测。针对安瓿瓶药液检测,区别于传统的序列图像检测算法,设计了一种基于机器视觉和卷积神经网络的检测方法。首先利用Canny边缘检测提取安瓿瓶瓶壁边缘,裁剪药液区域图像,减少了后续计算量;其次改用VGG16卷积神经网络进行不溶异物的特征提取,可以提取到传统特征之外的抽象特征;最后通过迁移学习和微调,在400张测试样本中,结果为识别正确378张。结果表明,该方法可以检出不溶异物,满足实际生产需求。     

面向数字孪生低压配电网的基于Gabor-YOLO算法的架空线高效识别方法研究

从各种测量装置中实时获取和更新电力线路运行状态是低压配电网数字孪生的基础,获取电力线路运行状态的首要任务是对电力线进行精准识别。本文针对低压配电架空线路航拍图像背景复杂、遮挡严重、目标特征微弱的问题,提出了基于Gabor-YOLO的算法,用于低压架空电力线的高效提取。首先,对图像进行灰度化和高斯滤波等预处理后利用改进后的Gabor算子进行特征提取,在图像中分割出前景区域;其次,在改进YOLO网络模块中,对电力线及辅助目标进行定位和识别最终提取出电力线。实验结果表明,改进的Gabor算子可以快速提取出图像前景区域,改进的YOLO网络可以在前景区域中准确提取出电力线。实验结果证明所提方法相比于yolov4等方法具有最高的准确率和提取速度,mAP值可达93.6%,满足实际工作需要。     

基于小波和长短期记忆混合神经网络的电力用户异常用电模式检测

为了约束输配电系统中存在的异常用电行为,文中提出一种基于小波和长短期记忆混合神经网络的电力用户异常用电模式检测模型。提出异常用电模拟算法用于生成异常用电数据序列;利用长短期记忆网络构建特征提取网络,从用电数据中提取出不同的序列特征;以小波神经网络为核心构建模式映射网络,实现序列特征到用电模式的映射,完成异常用电模式检测。通过CER Smart Metering Project数据集测试,文章提出的异常用电检测模型与传统网络模型相比,具有更高的检出率、更低的误检率和更高的贝叶斯检出率。     

基于用户行为分析的视频推荐算法研究

视频推荐属于互联网推荐系统的应用之一,传统的互联网推荐技术中,协同过滤技术是应用最多和最广泛的.但是区别于其他内容的推荐,(如文本信息、音乐、Web网页以及电子商务领域的推荐等)视频内容的数据量偏大,在推荐的时效性上存在很大的缺陷.较大的视频数据使得算法的时间和空间复杂度较大,推荐效果不佳.根据这一特点,提出了一种基于用户行为信息分析的视频推荐.该方法充分挖掘用户行为信息,以用户行为信息代替视频内容大数据作为推荐的数据集,可以将用户可能感兴趣的视频内容主动推送给用户.实验结果也验证了文中提出的方法的有效性和高效性.     

基于2D—ResNet的船舶电力系统电能质量扰动识别

为实现船舶电力系统电能质量扰动准确识别,结合深度学习提出基于二维残差网络(2D-ResNet)的电能质量扰动识别方法。首先将电能质量一维时间序列通过距离矩阵转化为二维平面图,随后将图像送入所提二维残差网络中提取特征。最终输出特征图通过线性层分类器得到识别结果,实现船舶电力系统电能质量扰动的在线识别。与现有特征提取方法相比,不同信噪比下该方法扰动识别准确率均最高。信噪比为20 dB时,单标签分类平均准确率为93.86%,多标签分类平均F1-score为96.52%,证明了2D-ResNet能有效提取扰动特征且对噪声具备鲁棒性。对于未知复合扰动,单标签分类器识别失败,而多标签分类器准确识别出扰动中的未知成分,且F1-score达到93%,证明了多标签分类适用于未知复合扰动识别。     

基于特征融合与深度学习的非侵入式负荷辨识算法

针对使用单一设备特征进行负荷辨识存在的局限性,提出了一种基于特征融合与深度学习的非侵入式负荷辨识算法。通过分析设备的高频采样数据提取了V-I轨迹图像特征与功率数值特征。利用人工神经网络的高级特征提取能力,实现了V-I轨迹图像特征与功率数值特征的融合。最后以复合特征作为设备新的特征训练反向传播(BP)神经网络进行非侵入式负荷辨识。使用PLAID数据集对算法辨识效果进行了验证,并对比了不同分类算法对特征融合的有效性与负荷辨识能力。结果表明,该算法利用不同特征之间的互补性,克服了使用V-I轨迹特征无法反映设备功率大小的缺点,从而提高了V-I轨迹特征的负荷辨识能力,并且在嵌入式设备中的运算速度为毫秒级。