面向遥感影像目标检测的ACFEM-RetinaNet算法

针对RetinaNet在遥感目标检测任务中多尺度、密集小目标问题，提出了ACFEM-RetinaNet遥感目标检测算法。针对原主干特征提取不充分的问题，采用Swin Transformer作为主干网络，以提升算法的特征提取能力，提高检测精度。针对遥感图像多尺度问题，提出自适应上下文特征提取模块，使用SK注意力引导不同空洞率的可变形卷积自适应调整感受野、提取上下文特征，改善多尺度目标检测效果。针对遥感图像中密集小目标问题，引入FreeAnchor模块，从极大释然估计的角度设计优化锚框匹配策略，提高检测精度。实验结果表明，在公共遥感图像目标检测数据集RSOD上，ACFEM-RetinaNet算法取得了91.1%的检测精度，相较于原算法提高了4.6个百分点，能更好地应用于遥感图像目标检测。     

基于STMR-CNN的热轧带钢表面缺陷检测

为了提高工业热轧带钢表面缺陷检测的检测精度,将深度学习研究领域的前沿技术应用于带钢表面缺陷检测.提出了一种以Swin Transformer作为骨干特征提取网络,级联多阈值结构作为输出层的热轧带钢表面缺陷检测算法.将Transformer结构应用于带钢表面缺陷检测领域,与单纯基于卷积网络的深度学习目标检测算法相比,能够达到更加精确的检测效果.首先,使用Swin Transformer作为骨干特征提取网络代替常规的残差网络结构,增强特征网络对隐含在图像中的深层语义信息的摄取能力.其次设计多级联检测结构,设置逐级的IoU阈值,实现检测精度与阈值提升的权衡.最后使用柔性非极大值抑制(Soft-NMS)、FP16混合精度训练和SGD优化器等训练策略加速模型收敛和提升模型性能.实验结果表明:本文算法在工业热轧带钢数据集(NEU-DET)上相较于YOLOv3、YOLOF、DeformDetr、SSD512和SSDLit等深度学习算法都有更好的检测效果,在裂纹(crazing, Cr)、夹杂(inclusion, In)、斑块(patches, Pa)、麻点(pitted surface, PS)、...     

基于改进的YOLOv4模型的行人检测算法

为提高行人检测算法在实际应用中的准确率,提出在YOLOv4模型中融合Vision Transformer模型与深度可分离卷积的vit-YOLOv4模型。该模型将Vision Transformer模型加入YOLOv4模型的主干特征提取网络与空间金字塔池化层中,充分发挥该模型的多头注意力机制对图像特征进行预处理的能力;同时,用深度可分离卷积替换路径聚合网络中堆叠后的常规卷积,以便模型在后续的特征提取中能够提取出更多有用的特征。实验结果表明,vit-YOLOv4模型提高了行人检测的准确率,降低了漏检率,综合性能较优。     

基于度量学习的行人检测算法

针对拥挤场景下行人漏检率较高的问题,设计了新的类平衡策略.其次,采用度量学习方法改进目前的行人语义提取效果,并设计了新的距离度量方法.最后,结合提取的行人语义信息设计了新的非极大值抑制算法.在行人检测数据集CityPersons和CrowdHuman上,与目前的行人检测器进行对比,效果优于目前最优无锚框的行人检测器,同时也证明了度量学习方法在行人检测中的有效性.     

基于YOLOX的轻量级毫米波雷达和相机融合检测算法

路侧端交通目标感知常用的传感器有相机、毫米波雷达和激光雷达。激光雷达能感知到3D信息,但成本昂贵且在雨、雾、灰尘天气下易受干扰。相机的价格低劣,感知到的信息也相当丰富,但受光照和杂波干扰比较严重。毫米波雷达具有全天时、全天候工作的优势,但并不擅长检测静止的目标。为了满足交通系统全天时、全天候高效准确的感知需求,本文提出了融合检测框架RV-YOLOX,通过有效融合相机和毫米波雷达传感器的信息,取得了优于单源传感器的检测效果。RV-YOLOX中设计的雷达空间注意力模块吸纳了级联融合和逐元素相加融合的特点,可以通过将雷达的空间信息传递给视觉特征,促使其提取更加有效的信息流。此外,本文还通过结构重参数化的方式对RV-YOLOX进行了轻量化处理,使其能够在保持原有精度的同时达到更快的推理速度。最后,在自制数据集和NuScenes数据集上训练并测试算法,RV-YOLOX相比YOLOX算法ap指标能提升约3~4个点左右,且轻量级RV-YOLOX也能在提高推理速度的同时获得与RV-YOLOX相当的检测精度。     

基于多光谱和面部多区域联合的人脸活体检测算法

在常见的人脸活体检测应用场景中,绝大多数相关技术聚焦于RGB图像或IR图像,但是这些图像缺乏足够的生物特征,容易受到层出不穷的假体人脸攻击。该文提出了一种基于面部多区域联合的Transformer模型,并将多光谱成像技术引入人脸活体检测任务,旨在获取人脸的独特生物特征,增加与假体的可区分性,进而提高活体检测准确率。多光谱图像拓宽了光谱范围,可获取物体更为丰富的反射特性,通过逐像元进行光谱归一化操作,可降低光照强度变化带来的影响,增强人脸反射特征区域的一致性。该文提出的算法选取多个人脸核心区域(如眼睛、鼻子、嘴巴、脸颊等)作为深度学习模型输入,构建了基于Transformer的神经网络模型,同时获取人脸局部区域特征和区域间关联特征,整合成完备的人脸生物特征。在自建的多光谱人脸数据集上,该文提出的方法获得了95.72%的活体检测准确率及5.10%的活体检测错分率,优于常用的人脸活体检测模型。     

基于Swin Transformer的嵌入式零样本学习算法

零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间,在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失,该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入,特征提取过程没有考虑语义信息,基于此本文采用Swin Transformer作为骨干网络,输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验,与目前最先进的算法相比取得了最佳的调和平均精度.     

基于情感分析和Transformer模型的微博谣言检测

针对微博文本以实现谣言检测为目标,深度挖掘微博正文内容的语义信息,并且着重强调用户在微博评论中体现的情感倾向性,提升谣言识别效果.为提高谣言检测的准确率,采取基于XLNet的词嵌入方法,使用Transformer的En-coder的模型提取微博正文内容的语义特征,并结合BiLSTM+Attention网络实现微博评论的...     

基于Smooth-DETR的产品表面小尺寸缺陷检测算法

为应对实际工业产品视觉质量检测中缺陷罕见、尺寸小等挑战,提出了一种仅需要少量训练样本的小尺寸缺陷检测算法——Smooth-DETR,该算法采用基于DETR的编码—解码结构对缺陷类别和位置进行预测,该结构降低了参数量和计算复杂度。因DETR强大的全局特征学习能力,该算法可从少量训练样本中充分挖掘产品表面纹理特征,从而对打破了表面纹理连续性的缺陷检出率高;通过结合Smooth-L1损失和GIoU损失的优势,进一步提升了小尺寸缺陷的回归精度。实验结果表明,所提方法检测性能优于现有先进检测模型。此外,仅用少量训练样本,该算法对11类产品表面的缺陷检测平均精确率就能够达到98%以上。     

基于改进YOLOX的多光谱行人检测算法

现有的多光谱行人检测算法大多是基于Faster R-CNN的两阶段检测或设置了锚框机制的一阶段检测,此类模型存在推理速度慢,检测准确率低等不足.为此,本文设计出一种基于一阶段无锚框检查算法YOLOX的多光谱行人检测算法.该算法将多模态特征提取解耦为特性特征提取和共性特征提取两阶段.针对基准特性特征提取网络学习能力不足、提取的语义信息和纹理细节信息不够丰富的问题,本文设计出一种多尺度特征增强(Multi-scale Feature Enhancement, MFE)模块,该模块可提取出特性特征图中丰富的语义和纹理细节信息.此外,本文使用基于差异性的特征融合方法来充分捕获两种模态的差异性特征信息.为证实本文方法的有效性和可行性,本文在KAIST数据集和FLIR数据集上进行了实验验证,实验结果表明本文所提方法可显著提高多光谱行人检测的性能.     

基于Cache-DCN YOLOX算法的交通标志检测方法研究

针对传统方式识别交通标志算法存在的检测精度较低的问题,提出了一种基于Cache-DCN YOLOX算法的交通标志识别方法。在该方法中,使用DCN可变形卷积替换backbone中的普通卷积,有效地增大了模型的感受野,提高了特征提取能力;使用EIOU损失函数代替YOLOX中的GIOU损失函数,优化了训练模型,提高了收敛的速度;优化设计了YOLOX算法中的强弱两阶段的训练过程,增强了模型的泛化性能,同时加入cache方案,进一步提高了检测精度。在交通标志数据集TT100K上进行了实验,提出方法的检测精度为67.2%,比原YOLOX算法的检测精度提升了6.4%,同时,在被遮挡的小目标等多种受干扰的环境下,提出的方法能够精确地检测出交通标志,并有着较好的置信度,满足实际需求。     

改进目标检测算法在变电站内安全管控的应用

变电站作为电力系统中重要一环,保证变电站作业人员的安全是至关重要的。为了自动检测作业人员是否正确穿着工作服佩戴安全帽,提出一种基于Transformer自注意力编码特征融合轻量级的目标检测网络。通过采用轻量级的主干网络提取特征,注意力机制融合多尺度特征。提出了质量焦点损失方法,改善目标检测模型训练和测试阶段推理过程不一致问题。同时,采集并标注变电站场景下人员工作服安全帽数据5?200张。将提出的轻量级目标模型在自制的工作服安全帽数据集上训练,并在测试集上验证,该目标检测方法识别mAP达44.6%,AP50达79.5%,达到117 FPS。     

基于机器视觉的扶梯自动急停系统

针对自动扶梯上乘客易摔倒的安全隐患,设计一款基于机器视觉的人体摔倒行为识别系统及扶梯自动急停装置.借助OpenPose人体关节点检测算法提取目标人体的骨骼特征,利用Inception V3网络模型搭建分类器,对采集的骨骼特征信息分类,以识别乘客摔倒行为.训练结果表明单人、多人样本的测试精度最高可达98.9%、80.0%.识别摔倒行为后将检测结果以无线通讯的方式发送至基于STM32微控制器及多种传感器的急停装置.最后,在模拟的扶梯环境下进行实验测试,测试结果表明该扶梯自动急停系统的控制实时性良好.     

基于RetinaNet的场景文字检测算法

针对场景文字区域尺度变化较大,具有较大的长宽比,且具有任意方向性等问题,提出一种基于神经网络的场景文字检测模型.基于直接回归方法设计,无需预先设置锚框,在多次层次构建特征,且在多个分支之间共享卷积核.实验阶段在多个数据集上验证了模型的有效性,相较于现有方法,该模型计算资源消耗更小,推理速度更快,整体性能更好.     

油田安防领域基于改进的深度残差网络行人检测模型

油田安防中行人目标检测是是当今前沿的一个热门研究课题,针对野外场景采集的图像视频分辨率低,背景复杂等问题,本文在单次多目标检测器(Single Shot MultiBox Detector,SSD)模型的基础上,提出了一种改进的行人检测算法,该算法首先利用聚合通道特征模型对图像或者视频序列进行进行预处理,获得疑似目标区域,大大降低单帧图像检测的时间;然后对SSD的基本网络VGG-16替换为Resnet-50,通过增加恒等映射解决网络层数加深但检测精度下降的问题;最后采用强大而灵活的双参数损失函数来优化训练深度网络,提高网路模型的泛化能力。定性定量实验结果表明本文所提检测算法的性能超过现有的检测算法,在保证行人检测准确率的同时提高检测效率。S     

基于Transformer人像关键点检测网络的研究

为解决目前基于卷积网络的关键点检测模型无法建模远距离关键点之间关系的问题,提出一种Transformer与CNN(卷积网络)多分支并行的人像关键点检测网络,称为MCTN(multi-branch convolution-Transformer network),其利用Transformer的动态注意力机制建模关键点之间的远距离联系,多分支并行的结构设计使得MCTN包含共享权重、全局信息融合等特点。此外,提出一种新型的Transformer结构,称为Deformer,它可以将注意力权重更快地集中在稀疏且有意义的位置,解决Transformer收敛缓慢的问题;在WFLW、300W、COFW数据集的人像关键点检测实验中,归一化平均误差分别达到4.33%、3.12%、3.15%,实验结果表明,MCTN利用Transformer与CNN多分支并联结构和Deformer结构,性能大幅超越基于卷积网络的关键点检测算法。     

基于计算机视觉的自动扶梯节能系统

自动扶梯是始终或阶段性保持运行状态的电梯,针对其在无人乘坐情况下持续运行所造成的能源浪费,提出了一种基于计算机视觉的自动扶梯节能控制系统,该系统由拍摄自动扶梯全景的摄像单元、微处理器和可编程逻辑控制器(PLC)构成;首先通过摄像单元获取整个自动扶梯的全景视频图像,接着利用混合高斯模型对全景视频图像进行背景建模处理,得到在自动扶梯上的前景对象;进而,根据自动扶梯上有无前景对象,生成相应控制信号,通过电梯PLC模块控制自动扶梯的运行和停止;实验结果表明,本文所开发的自动扶梯节能系统,对于自动扶梯上的对象物体,检测率在99%以上,可以较为可靠地控制自动扶梯运转与停止,达到预期的节能效果。