基于可见光-热红外视觉监控的车间工人跌倒检测算法

为了解决工厂车间视觉监控存在噪声干扰、光线变化、目标遮挡等问题,提出一种基于多模态视觉监控的工人跌倒检测算法.首先,采用热像仪和可见光相机获取车间内全天候监控图像,结合自适应滤波模型对图像进行降噪处理,以抑制环境噪声对监控图像的干扰;然后,构建一种改进的人体姿态特征提取网络,通过融合串联时间帧合并模块和位姿残差模块,以简化目标检测的特征图尺度,实现监控图像中工人区域被部分遮挡时姿态的实时、可靠预测;最后,设计人体轴线倾角、人体外接矩形框长宽比以及双膝盖点移动速度作为工人跌倒判别性特征,进而实现车间内工人的跌倒判别.在自建数据集和公开数据集上对所提出方法进行验证,实验结果表明,所提出算法的跌倒检测精度分别为95.6%和96.3%,与对比算法相比具有更好的准确性和实时性.     

融合传统特征与神经网络的深度伪造检测算法

人脸深度伪造检测技术对于打击虚假图像/视频泛滥具有至关重要的意义.提出了一种融合传统特征与神经网络的检测算法,算法结合了传统特征具有可解释性与神经网络高准确率的优点,利用图像灰度共生矩阵以及XceptionNet组成双特征提取模块,然后在全卷积网络中充分考虑双流融合特征信息,最终根据网络多损失实现图像真伪分类判决.在F...     

基于4D点云和航迹信息的人员跌倒检测方法

在家庭和医疗健康监护中,及时准确对老人跌倒进行实时监护是一个重要课题,而毫米波雷达在非接触式人员跌倒检测方面表现出巨大应用潜力。传统方法主要利用毫米波雷达获取的多普勒信息作为跌倒检测特征,但对于某些场景,诸如人员跌倒时与雷达的距离较远或者跌倒方向与雷达天线法向垂直,多普勒信息特征的有效性就会降低,进而导致跌倒检测准确率下降。针对上述问题,提出了一种基于4D点云和航迹信息的毫米波雷达跌倒检测方法,利用点云的空间信息、时间信息和微动信息全方位地表征人体动作特征,有效缓解距离和姿态多样性对雷达跌倒检测的影响,同时结合跟踪航迹信息带来的滤波器效应进一步抑制环境杂波的影响,提高了跌倒检测准确性。     

结合双流特征融合及对抗学习的图像显著性检测

为实现图像显著区域或目标的低级特征与语义信息有意义的结合,以获取结构更完整、边界更清晰的显著性检测结果,提出一种结合双流特征融合及对抗学习的彩色图像显著性检测(SaTSAL)算法.首先,以VGG-16和Res2Net-50为双流异构主干网络,实现自底向上、不同级别的特征提取;之后,分别针对每个流结构,将相同级别的特征图...     

一种毫米波雷达和图像特征级融合的目标检测方法

论文为了降低复杂场景中基于单一传感器进行目标检测的局限性,提出了一种特征级的毫米波雷达和图像融合的目标检测方法（SPCRF-Net）。该方法将毫米波雷达原始数据预处理成固定大小的线段并映射到图像中,引入金字塔池化处理毫米波雷达数据;对图像采用VGG16作为主干网络进行特征提取,并在每一层中融合毫米波雷达特征和图像特征。在融合层次中引入SE注意力模块增强高级别特征感知能力,并构建了一种融合结构（PFPN）强化特征提取。实验表明该方法有效减少了目标的漏检情况,提升了模型目标检测的性能。     

基于特征增强的SAR图像舰船小目标检测算法

针对合成孔径雷达(SAR)图像中小目标舰船检测困难的问题,提出基于单次多盒检测器的一种特征增强小目标检测算法.首先提出一种混合多特征提取模块,采用并行的普通卷积、不同空洞率的空洞卷积以及非对称卷积形成与舰船目标相匹配的感受野,以提高浅层网络对复杂形状小目标的特征提取能力;然后提出一种邻近多特征融合模块,将特征信息进行更科学的深层次融合,对小目标特征进一步增强;最后根据SAR图像单通道的特性,缩减特征提取网络VGG-16的冗余特征通道.在公开的SSDD数据集上与其他检测算法进行对比实验,实验结果表明,所提出方法将平均精确度提升至93.44%,检测速度提升至41.8FPS,参数量减少为18.74M,综合性能优于其他检测算法.     

基于CP-YOLOX的冷冻电镜图像蛋白质目标检测算法

针对现有的冷冻电镜图像蛋白质目标检测算法存在特征融合不充分、网络模型复杂、漏选、错选等问题,提出一种冷冻电镜图像目标检测算法(Cryo-Protein YOLOX, CP-YOLOX)。算法主要包含特征提取模块、特征融合模块、输出端。特征提取模块应用本文提出的B-ResBlockX模块,它使用分组的滤波器产生多条特征通道,提高了特征融合能力,从而捕捉更多细节特征。特征融合模块应用本文提出的FastHead模块,它利用多级的扩张卷积模块并且将输出端简化为单通道,可以在不损失精度的情况下,拥有更加轻量的网络结构。同时为进一步提升准确率与收敛速度,位置损失函数加入目标框与预测框的欧氏距离约束。在公开数据集EMPIAR-10028、EMPIAR-10081、EMPIAR-10089上的实验结果表明,对比YOLOX,所提算法的网络参数量仅为5.19×106,mAP(0.5)分别提升了2.4、3.3和2.5个百分点。     

基于深度自编码多维特征融合的慢动目标检测

针对强杂波环境下慢动目标检测存在的多普勒频移低、杂波干扰强、特征提取困难等问题,提出一种多维特征融合的检测算法。利用时频变换和脉冲压缩解析回波信息,提取目标回波时频域和距离像的特征,将特征串联输入到深度自编码网络中进行融合。深度自编码网络通过自主学习提取目标不同维度的特征,增强多维特征联合检测性能。仿真结果表明,与直接利用单域特征的深度自编码以及利用SVM进行目标检测的算法相比,该算法能有效融合时频域与距离像特征,实现特征互补,提高目标检测的鲁棒性与识别精度。     

基于红外相机和毫米波雷达融合的夜间行人检测

为了提升夜间环境行人检测的能力,使用红外相机和毫米波雷达进行信息融合.对两传感器数据进行时间配准并分别进行处理,利用改进YOLO算法处理红外图像得到目标类别特征,处理毫米波雷达数据获得目标的距离和速度特征,再建立空间对准模型对两传感器进行目标匹配,最后利用基于特征的融合算法完成夜间行人多模态信息输出.两传感器检测目标首次匹配之后,可以将类别信息反馈给雷达数据处理单元进行记录,当红外图像检测算法漏检时,利用雷达记录的信息补充输出类别特征.通过实验证明该融合算法提升了单一传感器行人检测成功率,在夜间场景具有良好的应用效果.     

基于TsFresh-Stacking的毫米波雷达人体跌倒检测方法

针对雷达频谱图空间信息较少,且通过单一机器学习算法进行毫米波雷达人体跌倒行为识别精度低、稳定性差的问题,使用人体空间雷达点云时序数据,提出了融合TsFresh特征提取和Stacking堆叠集成学习的跌倒识别方法。首先,采用TI-IWR6843毫米波雷达采集人体动作对应的人体运动跟踪时序数据,构建包含不同年龄、身高、体重信息、跌倒方式的数据集。其次,结合TsFresh时序特征提取工具和基于随机森林模型的特征重要性提取人体跌倒关键时序特征。最后,提出了融合随机森林、支持向量机、K-最邻近算法、XGBoost和CatBoost 5种单元机器学习模型的Stacking堆叠式集成学习方法。结果表明,与典型单一机器学习算法相比,Stacking集成学习算法具有明显的性能提升,能够有效提升人体跌倒行为识别准确性和泛化性。     

基于改进YOLOv5算法的果园水果检测

针对YOLOv5主干特征提取网络能力弱，特征融合能力差等问题，提出了一种改进的YOLOv5目标检测算法。提出了一种双主干特征提取网络，将特征提取网络分成主路和辅路两个支路，提升模型的特征提取能力。同时，修改YOLOv5中的C3模块，进一步提升C3模块的特征提取能力。在特征融合方面，提取一种新型的特征图拼接方式，取代了原有的特征图Concat方式，提升了模型的特融合能力。实验结果表明，改进后的YOLOv5算法，在自己收集的水果数据集上的m AP@0.5达到了85.0%，较改进前的YOLOv5(82.8%)提升了2.2%，且检测速度基本保持不变，能够快速准确地进行果园水果检测。同时进行了相关消融实验，进一步验证了所提出每个改进点的有效性。     

基于关节点特征的跌倒检测算法

针对跌倒检测算法中存在网络计算量大和类跌倒行为难以区分的问题,提出一种基于关节点特征的跌倒检测算法。首先,在目前先进的CenterNet算法基础上提出了深度可分离卷积CenterNet （DSC-CenterNet）关节点检测算法,从而在减少骨干网络计算量的同时准确检测人体关节点并获取关节点坐标;然后,基于关节点位置和人体先验知识来提取可充分表达跌倒行为的空间特征和时间特征作为关节点特征;最后,把关节点特征向量输入全连接层,并经Sigmoid分类器输出跌倒或非跌倒两种类别,从而实现人体目标的跌倒检测。实验结果表明,所提算法在UR Fall Detection数据集上对不同状态变化下跌倒检测的平均准确率达到98.00%,区分类跌倒行为的准确率达到98.22%,跌倒检测速度为18.6 frame/s。与原CenterNet结合关节点特征跌倒检测的算法相比,DSC-CenterNet结合关节点特征算法的跌倒检测速度提升了22.37%,提高后的速度可有效满足视频监控下人体跌倒检测任务的实时性。该算法能有效提高跌倒检测速度并对人体跌倒状态进行准确检测,且进一步验证了基于关节点特征的跌倒检测算法在视频跌倒行为分析中的可行性与高效性。     

基于深度卷积神经网络的小目标检测算法

针对YOLO目标检测算法在小目标检测方面存在的不足,以及难以在嵌入式平台上达到实时性的问题,设计出了一种基于YOLO算法改进的dense_YOLO目标检测算法。该算法共分为2个阶段:特征提取阶段和目标检测回归阶段。在特征提取阶段,借鉴DenseNet结构的思想,设计了新的基于深度可分离卷积的slim-densenet特征提取模块,增强了小目标的特征传递,减少了参数量,加快了网络的传播速度。在目标检测阶段,提出自适应多尺度融合检测的思想,将提取到的特征进行融合,在不同的特征尺度上进行目标的分类和回归,提高了对小目标的检测准确率。实验结果表明:在嵌入式平台上,针对小目标,本文提出的dense_YOLO目标检测算法相较原YOLO算法mAP指标提高了7%,单幅图像检测时间缩短了15 ms,网络模型大小减少了90 MB,明显优于原算法。     

面向小目标检测的并行高分辨率网络设计

当前目标检测算法对小目标检测存在特征信息易丢失的问题,利用网络处理高分辨率特征图数据可以缓解,但存在语义信息不足和计算负担大的缺点。为弥补这些缺点,提出一种有效处理高分辨率特征图、多深度子网并行连接的特征提取网络。构建输入图像金字塔,搭建多深度分支子网并行连接的结构,使用浅层网络处理图像金字塔中高分辨率特征图,深层网络处理低分辨率特征图,多分支同时运行并在中间位置进行两次特征融合,充分结合高分辨率特征信息和低分辨率语义信息;使用融合因子构建对小目标针对性强的多尺度特征融合结构,增强对小目标检测能力;使用注意力机制进一步提高特征提取能力。在公开数据集AI-TOD上进行实验表明,所设计的特征提取网络相较于其他常用特征提取网络对小目标的检测能力更强,在two-stage经典模型Faster-RCNN、one-stage经典模型SSD、YOLOv3以及anchor-free经典模型CenterNet上替换上原主干网络,检测平均精度mAP与原来相比分别提升了2.7、3.4、3.3、1.7个百分点,证明了所提网络结构的适用性和有效性。     

一种轻量级多尺度融合的图像篡改检测算法

现有ManTra-Net、DWT-CNN等基于深度学习的数字图像篡改检测算法存在计算复杂度高、检测准确度低等问题。为提取图像篡改与非篡改区域的差异性特征,提出一种基于MobileNetV3-LSTM混合模型的图像篡改检测算法。采用双分支网络架构,主分支网络为带有空洞卷积的轻量级CNN特征提取网络,副分支网络学习篡改图像边界上的差异性,在融合多尺度特征后进行端到端训练,最终输出预测定位图。在COVERAGE、CASIA2和COLUMBIA标准数据集上的实验结果表明,与Xavier-CNN、ELA等算法相比,该算法检测准确度平均提高9.2个百分点,参数量缩减82.3%,推理速度加快2倍,并且具有一定的泛化能力,适用于复制-粘贴、拼接等图像篡改操作的篡改区域检测定位任务。     

融合运动特征和深度学习的跌倒检测算法

为了利用计算机视觉技术准确检测老年人的跌倒状况,针对现有跌倒检测算法中人为设计特征造成的不完备性以及跌倒检测过程中前后景分离困难、目标混淆、运动目标丢失、跌倒检测准确率低等问题,提出了一种融合人体运动信息的深度学习跌倒检测算法对人体跌倒状态进行检测。首先,通过改进YOLOv3网络进行前景与背景的分离,并根据YOLOv3网络的检测结果对前景人体目标进行最小外接矩形标记;其次,分析人体跌倒过程中的运动特征,将人体运动特征向量化并通过Sigmoid激活函数转化为0到1之间的运动权重信息;最后,通过全连接层将将运动特征与卷积神经网络（CNN）提取的特征进行拼接和融合从而实现人体跌倒分类判别。将所提跌倒检测算法与背景差分、高斯混合、VIBE、方向梯度直方图（HOG）等人体目标检测算法及阈值法、分级法、支持向量机（SVM）分类和CNN分类等人体跌倒判断方案进行了对比实验,并将所提跌倒检测算法在不同光照条件下和混合日常噪声运动干扰下进行了实验,结果表明所提算法在环境适应性和跌倒检测准确率上都优于传统的人体跌倒检测方法。该算法能有效检测出视频中的人体并对人体跌倒状态进行准确检测,进一步验证了融合运动信息的深度学习识别方法在视频跌倒行为分析上的可行性与高效性。     

结合反射图像的双流多层次融合人脸活体检测

针对从RGB图像提取到的特征对光照敏感，导致人脸活体检测模型泛化性能较差的问题，提出一种结合反射图像的双流多层次融合检测（face anti-spoofing using dual-stream multi-level fusion and reflection images,DMF-RI）算法。对RGB图像进行带色彩恢复的多尺度Retinex增强，获得反射图，并分别提取原图和反射图的低、中、高多层次深度特征；通过双流多层次特征融合模块（dual multi-level feature fusion,DMFF）实现不同层次不同特征的有效融合；联合基于二值掩码的像素级监督和基于二值标签的二分类监督训练网络模型。在CASIA-FASD、Replay-Attack、MSU-MFSD、OULU-NPU和SiW这5个人脸活体检测数据集上的多组实验表明，所提算法通过多层次融合RGB图像和MSRCR图像的深度特征，能提取人脸中更为本质的特征信息，在复杂背景条件下表现出较强的鲁棒性和泛化能力。     

雾霾条件下结合直接传输率图的车牌检测算法

为提高雾霾条件下的车牌检测精度,提出一种无锚车牌检测算法。该算法不对雾霾图像进行去雾处理,避免图像失真,将雾霾图及反映其深度信息的直接传输率图作为两个并行的特征提取源来丰富学习特征,增强网络的深度感知能力。设计基于特征金字塔网络FPN(feature pyramid networks)的并行FPN结构对两个特征提取源进行特征提取,处理网络多输入以及车牌多尺度变化的问题。提出融合空洞卷积和注意力机制的渐进融合结构,促进不同来源特征的协同表示和渐进融合。加入特征增强块降低空间特征损失,加强特征表达。实验结果表明,该算法能有效提高雾霾条件下的车牌检测精度。     

基于注意力机制与特征融合的课堂抬头率检测算法

课堂教学是整个教育任务中的重要环节,教育信息化的发展为提升教学管理水平提供了更多方案。为加强教学情况正反馈,提高课堂抬头率检测的准确性,提出一种结合注意力机制和特征融合的新型检测算法。将原图及视觉特征RGB difference作为网络输入,令其经过特征提取网络后得到信息更丰富的深层特征。在此基础上,提出一种改进的注意力模型（ICBAM）并加载至特征提取网络上,ICBAM使用通道注意力模块和空间注意力模块并行的双流结构,提升网络的特征提取能力。在通道注意力和空间注意力中加入空洞卷积以过滤输入特征中的冗余特征,减少网络对背景等无用特征的关注。此外,设计精炼模块优化预测结果,并在所提算法的基础上实现课堂行为分析软件的开发与应用。实验结果表明,该算法在抬头率检测数据集RDS上的平均抬头率误差为15.648%,相比于SolvePnP等主流检测算法具有更低的误差率。     

融合原始图像与小波变换图像的人脸识别

为了进一步提高各种光照条件下的人脸识别精度,提出了一种融合原始图像特征与Gabor小波变换图像特征的人脸识别方法。算法首先对原始图像进行小波变换;然后利用线性判别分析分别对原始图像与Gabor小波变换图像进行特征提取,得到一对特征距离值,最后,对这对距离值进行融合得到最后的分类结果。在FRGC库上的仿真表明,本文算法的识别率相比融合前有10%的提高。而且,当线性判别分析特征提取换成主成分分析等别的特征提取时,本文方法同样有效。