基于可见光-热红外视觉监控的车间工人跌倒检测算法

为了解决工厂车间视觉监控存在噪声干扰、光线变化、目标遮挡等问题,提出一种基于多模态视觉监控的工人跌倒检测算法.首先,采用热像仪和可见光相机获取车间内全天候监控图像,结合自适应滤波模型对图像进行降噪处理,以抑制环境噪声对监控图像的干扰;然后,构建一种改进的人体姿态特征提取网络,通过融合串联时间帧合并模块和位姿残差模块,以简化目标检测的特征图尺度,实现监控图像中工人区域被部分遮挡时姿态的实时、可靠预测;最后,设计人体轴线倾角、人体外接矩形框长宽比以及双膝盖点移动速度作为工人跌倒判别性特征,进而实现车间内工人的跌倒判别.在自建数据集和公开数据集上对所提出方法进行验证,实验结果表明,所提出算法的跌倒检测精度分别为95.6%和96.3%,与对比算法相比具有更好的准确性和实时性.     

基于霍夫神经网络模型的复材纹理方向检测

纹理方向是保证复材韧性和耐腐蚀性的重要参数，基于视觉的复材纹理方向检测方法具有非侵入式、成本低、精度高的特点而被广泛研究，但现有的复材纹理方向检测方法易受到背景干扰，且存在检测精度低和回归一致性差的问题，为此本文提出一种基于霍夫神经网络(Hough neural network, HNN)模型的复材纹理方向检测算法。针对图像中复材区域易受背景区域干扰而影响检测精度的问题，提出一种通道注意力残差网络模型来提取复材图像中的目标纹理区域。针对复材纹理方向检测精度低和回归一致性差的问题，提出一种由粗到精的纹理方向检测方法，基于HNN筛选出正确的纹理方向候选集，再根据候选集进行霍夫变换来回归出更精确的纹理方向。本文所提方法在建立的复材纹理方向检测数据集上进行了大量的测试和分析，验证了所提方法的可行性和有效性。     

机器人RV减速器声发射信号传播机理分析及实验研究

关于RV减速器的声发射信号传播机理目前还缺乏定量的分析．本文旨在分析和研究声发射信号在减速器内部的传播机理,实现对减速器磨损等故障的准确监测与评估．首先从RV减速器的运动学机理出发,建立声发射信号在RV减速器内部的传播模型,接着利用小波变换分析方法得到不同频段的声发射信号时频分量特征,进而建立RV减速器声发射信号趋势演化模型．通过RV减速器的加速退化实验,得到了4种不同磨损状态下的声发射信号演化趋势,验证了本文提出的声发射信号传播模型的正确性．     

基于形变卷积和深层聚合网络的水下文物检测

搭载有视觉检测系统的自主水下航行器(AUV)具有水下文物探测功能,对深海考古有着重要意义。 水下文物所处环境复 杂多变,目标存在破损、堆叠和泥沙掩埋等情况,导致判别特征提取困难,使得 AUV 视觉检测系统无法可靠、准确地实现水下文物 的检测。 针对上述问题,提出一种基于可形变深层聚合网络模型的水下文物检测算法。 为了充分提取复杂环境下水下文物目标 特征信息,设计了具有可形变卷积层的多尺度深层聚合网络。 在此基础上,引入 SimAM 注意力模型进行特征优化,来增强文物目 标潜在特征信息并削弱背景干扰。 最后,通过不同尺度的特征融合实现水下文物检测。 在采集的水下文物数据集上进行大量验 证和分析,算法的精确率、召回率和平均精度均值(mAP)分别达到了 92. 7% 、90. 5% 和 92. 2% 。 此外,算法已部署到 AUV 系统中。 在实际深海测试场景中,视觉检测系统的文物检测帧率达到 19 fps,可满足实时检测的任务需求。     

基于层级循环神经网络的术中X线图像腰椎自动识别

针对图像引导微创脊柱手术中移动C型臂X线成像特点,通过学习人体腰椎的曲率特征实现腰椎识别,提出一种基于层级循环神经网络的X线图像腰椎自动识别方法.首先为解决X线图像中腰椎纹理混叠的问题,提取腰椎三维模型与二维X线图像中共有的曲率特征作为模型的输入;其次为模拟术中移动C型臂多角度成像的特点,采用双向循环神经网络学习腰椎曲率特征,刻画腰椎曲率特征在不同成像角度下的关联性;最后为解决病理情况下腰椎部分信息缺失的问题,提出一种层级循环神经网络模型,通过逐层融合的网络架构对人体腰椎间天然的上下文关系进行建模,提高模型在病理情况下的腰椎识别率.在开源数据集和术中移动C型臂X线图像上的实验结果表明,文中方法在正常情况和病理情况下的腰椎识别率均优于其他4种方法,且由于使用了数据量较少的二维曲率特征,该方法在训练和测试阶段的计算效率更高,更适合于术中图像引导的应用.     

单目相机-IMU-机械臂的空间联合标定方法

将单目相机和惯性测量单元(IMU)固定在机械臂末端,可以有效地协助机械臂进行运动估计和场景感知。单目相机、IMU和机械臂之间可靠、准确的标定是实现随动感知的前提。但是,传统的标定方法存在耦合误差大、标定一致性差和6自由度激励不充分的问题。为此,本文提出了一种新颖的单目相机-IMU-机械臂的空间联合标定模型,该模型能够将旋转分量的误差和平移分量的误差完全解耦。此外,创新性地设计了一种螺旋式运动轨迹来标定感知模块,采用这种运动轨迹能够避免6自由度激励不充分和一致性差等问题。在实验环节,本研究搭建了单目相机-IMU-机械臂空间联合标定平台,计算得到三轴姿态角和平移分量的均方根误差分别小于0.7°和7 mm,证明了所提标定方法的有效性。     

基于卷积神经网络和多判别特征的跌倒检测算法EI北大核心CSCD

针对传统跌倒检测算法中特征提取不充分、跌倒判别条件泛化性差、实时性差等问题,提出一种基于卷积神经网络和多判别特征的跌倒检测算法.为了完成更丰富的特征信息提取并保证实时性,首先,使用MobileNetV3轻量级网络完成对输入图片中人物特征信息的准确、快速提取;其次,使用3个小型卷积核的叠加和残差网络,保证网络在具有相同感受野的情况下降低网络模型的参数量,以保证图像中人体关键点检测的实时性;再次,为了提高跌倒状态判别的准确性,将人体躯干、四肢与地面间夹角,以及人体标定框高宽比变化作为跌倒判别特征;最后,设计了一个基于云服务器的物联网系统,以缓解用户终端计算能力不足导致实时性差的问题.在URFD数据集和自建数据集上进行大量实验的结果表明,该算法的检测准确率分别为99.0%和98.5%,该算法相对于传统跌倒检测算法具有更高的准确性和更好的普适性.