基于三维深度卷积神经网络的车间生产行为识别

传统的依赖视频监控的人员行为管理方式费时且易产生疏漏,难以适用复杂的生产制造环境,为了实现更加有效的人员行为管理,针对生产车间工作人员行为识别与智能监控问题,提出一种基于人体骨架信息的生产行为识别方法。基于三维深度视觉传感器采集人体骨架关节位置数据,用标准化重构方法对骨架关节数据进行归一化处理,合成人体行为的时空特征RGB图像。在此基础上构建深度卷积神经网络模型,进行时空域的生产行为识别。最后通过CUDA GPU加速环境下面向MSR-Action3D数据集和自建验证数据集NJUST3D进行实验验证,说明所提方法具有较高的准确率和实用价值。     

面向工作空间设计的虚拟人体模型

针对虚拟人体模型在计算机辅助工作空间设计中存在的不足，从模型精度、控制算法等方面进行改进研究。为了更准确地反映人体运动特性，以解剖学知识为依据，给出了人体单轴、双轴、多轴关节及关节间的运动约束模型。人体模型在精度提高的同时也增加了其控制复杂度，为此，采用关节约束下的基于逆向运动学控制方法和基于运动捕获数据的姿势生成两种方法，来提高生成人体作业姿势的快速性及准确性。通过实验系统验证了虚拟人体模型的有效性。     

多尺度密集连接注意力的红外与可见光图像融合

针对现有红外与可见光图像融合时,融合结果存在细节信息丢失、特征提取不足等问题,提出了一种多尺度密集连接注意力的红外与可见光图像融合深度学习网络模型。首先,设计多尺度卷积提取红外与可见光图像中不同尺度信息,增大感受野特征提取范围,克服了单一尺度特征提取不足的问题。然后,通过密集连接网络增强特征提取,并在编码子网络末端采用提出的可变形卷积注意力机制,密切联系全局上下文信息,增强对红外与可见光图像中重要特征信息的聚焦能力。最后,由全卷积层构成解码网络,重构生成融合图像。本文选取了六种图像融合客观评价指标,红外与可见光图像公开数据集融合实验结果表明：与其他8种方法相比,本文算法对比实验指标均有所提高,其中结构相似性（SSIM）、空间频率（SF）指标分别平均提高了0.26倍、0.45倍。所提方法的融合结果保留了更清晰的边缘及目标信息,具有更好的对比度和清晰度,在客观评价方面均优于对比方法。     

移动机器人红外避障和单目视觉跟踪的研究

介绍了移动机器人的避障规则和单目视觉的运动人体跟踪。通过对红外传感器的信息进行采集,根据多传感器信息设计避障规则,通过人体建模,利用很简单且实用的方法实现单目摄像头对人体识别和跟踪。该系统在实验中取得较好的效果。     

基于深度学习的产品色彩情感化设计

为准确把握用户对于产品色彩的情感意象感知规律,创新性生成符合用户情感偏好的产品色彩设计方案,提出一种基于深度学习的产品色彩情感化设计方法。首先运用语义差异法和GoogLeNet模型构建产品色彩情感意象数据集;然后,基于产品色彩情感意象数据集与条件深度卷积生成对抗网络(C-DCGAN)搭建产品色彩设计方案生成模型,创新性生成产品色彩设计方案。最后,以出租车色彩设计为例,验证了所提方法的有效性与适用性。     

基于改进 EfficientNet 的红外图像光伏组件故障识别研究

光伏组件的故障会影响光伏阵列的输出性能,从而降低电站的发电效率,严重时甚至会危害电站的安全运行。 传统的 方法无法满足目前光伏组件故障检测快速性和正确率需求。 因此,本文提出了一种基于改进 EfficientNet 的光伏组件故障识别 方法。 首先,利用采集到的光伏组件红外图像建立故障数据集,并利用图像分割和数据增强对数据集进行预处理;其次,基于 EfficientNet 网络构建故障识别模型,同时在模型中引入双通道注意力模块(CBAM),该模块能够抑制不必要特征的识别,增强 模型对空间特征信息的提取能力,进而提高模型的识别准确率;最后,通过对比仿真实验证明模型的有效性和先进性。 实验结 果表明,该模型的故障识别准确率达到了 90. 83% ,相较于原始的 EfficientNet 模型提高了 2. 83% ,且模型大小仅为 20. 3 M,具有 良好的实用性,能够满足光伏电站实际应用的需求。     

计算机三维人体模型的参数化几何造型

利用ObjectARX和面向对象技术,开发了一个坐在轮椅上的人体模型的应用程序。轮椅模型和人体模型的生成均实现了参数化。构造人体模型的数据采用国标GB10000-88中国成年人人体尺寸。该模型将用于计算机辅助居室设计和家具设计。     

构建多尺度深度卷积神经网络行为识别模型

为了减化传统人体行为识别方法中的特征提取过程,提高所提取特征的泛化性能,本文提出了一种基于深度卷积神经网络和多尺度信息的人体行为识别方法。该方法以深度视频为研究对象,通过构建基于卷积神经网络的深度结构,并融合粗粒度的全局行为模式与细粒度的局部手部动作等多尺度信息来研究人体行为的识别。MSRDailyActivity3D数据集上的实验得出该数据集上第11~16种行为的平均识别准确率为98%,所有行为的平均识别准确率为60.625%。结果表明,本方法能对人体行为进行有效识别,基本能准确识别运动较为明显的人体行为,对仅有手部局部运动的行为的识别准确率有所下降。     

浮雕模具的逆向设计及加工

针对以浮雕为主体的模具,提出基于"激光扫描-建模-加工"的逆向设计技术.激光扫描数据生成三角面片模型,对其进行光顺并生成高质量STL.STL导入Artcam软件生成3D模型,利用其矢量设计功能对模型进行设计修改.基于设计的3D模型,提出浮雕模具的加工刀具路径设计方法.该方法可以设计优异的浮雕模具且效率很高.     

基于 Transformer的三维人体姿态估计及其动作达成度评估

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于 Transformer 的三维人体姿态估 计及其动作达成度评估方法。 首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出 并构建了一个基于 Transformer 的三维人体姿态估计模型(TPEM),Transformer 的引入能够更好的提取人体姿态的长时序特征; 其次,利用 TPEM 模型对三维人体姿态估计结果,设计了基于加权 3D 关节角的动态时间规整算法,在时序上对不同人物同一动 作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据 集上进行实验验证,TPEM 在 Human3. 6 M 数据集上实现了平均关节点误差为 37. 3 mm, 而基于加权 3D 关节角的动态时间规 整算法在 Fit3D 数据集上的平均误差帧数为 5. 08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性 和有效性。     

基于Poser的一种三维人体模型参数化方法

根据服装工业对数字化人体模型的需要,提出了一种建立人体参数化模型的新方法。该方法针对特定人体的三维扫描数据,用逆向工程软件Geomagic Studio实现个性化的三维人体NURBS曲面模型的构建,然后将完成后的人体曲面模型导入三维人体造型及动画设计软件Poser中,最后通过Python脚本语言编写程序来实现人体模型的参数化。     

Automatic deformable registration of histological slides to μCT volume data

Localizing a histological section in the three‐dimensional dataset of a different imaging modality is a challenging 2D‐3D registration problem. In the literature, several approaches have been proposed to solve this problem; however, they cannot be considered as fully automatic. Recently, we developed an automatic algorithm that could successfully find the position of a histological section in a micro computed tomography (μCT) volume. For the majority of the datasets, the result of localization corresponded to the manual results. However, for some datasets, the matching μCT slice was off the ground‐truth position. Furthermore, elastic distortions, due to histological preparation, could not be accounted for in this framework. In the current study, we introduce two optimization frameworks based on normalized mutual information, which enabled us to accurately register histology slides to volume data. The rigid approach allocated 81 % of histological sections with a median position error of 8.4 μm in jaw bone datasets, and the deformable approach improved registration by 33 μm with respect to the median distance error for four histological slides in the cerebellum dataset.     

基于激光雷达的无人驾驶系统三维车辆检测

针对无人驾驶系统环境感知中的三维车辆检测精度低的问题,提出了一种基于激光雷达的三维车辆检测算法.通过统计滤波与随机抽样一致算法(Random Sample Consensus,RANSAC)实现地面点云分割,剔除激光雷达数据冗余点及离群点;改进3DSSD深度神经网络,利用融合采样提取点云中车辆语义信息与距离信息;根据特...     

Axial tomographic confocal fluorescence microscopy

By physical rotation of the sample, axial tomography enables the acquisition of otherwise inaccessible spatial information from an object. In combination with confocal microscopy, the method can fundamentally improve the effective three‐dimensional (3D) resolution. In this report we present a novel method for high resolution reconstruction of confocal axial tomographic data. The method automatically determines the relative angles of rotation, aligns the data from different rotational views and reconstructs a single high resolution 3D dataset. The reconstruction makes use of a known point spread function and is based on an unconstrained maximum likelihood deconvolution performed simultaneously from multiple (in our case three) angular views. It was applied to simulated as well as to experimental confocal datasets. The gain in resolution was quantified and the effect of choice of overrelaxation factors on the speed of convergence was investigated. A clearly improved 3D resolution was obtained by axial tomography together with reconstruction as compared with reconstruction of confocal data from only a single angular view.     

基于Kinect骨骼追踪的控制方法的研究

提出了一种基于Kinect骨骼追踪的控制方法,提高了人机交互的效率性和自然性。Kinect有红外发射器和摄像头,所以其能够产生三维数据。Kinect SDK从红外摄像头获取红外数据后,对其进行计算处理,产生景深数据,通过骨骼追踪技术处理景深数据,以匹配人体的各个部分,进而建立人体各个关节的3D坐标;然后利用3D坐标值计算各个关节的转动角度;最后将计算结果发送给被控对象,完成了整个控制过程。此控制方法很好地实现了体感交互,可应用于智能家居、智能教学、工业控制等领域。     

基于改进卷积生成对抗网络的少样本轴承智能诊断方法

轴承样本较少会使模型学习不充分,导致诊断准确性不高。为解决这一问题,构建了一种改进的卷积生成对抗网络,借助生成对抗网络的数据生成能力和改进深层卷积网络的特征提取能力,提高复杂工况下少样本轴承故障诊断准确性。首先,构建了一种深度卷积对抗生成网络,通过生成器和判别器的对抗学习挖掘真实数据的深层特征,用以生成相似的模拟数据,以弥补少样本的不足;其次,将密集块与扩容卷积引入卷积神经网络中,从深度和广度两个方面提升网络的学习能力,挖掘多类别数据中细微差距,增强复杂数据的故障特征提取性能;最后,采用定工况和变转速两种少样本轴承数据进行方法验证与对比分析,结果表明新构建的对抗网络在少样本、含噪声等复杂情形下仍然具有较高的诊断准确率。     

基于改进双流时空网络的人体行为识别

针对传统双流网络无法捕捉视频序列中的时序关系从而导致对时序依赖较大的行为识别效果不理想的问题,提出一种基于改进双流时空网络的人体行为识别算法.首先利用时间移位思想,使卷积神经网络对视频中的时序关系建模,从而高效地捕捉视频中的时空信息;同时使用注意力机制改善由于通道信息在时间轴上移动导致的空间特征学习能力下降的问题;在此...     

基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

基于并联多尺度卷积神经网络的微动脉瘤检测方法

由于视网膜图像中微动脉瘤尺寸小、背景干扰多,导致传统方法检测时准确率低,现阶段的深度学习模型大多针对大尺 寸目标进行检测,存在结构复杂、对小目标的检测效果不佳的问题。 为解决以上问题,提出了一种基于并联多尺度卷积神经网 络的微动脉瘤检测方法。 首先,建立微动脉瘤尺寸与检测用理论感受野之间的对应关系;然后,根据微动脉瘤的类型和尺寸范 围构建包含两个感受野尺度的并行卷积网络;最后,提出了一种基于主动学习的训练集构建与数据增广方式,以提高模型的检 测性能。 方法在两个公开数据集和 1 个自采眼底数据集中进行了对比实验,实验结果表明,该方法能有效实现微动脉瘤的检 测,相比于同类方法对于小尺寸和与血管粘连的微动脉瘤具有更好的检测效果。