基于骨架的人体动作识别技术研究进展

近年来,随着深度学习技术的发展,已有很多新颖的基于骨架的人体动作识别算法被提出,极大地推动了该领域的发展.对基于骨架的人体动作识别领域的主要数据集和算法进行全面、细致的总结.首先对NTU,Kinetics-Skeleton和SYSU 3DHOI等骨架相关的数据集进行回顾;然后将基于骨架的人体动作识别算法归纳为基于监督学习的、基于半监督学习的和基于无监督学习的3大类,并对分属不同类别的算法进行介绍和比较;最后分析和总结得出该领域当前面临过度依赖大数据、大算力和大模型等挑战,并针对性地提出缓解以上挑战的3点未来发展方向:高精度骨架数据集建设、细粒度骨架动作识别和数据有效学习的骨架动作识别.     

基于动作捕捉传感器的民族舞蹈动作自动识别系统

针对传统舞蹈动作捕捉和自动识别准确率低的问题,设计一个基于动作捕捉传感器的民族舞蹈动作自动识别系统。系统通过构建人体动作数据库,为人体关节动作模型提供数据参考,利用传感器读取数据后,将读取数据置入三维人体动作模型中,将其与数据库中的标准动作进行匹配,找出舞蹈训练者的错误动作并进行纠正,以此实现舞蹈动作自动识别。测试结果表明,对比于其他动作识别系统,本系统在动作识别角度和关节点定位方面与Kinect标准值间的误差最小,识别准确率高达97.6%,综合分析可知,本系统可实现民族舞蹈动作的精准捕捉和自动识别,具有一定的有效性。     

人体跌倒识别算法研究

为快速有效地获取老人跌倒信息,提出了一种人体跌倒识别算法,以深度序列为基础,通过Kinect提供的骨架关节数据构建人体动作表示模型,将人体动作看作关节运动曲线和速度曲线的集合,引入离散Fréchet距离作为关节运动曲线和速度曲线的相似性测度,使用最近邻(KNN)分类器对动作样本进行分类.在公开数据集SDUFall上进行了实验,结果表明,方法优于已有方法.     

基于姿态校正与姿态融合的2D/3D骨架动作识别方法

针对现有的人体骨架动作识别方法对肢体信息挖掘不足以及时间特征提取不足的问题,提出了一种基于姿态校正模块与姿态融合模块的模型PTF-SGN,实现了对骨架图关键时空信息的充分利用。首先,对骨架图数据进行预处理,挖掘肢体和关节点的位移信息并提取特征;然后,姿态校正模块通过无监督学习的方式获取姿态调整因子,并对人体姿态进行自适应调整,增强了模型在不同环境下的鲁棒性;其次,提出一种基于时间注意力机制的姿态融合模块,学习骨架图中的短时刻特征与长时刻特征并融合长短时刻特征,加强了对时间特征的表征能力;最后,将骨架图的全局时空特征输入到分类网络中得到动作识别结果。在NTU60 RGB+D、NTU120 RGB+D两个3D骨架数据集和Penn-Action、HARPET两个2D骨架数据集上的实验结果表明,该模型能够有效地识别骨架时序数据的动作。     

基于词袋模型的人体动作识别方法

传统词袋模型构建的词典不稳定，且忽略词向量先后顺序，在用其进行人体动作识别时，识别效果不稳定，尤其对倒序动作识别效果不佳。针对这些问题，提出一种基于时空联合频率直方图实现动作分类的方法。提取肢体关键角度信息，把关键角度的帧间差值作为时间特征描述子；构建稳定的时间词袋与空间词袋，利用其联合频率直方图表示动作序列，增强动作时间特性；利用支持向量机(SVM)实现动作分类。在一个具有挑战性的数据集-UTKinect数据集上进行实验，结果表明，相比于传统词袋模型与一些已有方法，该方法能够有效提高动作识别的准确率。     

一种基于骨架序列的老年人摔倒动作识别方法研究

针对现有摔倒检测方法在不同场景下适应性弱、用户体验差、识别率不可靠等缺点,本文提出一种结合门控循环单元和时空注意力模块(STM-GRU)摔倒识别模型,利用骨架数据对摔倒动作进行识别的方法.该方法首先对原始骨架数据进行预处理去除误差数据;然后对人体在米字型8个方向上的摔倒倾斜姿态进行分析,提取骨架空间特征,接着从连续时刻骨架序列中提取时序变化特征,解决了尺度、位移变化问题;最后将时空特征输入STM-GRU,时空注意力模块分别应用注意力机制,模型融合各模块输出张量后进行后续动作识别任务.在自建数据集上的实验结果表明,该方法适用于老年人摔倒动作识别.     

基于Kinect的舞蹈动作姿势辅助识别系统设计

针对舞蹈动作姿势被遮挡等导致识别率低的问题,提出基于Kinect构建舞蹈动作姿势辅助识别系统。该系统首先通过Kinect进行人体骨架的关节跟踪;根据几何分析,进行遮挡关节的判断和修正设计,以提高关节坐标的准确度;通过隐马尔科夫模型进行舞蹈动作姿势识别,并设定通过关节角进行舞蹈动作姿势描述;通过比对训练者和标准舞者的舞蹈动作的姿势差异,获得后续舞蹈训练的改进方向。经实体试验证明,通过关节坐标的轨迹变化曲线和关节角度差异分析,能够直观得到舞蹈训练的改进方向,基本满足舞蹈动作姿势辅助识别是需求。     

面向不平衡数据集的煤矿监测系统异常数据识别方法

异常数据识别对于煤矿安全监测系统具有重要作用,但安全监测系统中异常数据一般只占数据总量的1%左右,不平衡性是此类数据的固有特点。目前多数机器学习算法在不平衡数据集上的分类预测准确率和灵敏度都相对较差。为了能准确识别异常数据,以煤矿分布式光纤竖井变形监测系统采集的数据为研究对象,提出了一种面向不平衡数据集、基于去重复下采样(RDU)、合成少数类过采样技术(SMOTE)和随机森林(RF)分类算法的煤矿监测系统异常数据识别方法。该方法利用RDU算法对多数类数据进行下采样,去除重复样本;利用SMOTE算法对少数类异常数据进行过采样,通过合成新的异常数据来改善数据集的不平衡性;并利用优化后的数据集训练RF分类算法,得到异常数据识别模型。在6个真实数据集上的对比实验结果表明,该方法的异常数据识别准确率平均值达到99.3%,具有较好的泛化性和较强的鲁棒性。     

基于骨架关键关节构建时空金字塔模型的人体行为识别

针对当前骨骼数据信噪比低及特征信息不足的问题,提出人体关键关节构建时空金字塔模型的动作识别方法。该算法利用人体骨架关键关节构建空间域金字塔特征,保留骨架铰链系统的空间结构;利用多层级叠加协方差,构建时序金字塔特征,解决需要预处理视频序列长度的问题。在MSR-Action3D和UTKinect数据集上的实验结果表明,该方法准确率高、实时性好,可广泛应用于行为识别的各个领域。     

基于LSTM神经网络的人体动作识别

人体动作识别为人机合作提供了基础支撑,机器人通过对操作者动作进行识别和理解,可以提高制造系统的柔性和生产效率.针对人体动作识别问题,在三维骨架数据的基础上,对原始三维骨架数据进行平滑去噪处理以符合人体关节点运动的平滑规律;构建了由静态特征和动态特征组成的融合特征用来表征人体动作;引入了关键帧提取模型来提取人体动作序列中...     

基于计算机辅助设计的文物数字化方法研究

文化遗产的数字化为文化遗产的保护、传承和发展提供了新的思路,利用计算机辅助设计和数字化方法将文化遗产进行数字化转换,基于三维扫描仪获取文物点云数据,建立了文物点云数据精简模型,研究了文物三维模型重建方法,构建了文物三维模型的纹理映射机制,给出基于Web技术的文物虚拟展示方案,构建了文物数字化技术路线,最后结合青铜牛尊案例对所研究的关键技术进行说明。     

骨骼信息的人体行为识别综述

基于骨骼信息的人体行为识别旨在从输入的包含一个或多个行为的骨骼序列中,正确地分析出行为的种类,是计算机视觉领域的研究热点之一。与基于图像的人体行为识别方法相比,基于骨骼信息的人体行为识别方法不受背景、人体外观等干扰因素的影响,具有更高的准确性、鲁棒性和计算效率。针对基于骨骼信息的人体行为识别方法的重要性和前沿性,对其进行全面和系统的总结分析具有十分重要的意义。本文首先回顾了9个广泛应用的骨骼行为识别数据集,按照数据收集视角的差异将它们分为单视角数据集和多视角数据集,并着重探讨了不同数据集的特点和用法。其次,根据算法所使用的基础网络,将基于骨骼信息的行为识别方法分为基于手工制作特征的方法、基于循环神经网络的方法、基于卷积神经网络的方法、基于图卷积网络的方法以及基于Transformer的方法,重点阐述分析了这些方法的原理及优缺点。其中,图卷积方法因其强大的空间关系捕捉能力而成为目前应用最为广泛的方法。采用了全新的归纳方法,对图卷积方法进行了全面综述,旨在为研究人员提供更多的思路和方法。最后,从8个方面总结现有方法存在的问题,并针对性地提出工作展望。     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

使用CIDOC CRM构建建筑领域非遗知识本体

非物质文化遗产是人类文明和历史文化的宝贵资源。运用本体技术可以实现非遗资源数字化管理,有利于非遗资源的保护、利用和共享。项目首次将文物保护领域的本体框架CIDOC CRM用于中国传统木结构建筑营造技艺这一非遗领域,并结合建筑领域的特性对CIDOC CRM模型结构进行选择和扩充,定义建筑领域非遗知识本体的概念类及其属性,并在实例化过程中运用TextRank算法处理文本语料,实现本体实例的扩充,将本体模型进行数据映射,存入Neo4j图数据库中,以知识图谱的形式实现可视化展示。实验表明：运用上述方法构建传统建筑非遗知识本体模型是可行的;创建的本体能将各种碎片化知识有效地连接在一起。该方法可用于对领域知识进行管理,将在建筑领域的非遗数字化保护和合理利用方面起到重要作用。     

基于人体骨架特征编码的健身动作识别方法

健身动作识别是智能健身系统的核心环节.为了提高健身动作识别算法的精度和速度,并减少健身动作中人体整体位移对识别结果的影响,提出了一种基于人体骨架特征编码的健身动作识别方法.该方法包括三个步骤:首先,构建精简的人体骨架模型,并利用人体姿态估计技术提取骨架模型中各关节点的坐标信息;其次,利用人体中心投影法提取动作特征区域以...     

文化遗产活化关键技术研究进展

中华民族文化资源丰富、种类繁多且艺术形式多样,源于民族,植根民间,承载着历史记忆,延续着文化血脉,是中华民族的根与魂。文化遗产分布广、流传年代长,具有多样性、独特性和不可再生性等特点,是研究古代人类文明发展的珍贵资料。目前随着信息技术的迅猛发展以及全球化的冲击,其传承形式发生了根本性变化,特别是非物质文化遗产的人际传承方式,因此亟待在资源与媒介、内容与技术之间搭建技术的桥梁,支撑中华文化遗产的数字化传承。本文基于先进的智能计算、数字媒体和虚拟现实/增强现实技术,结合文化遗产的传播过程和艺术特点,对文化遗产收集理解、虚实结合智能展示交互和智慧化平台建设等活化关键技术的发展现状、前沿动态、热点问题和发展趋势进行分析和综述。在文化遗产收集理解方面,针对复杂文物数字化所存在的瓶颈问题,介绍数字化采集与重建关键技术;介绍文化遗产元素、主题和风格等特征提取算法,分析文化遗产的构图特征、分布特征、色彩特征和造型特征等数字化模拟过程中的关键技术,介绍基于语义特征分析、理解和识别的文化遗产理解及建设关键技术。对比和分析传统图形图像处理和深度学习方法在民族文化数字化仿真过程的优缺点,比较算法特点和算法效率...     

基于MobileNetV3与ST-SRU的危险驾驶姿态识别

针对危险驾驶行为引起的交通安全事故频发的现状,提出一种基于MobileNetV3和ST-SRU的危险驾驶姿态识别系统.首先,修改MobileNetV3的网络结构使其适用于人体姿态估计任务,输出关节点的热力图和偏移量图,用来估计J个关节点的二维坐标位置;其次,定义ST-SRU骨架动作识别算法,利用动作的骨架序列数据对动作进行分类.实验结果表明:MobileNetV3姿态估计算法在自建的AI Challenger上肢姿态数据集上测得PCP值(percentage correct parts)达到95.6%,测试1 000次用时仅为5.03 s;利用自建的危险驾驶行为数据集将训练好的姿态估计和动作识别模型移植到嵌入式平台,实现了实时的危险驾驶姿态识别系统.     

节气文化基因的数字化设计

将二十四节气的文化基因融入到数字化设计中,提高用户参与度、积极性,扩大传播范围,加快传播速度,实现对二十四节气文化更好的保护传承。通过感性分析法、形状文法等对节气进行研究后提取节气内涵、色彩及形态基因,结合数字化技术并借助计算机辅助设计手段进行设计。通过李克特五点量表法对同类产品进行对比分析与设计实例《节气宝宝》共同论证将节气文化基因进行数字化设计是可行的。该思路既节约非遗保护成本,又能达到较好保护效果,为其他非遗传承保护提供新的借鉴。     

贵州非物质文化遗产的数据挖掘与分析

贵州省非物质文化遗产极为丰富,蕴涵着贵州各民族特有的精神价值、思维方式、想象力和文化意识,体现着贵州各民族的生命力和创造力。为了更好地发掘和保护贵州非物质文化遗产,通过对贵州省非物质文化遗产保护中心网的数据挖掘,采用词云分析、聚类分析和可视化技术等,对贵州非物质文化遗产的文本数据进行处理,并提取有价值的关键文本信息,为贵州非物质文化遗产的传承和发展提供依据。