人的交互行为识别与理解研究综述

人的交互行为识别和理解是计算机视觉研究领域一个备受关注的前沿方向。介绍人与物体的交互行为识别、双人交互行为识别以及多人交互(人群)行为识别和理解方面的最新研究成果和该研究领域的公共数据集。总结了人的交互行为识别与理解研究目前存在的难点问题,并展望了未来可能的发展方向。     

面向复杂场景的人物视觉理解技术

面向复杂场景的人物视觉理解技术能够提升社会智能化协作效率,加速社会治理智能化进程,并在服务人类社会的经济活动、建设智慧城市等方面展现出巨大活力,具有重大的社会效益和经济价值。人物视觉理解技术主要包括实时人物识别、个体行为分析与群体交互理解、人机协同学习、表情与语音情感识别和知识引导下视觉理解等,当环境处于复杂场景中,特别是考虑“人物—行为—场景”整体关联的视觉表达与理解,相关问题的研究更具有挑战性。其中,大规模复杂场景实时人物识别主要集中在人脸检测、人物特征理解以及场景分析等,是复杂场景下人物视觉理解技术的重要研究基础;个体行为分析与群体交互理解主要集中在视频行人重识别、视频动作识别、视频问答和视频对话等,是视觉理解的关键行为组成部分;同时,在个体行为分析和群体交互理解中,形成综合利用知识与先验的机器学习模式,包含视觉问答对话、视觉语言导航两个重点研究方向;情感的识别与合成主要集中在人脸表情识别、语音情感识别与合成以及知识引导下视觉分析等方面,是情感交互的核心技术。本文围绕上述核心关键技术,阐述复杂场景下人物视觉理解领域的研究热点与应用场景,总结国内外相关成果与进展,展望该领域的前沿技术与发展趋势。     

人运动的视觉分析综述

目前，人运动的视觉分析是计算机视觉领域中最活跃的研究主题之一，其核心是利用计算机视觉技术从图像序列中检测，跟踪，识别人并对其行为进行理解与描述，它在虚拟现实，视觉监控，感知接口等领域均有着广泛的应用前景，人运动的视觉分析系统一般遵从下述的处理过程：（1）运动检测，（2）运动目标分类，（3）人的跟踪，（4）行为理解与描述，该文将重点从此四个方面回顾人运动分析的发展水平和常用的处理方法，并对研究难点及未来的发展趋势作了较为详细的分析。     

基于视觉的人行为理解综述*

基于视觉的人体运动分析是计算机领域中备受关注的前沿方向之一,而人行为理解由于在智能监控、人机交互、虚拟现实和基于内容的视频检索等方面有着广泛的应用前景更是成为了未来研究的前瞻性方向之一。行为理解问题一般遵从如下基本过程：特征提取与运动表征;行为识别;高层行为与场景理解。着重从这三个方面逐一回顾了近年来人行为理解研究的发展现状和常用方法,并对当前该研究方向上亟待解决的问题和未来趋势作了较为详细的分析。     

动作识别与行为理解综述

随着“以人为中心计算”的兴起和生活中不断涌现的新应用,动作识别和行为理解逐渐成为计算机视觉领域的研究热点。主要从视觉处理的角度分析了动作识别和行为理解的研究现状,从行为的定义、运动特征提取和动作表示以及行为理解的推理方法3个方面对目前的工作做了分析和比较,并且指出了目前这些工作面临的难题和今后的研究方向。     

基于HMM的无主包裹识别

随着行为理解研究的深入,无主包裹的监测分析受到计算机视觉领域研究者的广泛关注.其核心是利用计算机视觉技术从图像序列中检测、跟踪、识别目标并对其行为进行理解与描述.文中结合智能视频监控的应用需求,为了实现无主包裹识别的智能化,将隐马尔科夫模型方法运用在无主包裹识别中,给出了一个基于HMM的无主包裹识别方案,并进行了图像预处理,对HMM参数训练和识别及其识别性能进行了研究,同时对未来的发展趋势作了总结与阐述.     

基于语义层软件理解的形式化格局识别技术

目前国内外学者在软件理解的研究上多注重于程序的词法层和语法层技术的探索，相应的有程序切片、程序类跟随踪、程序依赖性分析、反汇编与反编译等。但对程序的语义层理解方法进行研究的甚少。该文正是基于上述分析研究了一种软件理解新认识水平——形式化格局识别技术，以行为层状结构的变换来表述程序的语义，进而采用近人类的思维方式来理解并抽取软件的设计决策与体系结构。     

基于视频图像的交通事件自动检测算法综述*

基于视频的交通事件自动检测是近年来计算机视觉和人工智能方面的研究热点。首先分析了交通事件自动检测的研究现状,对其中涉及到的目标检测、目标跟踪以及行为识别与理解进行描述。目标检测和跟踪得到的是底层信息,而实现交通事件的自动检测需对跟踪结果进行更深层次的理解和识别。其次重点介绍了运动理解和行为识别中的HMM（隐马尔可夫模型）方法和SOFM(自组织特征映射神经网络)方法。最后从运动分割和特征提取方面分析了技术难点及解决方案,对可能的研究方向进行一定的预测。     

汉语语音识别技术综述

让人与计算机自由地交谈,机器能听懂人讲话,是汉语语音识别技术最终将实现的目标。进入九十年代,语音识别方面的研究进一步升温。连续语音识别技术正趋于成熟。还出现了诸多实用化的研究方向。今后,将由连续语音识别发展到自然话语识别与理解,并着手解决语音识别中的一系列难题。难度虽然很大,但前景乐观。     

基于SAPI语音识别的研究与应用

一、引言 语音识别以语音为研究对象,它是语音信号处理的一个重要研究方向,是模式识别的一个分支,涉及到生理学、心理学、语言学、计算机科学以及信号处理等诸多领域,甚至还涉及到人的体态语言(如人在说话时的表情、手势等行为动作可帮助对方理解),其最终目标是实现人与机器进行自然语言通信.语音识别技术是2000年至2010年间信息技术领域十大重要的科技发展技术之一.本文充分发挥微软SAPI 5.0的优势,利用SAPI 5.0实现语音识别过程,取得了满意的效果.     

Understanding human behavior from motion imagery

Computer vision is gradually making the transition from image understanding to video understanding. This is due to the enormous success in analyzing sequences of images that has been achieved in recent years. The main shift in the paradigm has been from recognition followed by reconstruction (shape from X) to motion-based recognition. Since most videos are about people, this work has focused on the analysis of human motion. In this paper, I present my perspective on understanding human behavior. Automatically understanding human behavior from motion imagery involves extraction of relevant visual information from a video sequence, representation of that information in a suitable form, and interpretation of visual information for the purpose of recognition and learning about human behavior. Significant progress has been made in human tracking over the last few years. As compared with tracking, not much progress has been made in understanding human behavior, and the issue of representation has largely been ignored. I present my opinion on possible reasons and hurdles for slower progress in understanding human behavior, briefly present our work in tracking, representation, and recognition, and comment on the next steps in all three areas.Published online: 28 August 2003     

Unusual human behavior recognition using evolutionary technique

The vision for surveillance is an important task in many computer vision applications. The monitoring system concerns the tracking and recognition of people, and more generally, the understanding of human behaviors, from image sequences involving humans. Several methods for human tracking and human behavior recognition have been proposed by various researchers. But most of those do not have versatility and flexibility. In this paper, we propose an efficient and robust object tracking algorithm which use the color features, the distance features and count feature based on an evolutionary techniques to measure the observation similarity. And then we will track each person and classify their behavior properties by analyzing their trajectory pattern. We propose multi-layer perceptron based on hybrid genetic algorithm using Gaussian synapse make the recognition algorithm very efficient and robust for classify human behavior by trajectory pattern.     

A survey of advances in vision-based human motion capture and analysis

This survey reviews advances in human motion capture and analysis from 2000 to 2006, following a previous survey of papers up to 2000 [T.B. Moeslund, E. Granum, A survey of computer vision-based human motion capture, Computer Vision and Image Understanding, 81(3) (2001) 231–268.]. Human motion capture continues to be an increasingly active research area in computer vision with over 350 publications over this period. A number of significant research advances are identified together with novel methodologies for automatic initialization, tracking, pose estimation, and movement recognition. Recent research has addressed reliable tracking and pose estimation in natural scenes. Progress has also been made towards automatic understanding of human actions and behavior. This survey reviews recent trends in video-based human capture and analysis, as well as discussing open problems for future research to achieve automatic visual analysis of human movement.     

基于深度学习的人体行为检测方法研究综述

行为检测是视频理解与计算机视觉领域炙手可热的研究内容,备受国内外学者的关注,在智能监控、人机交互等多领域被广泛应用。随着科技的进步,深度学习在图像分类领域取得了重大突破,将基于深度学习的识别方法应用于人体行为检测研究已成为行为检测中的热点。基于此,首先对几种常用于行为检测的数据集,及近几年深度学习在行为检测领域的研究现状进行了介绍;接着分析了行为检测方法的基本流程,以及几种常用的基于深度学习的检测方法;最后,从方法性能优劣、应用前景等方面对人体行为检测方法的尚存问题与未来发展趋势进行了分析和展望。     

广域野生动物追踪系统的设计与实现

随着可穿戴技术和物联网产业的发展，野生动物追踪领域面临革新式的进步。通过对追踪技术的发展进行全面的阐述，设计和实现了基于卫星定位和移动通信技术的野生动物追踪系统。根据安装在动物身上的追踪设备采集的定位、加速度、信号强度等信息，我们开展了初步的系统节能机制、动物行为判断等研究，并对实证实验和系统改进进行讨论。本系统提供了野生动物短时间内活动和行为的监测方法，对物种的生态学研究具有重要的意义。     

基于外观模型的目标跟踪算法研究进展

基于视觉的目标跟踪是模式识别、计算机视觉、机器学习等多个学科的交叉研究课题,在视频监控、视频压缩编码、视频检索、智能交通等领域有着十分广泛的应用。为了使国内外同行对基于外观模型的目标跟踪方法有一个较为全面的了解,对其进行了系统总结。在介绍跟踪算法原理的基础上,重点阐述了两大类基于外观模型的目标跟踪方法:产生式方法和判别式方法,深入讨论了其中的典型算法和研究成果,并对这些算法在公开数据集上的测试结果进行了分析比较,最后展望了该领域未来的发展方向。     

基于RGB和关节点数据融合模型的双人交互行为识别

基于RGB视频序列的双人交互行为识别已经取得了重大进展,但因缺乏深度信息,对于复杂的交互动作识别不够准确。深度传感器（如微软Kinect）能够有效提高全身各关节点的跟踪精度,得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性,提出一种基于RGB和关节点数据双流信息融合的卷积神经网络（CNN）结构模型。首先,利用Vibe算法获得RGB视频在时间域的感兴趣区域,之后提取关键帧映射到RGB空间,以得到表示视频信息的时空图,并把图送入CNN提取特征;然后,在每帧关节点序列中构建矢量,以提取余弦距离（CD）和归一化幅值（NM）特征,将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接,馈送入CNN学习更高级的时序特征;最后,将两种信息源的softmax识别概率矩阵进行融合,得到最终的识别结果。实验结果表明,将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果,在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率,证明了提出的模型对双人交互行为识别的有效性。     

Detection and Recognition of Periodic,Nonrigid Motion

The recognition of nonrigid motion, particularly that arising from human movement (and by extension from the locomotory activity of animals) has typically made use of high-level parametric models representing the various body parts (legs, arms, trunk, head etc.) and their connections to each other. Such model-based recognition has been successful in some cases; however, the methods are often difficult to apply to real-world scenes, and are severely limited in their generalizability. The first problem arises from the difficulty of acquiring and tracking the requisite model parts, usually specific joints such as knees, elbows or ankles. This generally requires some prior high-level understanding and segmentation of the scene, or initialization by a human operator. The second problem, with generalization, is due to the fact that the human model is not much good for dogs or birds, and for each new type of motion, a new model must be hand-crafted. In this paper, we show that the recognition of human or animal locomotion, and, in fact, any repetitive activity can be done using low-level, non-parametric representations. Such an approach has the advantage that the same underlying representation is used for all examples, and no individual tailoring of models or prior scene understanding is required. We show in particular, that repetitive motion is such a strong cue, that the moving actor can be segmented, normalized spatially and temporally, and recognized by matching against a spatio-temporal template of motion features. We have implemented a real-time system that can recognize and classify repetitive motion activities in normal gray-scale image sequences. Results on a number of real-world sequences are described.