人体动作行为识别研究综述

人体动作行为识别因其在视频监控、虚拟现实、人机智能交互等领域的广泛应用而成为计算机视觉领域的研究热点.文中将人体动作行为识别问题归纳为计算机经过检测动作数据而获取并符号化动作信息,继而提取和理解动作特征以实现动作行为分类的过程,在此基础上,从运动目标检测、动作特征提取和动作特征理解3个方面对涉及到的技术进行回顾分析,对相关方法进行分类,并讨论相关难点和研究方向.     

计算机视觉在机器人目标定位中的应用

计算机视觉是一门新兴的发展迅速的学科,计算机视觉的研究已经历了从实验室走向实际应用的发展阶段.由于视觉信息容量大,在实际应用中直观有效,所以运用视觉来寻找和确定目标的方位是机器人发展中一个很重要的方法,近年来它广泛应用于工业自动化装配领域中,同时对视觉系统的要求也越来越高.文中介绍并分析了当前国内外基于视觉的几种主要的目标定位方法在实际中的应用,例如移动机器人自主导航定位系统、手眼立体视觉系统等.     

基于竞争机制的简化双目立体视觉测距算法及系统设计

计算机立体视觉模拟人眼功能,具有探测范围宽、目标信息完整等优势,是近年来计算机视觉的研究热点之一.传统测距方法如超声、红外、激光等有容易受干扰、目标确定困难等缺点,为此提出简化的基于竞争机制的立体图像匹配测距算法,具有运算速度快,硬件要求简单的优点,并制作成双目立体视觉测距硬件系统.通过对实时的双摄像头图像的计算,在PC机上实现双目测距功能.     

基于计算机视觉的运动目标分析

在计算机里面,所谓的计算机视觉的运动目标分析,就是对视频里面的运动目标进行跟踪检测,并对目标进行研究分析,而检测与跟踪是对分析目标和理解目标行为的基础,因此需要重视其中的目标.本文通过计算机视觉分析了跟踪与检测目标等问题,从而为检测和和跟踪视觉运动目标的算法做出重大意义.     

基于早期视觉的算法模型评述

计算机视觉与神经生理学相结合,早期视觉模型与计算相结合,对视觉研究领域具有深远的意义.早期视觉研究处理的视觉信息是视觉系统接受信息的第一步,是视觉研究的基础.它用计算机视觉的实现方式,模拟了视锥通路的早期视觉信息处理模型,验证了生理视网膜在信息处理过程中的特性,分析了视觉神经在信息采集必须充分必要的条件下,硬件复杂度、处理时间与处理精度之间的平衡.     

计算摄像学:核心、方法与应用

针对现有计算机视觉、图形学、信号处理、数字图像处理、应用光学等领域无法通过现有成像模型与装置及计算方法获取足够目标场景信息的难题,计算摄像学研究提出新的成像机制与对应的计算重构方法,在光信号观测领域另辟蹊径,创新性地将视觉信息处理与计算前移至成像过程,从而极大地提高了信息优化计算的自由度,能够在维度、尺度与分辨率上实现质的突破,从而观测到传统成像系统看不清与看不见的场景信息.本文沿着计算摄像学思路、方法与目标三条主线,对国内外研究现状进行分析与综述,期望能够帮助读者更快地了解及进入相关研究.     

基于深度学习的视觉目标检测技术综述

视觉目标检测旨在定位和识别图像中存在的物体,属于计算机视觉领域的经典任务之一,也是许多计算机视觉任务的前提与基础,在自动驾驶、视频监控等领域具有重要的应用价值,受到研究人员的广泛关注。随着深度学习技术的飞速发展,目标检测取得了巨大的进展。首先,本文总结了深度目标检测在训练和测试过程中的基本流程。训练阶段包括数据预处理、检测网络、标签分配与损失函数计算等过程,测试阶段使用经过训练的检测器生成检测结果并对检测结果进行后处理。然后,回顾基于单目相机的视觉目标检测方法,主要包括基于锚点框的方法、无锚点框的方法和端到端预测的方法等。同时,总结了目标检测中一些常见的子模块设计方法。在基于单目相机的视觉目标检测方法之后,介绍了基于双目相机的视觉目标检测方法。在此基础上,分别对比了单目目标检测和双目目标检测的国内外研究进展情况,并展望了视觉目标检测技术发展趋势。通过总结和分析,希望能够为相关研究人员进行视觉目标检测相关研究提供参考。     

基于视觉的三维目标检测算法研究综述

基于视觉的目标检测是环境感知系统的重要组成,一直以来是计算机视觉、机器人等相关领域的研究热点。三维目标检测是在二维目标检测的基础上,增加目标尺寸、深度、姿态等信息的估计。相比于二维目标检测,三维目标检测在准确性、实时性等方面仍有较大的提升空间。系统总结了基于视觉的三维目标检测方法,调研了现有的基于单目视觉、双目、深度相机的三维目标检测方法,并依据室内外场景进行了分类。此外,在KITTI、SUN RGB-D等数据集上对最新的三维目标检测算法进行了对比分析,并针对目前算法中存在的难点和问题,讨论了未来的研究方向。     

基于立体视觉的目标姿态测量技术

基于动态场景分析的计算机视觉系统尤其是对运动目标的运动参数测量已成为计算机视觉研究的热点;建立了基于双目立体视觉的目标姿态测量系统,使用两个摄像机在不同视角对同一目标进行拍摄,采用DLT方法对摄像机标定;对拍摄到的图像进行去噪、滤波,通过立体图像匹配得到特征点在两幅图像中的同名点,姿态参数求解结合DLT算法和立体图像匹配算法,实现了对目标姿态参数的测量,得到了目标的三维姿态信息;实验结果表明,该测量系统结构简单,计算量小,具有较高的测量精度.     

面向计算机视觉系统的对抗样本攻击综述

对抗样本攻击是近年来计算机视觉领域的热点研究方向,通过对图像添加细微的噪声,对抗样本使计算机视觉系统做出错误判断.对抗样本攻击的研究起初重点关注于图像分类任务,随着研究的深入逐步拓展到目标检测、人脸识别等更加复杂的计算机视觉任务中.然而,现有的对抗样本综述缺乏对新兴图像分类攻击方案的梳理总结以及针对目标检测、人脸识别等复杂任务攻击的分析总结.本论文聚焦于计算机视觉系统中的对抗样本攻击,对其理论与前沿技术进行了系统性的综述研究.首先,本论文介绍了对抗样本的关键概念与敌手模型.其次,分类总结和对比分析了对抗样本存在原因的三大类相关假设.再次,根据数字域与物理域两大应用场景,分类概述和对比分析图像分类系统中的对抗样本攻击技术.根据不同的敌手模型,我们进一步地将图像分类任务数字域的攻击方案划分为白盒和黑盒两种场景,并重点总结梳理了新兴的攻击类别.同时,在目标检测、人脸识别、语义分割、图像检索、视觉跟踪五类复杂计算机视觉任务上,根据适用场景分类总结各类任务中的对抗样本攻击方案.进一步地,从攻击场景、攻击目标、攻击效果等方面对于不同攻击方案进行详细地对比分析.最后,基于现有对抗样本攻击方法的总结,...     

视觉跟踪算法综述

随着信息技术与智能科学的迅速发展,计算机视觉已经成为IT产业和高新技术领域的前沿.视觉跟踪是当前计算机视觉领域的热点问题之一.阐述了视觉跟踪算法的研究现状,包括视觉跟踪算法的种类,常用数学方法,研究了基于区域的跟踪算法、基于模型的跟踪算法、基于特征的跟踪算法、基于主动轮廓的跟踪算法、参数估计方法和无参密度估计方法,并探讨了视觉跟踪算法的未来研究方向.     

基于时空增强式交互网络的组合动作识别

组合动作识别是计算机视觉领域一个新的挑战,它旨在识别未见过的动作与物体的组合。传统的动作识别模型往往会在物体外观与动作类别之间建立联系,引入错误的偏置,在面对未见过的动作与物体的组合时性能急剧恶化。现有解决方法是忽视外观信息,以物体的坐标和身份等信息作为输入,建立以物体为中心的模型。受此启发,提出了时空增强式交互模型。首先在基础网络的不同深度提取并聚合多级别物体特征;然后构建物体分支,使用时空增强模块和物体交互模块分别对物体特征进行增强以及建模物体的移动和交互模式;最终将该分支的输出与基础网络的输出融合用于动作分类,使模型兼顾外观信息和物体交互信息。在多个数据集上的广泛实验证明了所提模型的有效性。     

基于深度学习的围栏跨越行为检测方法

在作业现场的安全管理中,对于非施工人员围栏跨越的监管一直是必不可少的.但目前施工场地普遍存在作业面广、施工人员管理困难等问题,导致人工监察的方式效率低下.而基于视频的人体行为检测技术作为计算机视觉领域重要的研究热点,在公共安全监控方面有着广泛应用.因此针对传统人工监察的不足,结合当前计算机视觉技术,提出一种智能化的围栏跨越违规检测与识别方法.该方法通过监控不断获取视频帧,以视频帧组成的剪辑作为输入,使用三维卷积和二维卷积分别提取时序和空间特征,将两部分特征融合后进行分类和边界框回归.最后通过设置对比试验以验证此方法效果,实验结果表明,该方法具有一定的泛化性.     

A survey of human motion analysis using depth imagery

Analysis of human behaviour through visual information has been a highly active research topic in the computer vision community. This was previously achieved via images from a conventional camera, however recently depth sensors have made a new type of data available. This survey starts by explaining the advantages of depth imagery, then describes the new sensors that are available to obtain it. In particular, the Microsoft Kinect has made high-resolution real-time depth cheaply available. The main published research on the use of depth imagery for analysing human activity is reviewed. Much of the existing work focuses on body part detection and pose estimation. A growing research area addresses the recognition of human actions. The publicly available datasets that include depth imagery are listed, as are the software libraries that can acquire it from a sensor. This survey concludes by summarising the current state of work on this topic, and pointing out promising future research directions. For both researchers and practitioners who are familiar with this topic and those who are new to this field, the review will aid in the selection, and development, of algorithms using depth data.     

Computer vision techniques for construction safety and health monitoring

For construction safety and health, continuous monitoring of unsafe conditions and action is essential in order to eliminate potential hazards in a timely manner. As a robust and automated means of field observation, computer vision techniques have been applied for the extraction of safety related information from site images and videos, and regarded as effective solutions complementary to current time-consuming and unreliable manual observational practices. Although some research efforts have been directed toward computer vision-based safety and health monitoring, its application in real practice remains premature due to a number of technical issues and research challenges in terms of reliability, accuracy, and applicability. This paper thus reviews previous attempts in construction applications from both technical and practical perspectives in order to understand the current status of computer vision techniques, which in turn suggests the direction of future research in the field of computer vision-based safety and health monitoring. Specifically, this paper categorizes previous studies into three groups—object detection, object tracking, and action recognition—based on types of information required to evaluate unsafe conditions and acts. The results demonstrate that major research challenges include comprehensive scene understanding, varying tracking accuracy by camera position, and action recognition of multiple equipment and workers. In addition, we identified several practical issues including a lack of task-specific and quantifiable metrics to evaluate the extracted information in safety context, technical obstacles due to dynamic conditions at construction sites and privacy issues. These challenges indicate a need for further research in these areas. Accordingly, this paper provides researchers insights into advancing knowledge and techniques for computer vision-based safety and health monitoring, and offers fresh opportunities and considerations to practitioners in understanding and adopting the techniques.     

基于双流卷积神经网络的改进人体行为识别算法

近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络(Convolutional Neural Network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息。针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧RGB图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入Flow_Net模型;最终将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN在人体行为识别任务上的有效性。     

电影中吸烟活动识别

电影中的活动识别是计算机视觉领域的一个难点问题.传统识别算法受到电影中镜头视角变化、场景变化和光照变化等因素的影响,使得其对于真实场景活动识别的效果较差.针对上述问题,提出一种新颖的基于互信息的组合识别方法.该方法以纯贝叶斯互信息最大化构造初始框架,针对"吸烟"这类极具代表性的动作,将活动的SIFT信息和STIP信息融合得到最优的组合分类器.该方法在电影《咖啡和烟》中进行了测试,实验结果表明,该方法具有很好的鲁棒性,并且很大程度上提高了抽烟活动的识别率.     

基于视觉的人体运动分析综述

基于视觉的人运动分析越来越受到计算机视觉领域研究者的广泛关注,它成为图像分析、心理学、人工智能等领域的研究热点,在智能视频监控、虚拟现实、用户接口、运动分析等方面有着广泛的应用.从运动目标检测、运动目标分类、人体运动跟踪、人体行为识别与描述四个环节综述了人体运动分析的研究现状,分析了存在的一些问题和未来的研究发展方向.     

主动轮廓线模型(蛇模型)综述

在传统的计算机视觉领域,严格的各自独立的分层理论有广泛的影响.这种理论认为,底层的视觉任务的完成只能依赖于从图像本身获得的信息.Kass等人对这种模型提出了挑战,于1987年提出了称为Snake的主动轮廓线模型(active contour model).近10多年来,Snake模型在计算机视觉领域得到了广泛应用,取得了许多重要的进展.该文回顾了近10多年来Snake模型的研究、发展及应用情况,并对未来的发展方向进行了展望.