一种适用于动态场景的运动目标提取新算法

在动态场景中提取运动目标是开展视频分析的关键问题,也是当前计算机视觉与图像处理技术领域中的热门课题。本文提出了一种适用于动态场景的运动目标提取新算法,算法先根据摄像机全局运动模型计算全局运动参数,再利用三帧差分法得到分割的前景。将分割为背景的像素点映射到邻近帧,求得各帧的像素点为背景时其高斯模型的均值及方差。最后利用粒子滤波预测出下一帧前景区域,计算各像素点为前景的概率,获得运动目标的视频分割结果。实验表明,本文算法有效地克服了由于全局运动模型参数估算偏差而导致的累积误差,能以更高精度实现跳水运动视频中的目标分割。     

一种中心反射折射直线像的拟合方法

直线在中心反射折射摄像机下的像是一条二次曲线.由于存在遮挡,准确地拟合直线像是非常困难的,从而影响了摄像机的标定精度.目前,这一问题仍然没有得到有效的解决.此外,根据中心反射折射摄像机成像模型发现,如果可见弧上图像点的对极点已知,可以大大提高直线像的拟合精度.为此,提出了一种新的拟合直线像的方法,该方法适用于包括抛物反射折射摄像机在内的所有中心反射折射摄像机.首先,推导出一种新的关于对极图像点与摄像机主点之间的关系;然后,通过这种关系建立目标函数,用来优化得到直线像的方程;最后,利用拟合的直线像估计摄像机的内参数,以此评价拟合算法的性能.大量模拟实验和真实实验均验证了拟合算法的有效性,即提出的拟合算法不仅鲁棒,且提高了直线像的拟合精度,进而提高了摄像机的标定精度.     

视频序列的全景图拼接技术

提出了一种对视频序列进行全景图拼接的方法。主要讨论了有大面积的非刚性运动物体出现的序列，不过此方法也同样适用于无运动物体的纯背景序列。为计算各帧间的投影关系，用仿射模型来描述摄像机运动，并用特征点匹配的方法计算出模型中各参数的值。由于用相关法计算的匹配结果准确率比较低，所以用RANSAC（Random Sampling Consensus）对匹配结果进行了筛选，可以准确求出摄像机运动参数。利用运动参数进行投影，然后用多帧相减并求交集，估计出每帧图像中运动物体存在的区域，最后计算得到了全景图。该方法的结果与前人得到的结果进行了比较，证明用此方法能获得质量较高的全景图。     

基于双目视觉的水下海参尺寸自动测量方法

水下捕捞机器人在进行海参捕捞作业时,需要对海参进行精选分级。然而光视觉系统在水中的折射现象严重影响了海参尺寸的精确测量。因此,利用水下双目标定方法,求解水下相机模型参数,消除水下光线折射造成的图像失真,并在此基础上,提出了一种水下海参自动检测与尺寸测量方法。在左目矫正图像上,利用预先训练的YOLOv3海参检测模型,进行海参自动检测和感兴趣区域定位,并利用双目矫正图像构建当前水下场景深度信息。利用融合颜色和场景深度信息的高斯模型,构建新颖的GrabCut-RGBD图像分割方法,在感兴趣区域上分割二维海参目标。利用凸包与旋转卡壳算法,在海参目标图像上寻找最佳尺寸测量点,通过三角测量获取最佳测量点三维坐标,实现海参尺寸的自动测量。实验结果表明,所提方法在0.5～1.5 m范围内平均误差为1.65%,能较好地实现海参尺寸的水下测量。     

海面目标运动速度的视觉估计方法

为方便快速地实现对平面直角导航坐标系下匀速直航海面目标的速度测量,提出一种立体视觉估计方法。该方法首先基于计算机视觉理论标定得到摄像机参数(包括内参数及外参数),建立立体视觉测量数学模型,然后利用光电成像设备连续获取目标图像序列,结合图像目标特征角点信息测量被测目标相对距离,同时计算得到不同时刻目标方位。在此基础上,根据目标运动几何关系,采用拟线性方法处理目标运动方程,最后实现对目标速度的最小二乘估计。通过大量仿真实验,研究了不同初始条件对目标速度估计性能的影响。结果表明,对于3000m以内航速在10Kn~30Kn的海面目标,估计精度优于0.2m/s。该方法要求简单,便于实现,所得结论可为岸基监控海面目标或水下隐蔽观测站仅利用图像信息快速判断被测目标运动态势及作战决策提供参考。     

基于非线性运动和空间一致的多摄像机运动员跟踪

运动员跟踪是体育视频理解领域中构建复杂运动分析系统的关键技术。针对体育视频跟踪研究中存在的目标遮挡频繁、运动速度突变问题,提出了一种基于非线性运动模型和空间一致性的多摄像机多运动员跟踪方法。在局部轨迹关联部分通过无迹卡尔曼滤波对运动员的非线性运动模型进行估计,并利用跟踪丢失到恢复匹配之间的检测结果建立虚拟轨迹作为辅助观测值,能够平衡跟踪精确度和鲁棒性。在跨摄像机轨迹关联部分,利用多个摄像机的局部轨迹在全局平面图中的投影轨迹的空间一致性得到全局轨迹。还利用开源的谷歌足球增强学习环境制作合成的足球运动员跟踪数据集。实验证明本文提出的方法能够有效提升运动员在遮挡情况下的跟踪效果,多目标跟踪精度达到了71.5%,同时消融分析证明了合成数据在此研究领域的有效性。     

基于教室监控视频的学生位置检测和人脸图像捕获算法

实现一个基于课堂监控视频的学生位置检测和学生人脸图像获取系统。本系统由一个定焦全景摄像机和一个PTZ(平移(Pan)、倾斜(Tilt)、变焦(Zoom))摄像机组成。首先利用全景摄像机获得教室全景图像，针对实际课堂环境中的光线突变，提出基于帧间差的异常光线排除算法，实现异常光线监测和动态空教室图像检测与存储；使用HR网络结构对全景图像进行人脸检测，得到人脸检测框集合；针对非约束环境中学生因姿势变化和人脸遮挡、全景图像分辨率低等因素引起人脸信息缺失而导致人脸检测漏检问题，提出基于人体头肩特征的加权运动目标检测算法，得到目标检测框，提高人脸信息缺失的学生位置检测率；针对多种检测框的大量冗余，提出多种检测框加权融合算法，有效减少检测框的重复，得到学生人物检测框集合。然后，将学生人物检测框包含的位置信息传递至PTZ摄像机控制子系统，使PTZ逐个聚焦目标学生，捕获到清晰的学生人脸图像，为后续的人脸识别提供高质量的图像。     

基于运动矢量的摄像机运动定性分类方法

在视频序列中,摄像机运动在某种程序上反映了当前视频的语分语义信息,知道了摄像机运动将能够取更好的实现对视频的游览以及检索,针对现有的依据光流分布来摄像机运动参数算法中的不足,给出了一种定性分析相机运动的方法,该方法能够在相机聚焦中心－ＦＯＥ（focus-of-expansion)不在成像平面中心时检测出给定类型的摄像机运动,实验结果表明该方法对于从视频序列中分析出给定类型的摄像机运动具有较的效果。     

一种受雨滴影响的运动目标检测方法

提出一种在户外受雨滴影响的视频场景中检测运动目标的方法.在R,G,B空间构建雨滴在视频中的成像模型,该模型可以计算受雨滴影响像素的亮度变化值.能够有效克服现有模型只能针对某些特定类型雨滴进行辨识的局限性.在使用基于颜色信息的雨滴成像模型基础上,提出运动目标检测函数,此函数可以有效抑制雨滴产生的干扰.实验结果表明,提出的雨滴成像模型和相应的检测函数与现有模型比较,能够适用于多种不同受雨滴影响的图像序列采样环境,对于运动目标具有更好的分辨能力,并有更强的鲁棒性.     

非结构化道路中基于均质雾天的摄像机动态标定算法

现有的交通摄像机标定算法大多基于车道线长度、车辆尺寸等先验信息,由于在非结构化道路中往往不存在车道线,使得标定算法具有局限性.为了改进摄像机标定在非结构化道路中的适用性,结合摄像机线性模型与均质雾天,提出一种只包含路面以及运动车辆的摄像机动态标定算法.首先生成并更新背景和场景活动图,提取路面、天空的纹理特征,利用区域搜索算法得到感兴趣区域,并根据感兴趣区域的像素变化规律判断当前天气是否为均质雾天;其次根据暗原色先验原理计算场景透射率,将结果映射到[0,255]作为图像显示;最后结合均质雾天光线传输模型、摄像机线性模型和暗原色先验原理导出标定方程,选取路面上具有特定透射率的8个点生成2个一次方程、1个二次方程和1个三角方程,依次标定摄像机参数,将视频多帧图像标定的参数值平均得到准确值.与角点检测法、摄像机6点标定法以及基于消失点的标定算法进行对比的实验结果表明,该算法是有效的且满足视频的实时性处理要求.     

运动目标三维轨迹可视化与关联分析方法

随着治安监控系统的普及,越来越多的监控摄像头被安装在各个交通道路和公共场所中,每天都产生大量的监控视频.如今,监控视频分析工作主要是采用人工观看的方式来排查异常,以这种方式来分析视频内容耗费大量的人力和时间.目前,关于视频分析方面的研究大多是针对目标个体的异常行为检测和追踪,缺乏针对对象之间的关联关系的分析,对视频中的一些对象和场景之间的关联关系等还没有较为有效的表示和分析方法.针对这一现状,提出一种基于运动目标三维轨迹的关联视频可视分析方法来辅助人工分析视频,首先对视频资料进行预处理,获取各个目标对象的运动轨迹信息,由于二维轨迹难以处理轨迹的自相交、循环运动和停留等现象,并且没有时间信息就难以对同一空间内多个对象轨迹进行的关联性分析,于是结合时间维度对轨迹进行三维化扩展.该方法支持草图交互方式来操作,在分析过程中进行添加草图注释来辅助分析.可结合场景和对象的时空关系对轨迹进行关联性计算,得出对象及场景之间的关联模型,通过对对象在各个场景出现状况的统计,结合人工预先设定的规则,可实现对异常行为报警,辅助用户决策.     

多介质下空间目标的视觉测量

基于计算机视觉的无接触三维测量原理和光的折射定律,提出一种多介质下空间目标视觉测量方法。采用多相机捆绑调整及多角度相互校正,通过双目立体视觉技术结合光线在多介质中发生两次折射的数学模型对运动体上各标志点进行测量,获取各标志点的三维空间坐标,经平面拟合、坐标转换,最终解算得到运动体六自由度空间坐标。实验结果表明,该方法适用于多介质视觉测量,具有较高的测量精度和良好的稳定性。     

A theoretical 2D image model for locating 3D targets

To construct a water quality monitoring system, challenging issues need to be addressed regarding the acquisition of target information (e.g. 3D location and occlusion) as well as the behavioural analysis of aquatic organisms. This paper presents a novel 3D information acquisition and location method, by means of an information acquisition platform consisting of a monitoring terminal, frame grabbers, a single camera and a single mirror. Using this platform, we propose a theoretical 2D image model for locating 3D targets and then validate it using data obtained from both real and artificial fish. The proposed model is based on the principles of light refraction, plane mirror imaging, underwater objects and camera imaging as well as the technologies of digital to analog conversion and object segmentation. In contrast with existing methods, our method can accurately reflect 3D information of aquatic organisms, thus providing critical technical support for the development of water quality monitoring systems in the future.     

Continuous localization and mapping of a pan–tilt–zoom camera for wide area tracking

Pan–tilt–zoom (PTZ) cameras are well suited for object identification and recognition in far-field scenes. However, the effective use of PTZ cameras is complicated by the fact that a continuous online camera calibration is needed and the absolute pan, tilt and zoom values provided by the camera actuators cannot be used because they are not synchronized with the video stream. So, accurate calibration must be directly extracted from the visual content of the frames. Moreover, the large and abrupt scale changes, the scene background changes due to the camera operation and the need of camera motion compensation make target tracking with these cameras extremely challenging. In this paper, we present a solution that provides continuous online calibration of PTZ cameras which is robust to rapid camera motion, changes of the environment due to varying illumination or moving objects. The approach also scales beyond thousands of scene landmarks extracted with the SURF keypoint detector. The method directly derives the relationship between the position of a target in the ground plane and the corresponding scale and position in the image and allows real-time tracking of multiple targets with high and stable degree of accuracy even at far distances and any zoom level.     

Camera calibration for a mobile robot prototype

Stereovision is an effective technique to use a CCD video camera to determine the 3D position of a target object from two or more simultaneous views of the scene. Camera calibration is a central issue in finding the position of objects in a stereovision system. This is usually carried out by calibrating each camera independently, and then applying a geometric transformation of the external parameters to find the geometry of the stereo setting. After calibration, the distance of various target objects in the scene can be calculated with CCD video cameras, and recovering the 3D structure from 2D images becomes simpler. However, the process of camera calibration is complicated. Based on the ideal pinhole model of a camera, we describe formulas to calculate intrinsic parameters that specify the correct camera characteristics, and extrinsic parameters that describe the spatial relationship between the camera and the world coordinate system. A simple camera calibration method for our CCD video cameras and corresponding experiment results are also given. This work was presented in part at the 7th International Symposium on Artificial Life and Robotics, Oita, Japan, January 16–18, 2002     

Online underwater optical mapping for trajectories with gaps

This paper proposes a vision-only online mosaicing method for underwater surveys. Our method tackles a common problem in low-cost imaging platforms, where complementary navigation sensors produce imprecise or even missing measurements. Under these circumstances, the success of the optical mapping depends on the continuity of the acquired video stream. However, this continuity cannot be always guaranteed due to the motion blurs or lack of texture, common in underwater scenarios. Such temporal gaps hinder the extraction of reliable motion estimates from visual odometry, and compromise the ability to infer the presence of loops for producing an adequate optical map. Unlike traditional underwater mosaicing methods, our proposal can handle camera trajectories with gaps between time-consecutive images. This is achieved by constructing minimum spanning tree which verifies whether the current topology is connected or not. To do so, we embed a trajectory estimate correction step based on graph theory algorithms. The proposed method was tested with several different underwater image sequences and results were presented to illustrate the performance.     

The invariant features-based target tracking across multiple cameras

Target tracking across lenses is a popular research topic for video surveillance recently. This paper presents a method of target tracking across lenses with overlap regions. First, the target detection and tracking are completed with a single camera. Second, in order to obtain the location-invariant feature of the same target in the images with various cameras, the camera calibration is completed based on a three-dimension (3D) model. After that, for all images via multiple cameras, the coordinates of the 3D model are unified. Finally, referring to the assumption of spatial and temporal consistency of the target location across multiple cameras, the association among detected objects for the same target with different cameras is established. And a feature pool is built which contains perspective and scale features. Thus the same target is continuously tracked across multiple lenses. At last, the performance of the proposed approach is compared with KSP and PABC and demonstrated with indoor and outdoor experiments.     

机器视觉在物体位姿检测中的应用

研究了机器视觉技术在物体位姿检测中的应用.从两个方位架设工业相机采集目标图片,采用张正友基于2D平面靶标的相机标定方法对相机进行标定.使用目标图像减去背景图像和形态学运算的方法进行粗定位,初步检测目标区域.利用Hough变换检测目标直线边缘,依据极线约束原则、灰度相似性以及直线约束进行边缘直线及其端点的匹配.计算出各直线端点的空间三维坐标及其单位方向向量.在已知目标模板的条件下,目标的几何参数已知,利用简单的几何关系求取目标的位姿数据.