基于双流卷积神经网络的改进人体行为识别算法

近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络(Convolutional Neural Network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息。针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧RGB图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入Flow_Net模型;最终将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN在人体行为识别任务上的有效性。     

P2P网络中基于矢量空间的分布式信任模型

传统安全方案已无法解决P2P网络中诸如服务欺骗和节点滥用资源的问题．基于信誉的信任系统可以抑制该类恶意行为，但容易受到节点有策略的改变服务质量和提供不诚实回馈信息的攻击．借助社会网络信任关系模型，利用“时间敏感因子”来提高信任模型检测节点行为的敏感性，通过基于矢量空间模型的推荐可信度来防止节点的串谋和诋毁攻击，从而构建了一个基于矢量空间的分布式信任模型，并基于R-Chain给出了该模型的分布式实现方案．模拟实验和分析表明，该模型简单有效，且具有较好的工程可行性．     

基于轨迹分段LDA主题模型的视频异常行为检测方法

基于目标轨迹的异常行为检测算法忽略了轨迹内部信息,容易导致异常检测虚警率偏高。为解决该问题,提出一种基于轨迹分段主题模型的视频异常行为检测方法。首先将目标原始轨迹根据轨迹转角分段,然后采用分段量化的方式提取轨迹片段中包含的行为特征信息,接着通过潜在狄利克雷分配(LDA)主题模型建模发掘目标轨迹之间的时空关系,最后通过学习所构建的模型并结合贝叶斯理论进行行为模式分析和异常行为检测。分别对两个视频场景进行了目标行为模式分析和异常行为检测的仿真实验,检测出了场景内多种异常行为模式。实验结果表明,通过结合轨迹分段与LDA主题模型,该算法能够充分挖掘目标轨迹内部的行为特征信息,识别多种异常行为模式,并且能提高对异常行为检测的准确率。     

基于主题隐马尔科夫模型的人体异常行为识别

针对基于监控视频的人体异常行为识别问题,提出了基于主题隐马尔科夫模型的人体异常行为识别方法,即通过无任何人工标注的视频训练集自动学习人体行为模型,并能够应用学到的人体行为模型实时检测异常行为和识别正常行为。这一方法主要围绕"低层视频表示-中层语义行为建模-高层语义分类"3个方面进行:1)基于时-空间兴趣点构建了一种紧凑的和有效的视频表示方法。2)提出一种新颖的语义主题模型(Topic Model,TM)——主题隐马尔科夫模型(Topic Hidden Markov Model,THMM),它能够自然地分组视频中检测到的人体行为。主题隐马尔科夫模型基于已有的马尔科夫模型和主题模型构造,不但聚类运动词汇成简单动作,而且聚类简单动作成全局行为,同时建模了行为时间上的相关性。THMM是一个4层贝叶斯主题模型,它将视频序列建模为行为的马尔科夫链,同时行为是视频序列中某些视频剪辑(Clip)的概率分布;将视频剪辑建模为动作的随机组合,同时动作是视频剪辑中运动词汇的概率分布。克服了传统隐马尔科夫模型和主题模型在人体复杂行为建模过程中精度、鲁棒性和计算效率上的不足。3)提出运行时累积的异常性测度及其在线异常行为检测方法和基于在线似然比检验(Likelihood Ratio Test,LRT)的实时正常行为分类方法,从而克服了实时行为识别过程中由于缺乏充分的视觉证据而引发的行为类型歧义,能完较好地完成监控场景中实时异常行为检测和在线正常行为识别的任务。取自实际监控场景的实验数据集上的实验结果证明了本方法的有效性。     

基于视频六维分布模型的运动对象分割

视频运动对象检测是智能安全监控的基本问题。考虑视频的时间空间分布规律，该文构造了视频六维分布模型以进行运动对象分割。在时间维上利用在线高斯混合模型对背景进行更新，并且计算像素颜色差异。在空间维上利用纹理特征描述像素点之间结构关系，提高了对光线变化和阴影等环境变化的抗干扰能力。实验结果表明该算法是实用有效的。     

用于态势估计的一种构造贝叶斯网络参数的方法

根据态势估计的特点和要求，采用Leaky noisy-or gate模型的方法构造，并将其应用于整个贝叶斯网络中。该方法以离散变量集为研究对象，由于满足构成Leaky noisy-or gate模型的条件，能够利用部分统计信息构造节点的网络参数。文中利用相关的贝叶斯网络推理软件进行了实验。实验结果表明，使用Leaky noisy-or gate模型的方法，对网络参数进行构造是可行的。     

全景视频信息空间模型

全景视频是一种以３６０度实景全景图像为基础来构造虚拟环境的技术，本文讨论了利用它来建立一个可操作、可漫游的虚拟信息空间，并就如何建立该空间模型进行研究。该空间具有立体显示和三维虚拟声音，能够组织、存取、操作和表现多媒体空间数据。     

基于扩展时间对象Petri网的粗糙网络攻击模型

为了解决复杂网络中相似攻击手段和相似节点对象在攻击模型中造成冗余的问题,提出一种基于脆弱关联模型的粗糙网络攻击建模方法。在攻击变迁域和节点对象域上定义属性集,将相似的攻击方式和网络节点分类,形成论域Petri网上的类空间。通过定义路径相似度,利用蚁群算法找出所有可达攻击目标的特征路径,并在这些特征路径中找出给目标节点带来最大威胁的攻击路径。实验证明,该方法能够快速地定位实时监控信息中涉及的节点对象和攻击方式,在各种特征攻击路径中准确找到其所在位置。     

基于运动模式分析的异常行为检测

提出了一种基于运动模式分析的无监督方法用于对视频中的异常行为进行检测。为了有效描述视频场景中的各种目标信息，对每个前景像素点提取了时空描述符，再结合块区域信息并通过词袋模型生成视觉单词，对视频进行表示。提出了一种稀疏主题模型，用以获取视频中的运动主题。通过该模型可以查找出视频中典型的运动模式，并可以此对各视频文件进行编码。通过分析重构精度和运动模式组成对测试视频文件进行检测，判断其中是否包含异常行为。实验在QMUL数据集上进行，实验结果证明了所提方法的有效性。     

基于几何元素的城市三维地理信息系统空间数据模型

空间数据模型是城市三维地理信息系统建立的核心问题。基于不同的城市空间对象划分方法,提出了城市三维地理信息系统的十八个空间数据模型:把空间现象抽象为六类对象:点对象、线对象、规则面对象、规则体对象、不规则对象和DTM,基于六种几何元素(点、直线段、多边形、函数构造面、TIN面片、规则体素)的不同组合,提出了城市三维地理信息系统的九个空间数据模型;把空间现象抽象为五类对象:0维空间对象(点对象)、一维空间对象(线对象)、二维空间对象(面对象)、三维空间对象(体对象)和DTM,基于六种几何元素的不同组合提出了八个空间数据模型;把空间现象抽象为0维对象(点对象)、一维对象(线对象)、二维对象(面对象)、三维对象(体对象)、DTM,基于点、直线段、TIN面片、多边形、规则面、不规则面六类几何元素提出了一个空间数据模型。通过对一个数据模型的实验验证和各模型的理论分析,表明了模型的特点及可行性。     

Tracking Motion, Deformation, and Texture Using Conditionally Gaussian Processes

We present a generative model and inference algorithm for 3D nonrigid object tracking. The model, which we call G-flow, enables the joint inference of 3D position, orientation, and nonrigid deformations, as well as object texture and background texture. Optimal inference under G-flow reduces to a conditionally Gaussian stochastic filtering problem. The optimal solution to this problem reveals a new space of computer vision algorithms, of which classic approaches such as optic flow and template matching are special cases that are optimal only under special circumstances. We evaluate G-flow on the problem of tracking facial expressions and head motion in 3D from single-camera video. Previously, the lack of realistic video data with ground truth nonrigid position information has hampered the rigorous evaluation of nonrigid tracking. We introduce a practical method of obtaining such ground truth data and present a new face video data set that was created using this technique. Results on this data set show that G-flow is much more robust and accurate than current deterministic optic-flow-based approaches.     

Coupled object detection and tracking from static cameras and moving vehicles

We present a novel approach for multi-object tracking which considers object detection and spacetime trajectory estimation as a coupled optimization problem. Our approach is formulated in an MDL hypothesis selection framework, which allows it to recover from mismatches and temporarily lost tracks. Building upon a multi-view/multi-category object detector, it localizes cars and pedestrians in the input images. The 2D object detections are converted to 3D observations, which are accumulated in a world coordinate frame. Trajectory analysis in a spacetime window yields physically plausible trajectory candidates. Tracking is achieved by performing model selection after every frame. At each time instant, our approach searches for the globally optimal set of spacetime trajectories which provides the best explanation for the current image and all evidence collected so far, while satisfying the constraints that no two objects may occupy the same physical space, nor explain the same image pixels at any time. Successful trajectory hypotheses are then fed back to guide object detection in future frames. The resulting approach can initialize automatically and track a large and varying number of objects from both static and moving cameras. We evaluate our approach on several challenging video sequences with both a surveillance-type scenario and a scenario where the input videos are taken from a moving vehicle.     

基于运动轨迹的视频检索方法

基于内容的视频检索是目前多媒体检索领域中的一个重要课题,由于视频体现了图像中对象的动态特征,因此如何提取视频对象的运动特征并且用于检索成为基于内容视频检索研究的热点.利用改进的8方向链码编码对视频对象运动轨迹进行编码,重点突出了对象运动的变化特征,同时采用归一化编码技术,增强了改进编码方法对尺度和旋转变换的鲁棒性.最后采用编辑距离来度量运动轨迹的相似性测度,实验结果表明,该算法能够有效地检索出运动轨迹相似的视频片断.     

一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法

Egocentric视频具有目标运动剧烈、遮挡频繁、目标尺度差异明显及视角时变性强的特点，给目标跟踪任务造成了极大的困难。本文从重建不同视角Egocentric视频中各目标的运动轨迹出发，提出一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法，该方法基于多视角同步帧之间的单应性约束解决目标遮挡和丢失问题，然后根据多视角目标空间位置约束关系通过轨迹重建进一步优化目标定位，并采用卡尔曼滤波构建目标运动模型优化目标运动轨迹，在BJMOT、EPLF-campus4数据集上的对比实验验证了本文算法在解决Multi-Egocentric视频多目标跟踪轨迹不连续问题的有效性。     

基于运动补偿的三维小波视频编码

提出了一种新的基于运动补偿的三维小波视频编码方案。通过对原始图象序列沿着运动轨迹进行时间维小波分解以及空间上的二维小波分解，得到不同的时间－空间三维频率子带。然后，将这些子带中的小波系数构成三维方向等级树结构，并采用改进的ＳＰＩＨＴ零树编码算法进行压缩。实验表明，此方法不仅提高了视频编码效率，而且易于进行码率控制，以及实现时间、空间分辨率上的可伸缩编码     

基于AdaBoost的公交客流量统计算法

为解决复杂场景目标识别中伪目标的干扰问题,采用基于AdaBoost分类的方法分析疑似目标的三维轨迹,结合真实目标的共有的特征信息,进一步分类真实目标与伪目标。首先,根据深度相机获取的深度图像提取疑似目标的人头区域,利用Kalman滤波跟踪得到的二维轨迹。其次,通过摄像机标定将目标的二维轨迹转换为空间中的三维轨迹。最后,利用AdaBoost训练正负样本得到强分类器,进一步分类真实目标与伪目标。实验结果表明,该方法能够有效的提高目标识别的精度,对复杂场景下的目标识别具有良好的适应性。     

Orientation in manhattan: equiprojective classes and sequential estimation

The problem of inferring 3D orientation of a camera from video sequences has been mostly addressed by first computing correspondences of image features. This intermediate step is now seen as the main bottleneck of those approaches. In this paper, we propose a new 3D orientation estimation method for urban (indoor and outdoor) environments, which avoids correspondences between frames. The scene property exploited by our method is that many edges are oriented along three orthogonal directions; this is the recently introduced Manhattan world (MW) assumption. The main contributions of this paper are: the definition of equivalence classes of equiprojective orientations, the introduction of a new small rotation model, formalizing the fact that the camera moves smoothly, and the decoupling of elevation and twist angle estimation from that of the compass angle. We build a probabilistic sequential orientation estimation method, based on an MW likelihood model, with the above-listed contributions allowing a drastic reduction of the search space for each orientation estimate. We demonstrate the performance of our method using real video sequences.     

空心涡轮叶片CAD模型与CT切片模型的配准研究

针对利用三维CT设备对空心涡轮叶片进行无损检测时存在的定位偏差问题,提出了一种基于三维数字样品的图像模型匹配方法,这对于充分利用有关叶片的先验知识,建立叶片无损检测专家系统具有重要的意义。该方法首先通过图像模型的一阶矩,进行灰度重心匹配;然后将叶片的图像模型与其CAD理论模型之间的残差平方和定义为优化目标函数,采用黄金分割方法搜索其极小值;同时利用叶片上预先指定的结构特征,求出空间变换的位置匹配参数和角度匹配参数,最后根据匹配参数精确地建立起从叶片CT切片模型到其CAD理论模型的空间变换。仿真结果表明:该方法不依赖于初始参数的选取,可达到满意的精度。     

基于三角函数迭代的视频数据特征提取

在计算机视觉研究中,基于视频数据进行图像对象识别逐渐增多。针对视频数据 的特征提取,提出了一种基于三角函数迭代提取视频三维迭代轨迹特征的方法。该方法是考虑 视频数据的时间空间维度,利用三角函数构造三维动力系统,整体一次性进行视频段数据特征 的抽取,提取出一种近似混沌吸引子的三维特征点集,这种视频数据迭代特征实际上是迭代轨 迹点集合。以VidTIMIT 数据集进行人脸识别实验,发现增加初始迭代值的个数,减少迭代次 数后,提取出的特征点集合具有更好的效果。当VidTIMIT 的43 组559 个视频全部参与实验, 识别率达到88.16%,与现有文献中记载的其他方法相比,具有识别率高、计算时间少的特点, 初步证实了该三维视频迭代轨迹特征具有实用性,同时也值得进一步研究验证与分析。     

视频增强的新方法

本文使用张量的方法推导了基于仿射空间的免标定增强现实方法,该方法不需要像机的标定参数和环境对象的3D位置信息就可实现视频增强。同时,本文也提出了在仿射空间解决增强现实中遮挡问题的新方法,给出了基于免标定增强现实的视频增强主要想法和应用实例。结果表明,这个方法是可行的。