拥挤场景下基于密集轨迹对准及其运动影响描述符的异常活动检测

针对现有异常活动检测算法对拥挤场景下的目标跟踪和描述能力不足的问题,文中提出基于密集轨迹对准及其运动影响描述符的算法,捕捉视频目标运动的关键信息.密集轨迹保证对视频运动目标的有效提议,沿着轨迹的方向提取与轨迹对准的运动影响描述符.最后提出完整框架,准确检测全局和局部的异常活动.在UCSD公共数据集上的实验证明文中方法性能较优.     

运动轨迹估计算法在关键人物自动捕获中的应用

关键人物与背景区域的颜色过于接近,造成二者的颜色差异不明显.传统算法是基于相邻图像灰度差值进行关键人物捕获的,无法避免由于关键人物与背景区域颜色差异过小造成的颜色差异不明显的缺陷,降低了关键人物自动捕获的精度.为了解决上述问题,提出了一种基于运动轨迹估计算法的关键人物自动捕获方法,即提取关键人物特征参数,预测关键人物运动轨迹,从而完成关键人物的自动捕获.实验证明,这种算法提高了关键人物自动捕获的准确率,取得了令人满意的效果.     

图表示学习短视频智能推荐研究综述

随着短视频数量的爆发式增长, 精准的个性化短视频推荐成为学术界和工业界的迫切需求。然而,现有的推荐方法没有考虑实际的短视频具有数据多源异构多模态、用户行为复杂多样、用户兴趣动态变化等特点。短视频模态间的语义鸿沟、社交网络用户多行为挖掘、用户动态兴趣捕捉依然是短视频推荐领域面临的三个重要问题。针对当前推荐系统存在的问题,并充分考虑短视频推荐系统的实际需求,本文介绍了短视频推荐中基于图表示学习的短视频推荐方法;研究了短视频异构多模态特征表示,充分挖掘视频内容特征并进行高效融合;研究了短视频社交网络用户多行为表示,通过社交网络用户多种行为挖掘更细粒度的用户偏好;研究了用户的动态偏好表示方法,通过利用时序信息建模用户的动态兴趣,保证推荐结果的准确度并增加其多样性与个性化。本研究可在理论和实践上推进基于图特征学习的短视频推荐研究,也可作为短视频推荐系统的关键技术。     

双人交互行为的稀疏表征方法*

提出一种双人交互行为的稀疏表征方法,融合体现全局变化的轨迹特征和突出区域运动的时空特征。首先,采用词袋模型得到轨迹特征的稀疏表示。然后,对提取的时空特征采用三层时空金字塔分解得到多层特征,并对其进行稀疏编码,利用多尺度Maxpooling算法融合得到局部稀疏特征。最后,将2种稀疏特征加权串联得到双人交互行为的稀疏表征。采用基于隐动态条件随机场的识别算法对文中提取的稀疏表征进行验证,通过实验证明其有效性。     

基于最大化子模和RRWM的视频协同分割

成对视频共同运动模式的协同分割指的是同时检测出两个相关视频中共有的行为模式,是计算机视觉研究的一个热点.本文提出了一种新的成对视频协同分割方法.首先,利用稠密轨迹方法对视频运动部分进行检测,并对运动轨迹进行特征表示;然后,引入子模优化方法对单视频内的运动轨迹进行聚类分析;接着采用基于重加权随机游走的图匹配方法对成对视频运动轨迹进行匹配,该方法对出格点、变形和噪声都具有很强的鲁棒性;同时根据图匹配结果实现运动轨迹的共显著性度量;最后,将所有轨迹分类成共同运动轨迹和异常运动轨迹的问题转化为基于图割的马尔科夫随机场的二值化标签问题.通过典型运动视频数据集的比较实验,其结果验证了本文方法的有效性.     

基于选择性集成旋转森林的人体行为识别算法*

人体行为识别中的一个关键问题是如何表示高维的人体动作和构建精确稳定的人体分类模型.文中提出有效的基于混合特征的人体行为识别算法.该算法融合基于外观结构的人体重要关节点极坐标特征和基于光流的运动特征,可更有效获取视频序列中的运动信息,提高识别即时性.同时提出基于帧的选择性集成旋转森林分类模型(SERF),有效地将选择性集成策略融入到旋转森林基分类器的选择中,从而增加基分类器之间的差异性.实验表明SERF模型具有较高的分类精度和较强的鲁棒性.     

基于动作图的视角无关动作识别

针对视角无关的动作识别,提出加权字典向量描述方法和动作图识别模型.将视频中的局部兴趣点特征和全局形状描述有机结合,形成加权字典向量的描述方法,该方法既具有兴趣点抗噪声强的优点,又可克服兴趣点无法识别静态动作的缺点.根据运动捕获、点云等三维运动数据构建能量曲线,提取关键姿势,生成基本运动单元,并通过自连接、向前连接和向后连接3种连接方式构成有向图,称为本质图.本质图向各个方向投影,根据节点近邻规则建立的有向图称为动作图.通过Na?ve Bayes训练动作图模型,采用Viterbi算法计算视频与动作图的匹配度,根据最大匹配度标定视频序列.动作图具有多角度投影和投影平滑过渡等特点,因此可识别任意角度、任意运动方向的视频序列.实验结果表明,该算法具有较好的识别效果,可识别单目视频、多目视频和多动作视频.     

基于视频的多目标车辆跟踪及轨迹优化

为了获取交通视频中车辆的运动轨迹,提供道路动态交通信息,提出一种基于Yolo3目标检测和KCF目标预测相结合,关联历史轨迹预测结果和检测结果的长时间多目标车辆跟踪算法;对采用机器视觉获取的车辆轨迹非平滑现象,提出通过Savitzky-Golay滤波器对原始的车辆轨迹进行平滑优化。对比测试场景中车辆轨迹优化前后,优化后的轨迹在保留原有车辆运动特征的前提下,改善了轨迹平滑性,提供的动态交通信息更能反映车辆真实运动状况。     

基于深度运动图和密集轨迹的行为识别算法

为了融合深度图中不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于深度运动图（Depth Motion Maps,DMMs）和密集轨迹的人体行为识别算法。利用卷积神经网络训练DMMs数据并提取高层特征作为行为视频的静态特征表示,使用密集轨迹来描述RGB视频序列的动态运动信息,将行为视频的静态特征和动态特征串联,作为整个视频的行为特征表示并输入到线性支持向量机（Support Vector Machine,SVM）进行识别。实验结果表明,在公开的动作识别库UTD-MHAD和MSR Daily Activity 3D上,该算法能够有效提取深度信息和纹理信息,并取得了较好的识别效果。     

车载电子系统中的视频抓拍技术

目前对视频技术的研究与应用主要集中于利用图像处理与模式识别手段对视频图像进行处理,视频抓拍都是以抓拍时间点为起始时间点,所拍摄视频包含的信息缺乏完整性,进而会影响进一步的分析与处理.针对此问题,通过定义时间窗口并利用缓存技术,提出了一种基于Android系统的视频抓拍方案的设计与实现,其关键在于能够提供抓拍时间点之前到之后一定时间段内的视频.测试结果表明,该方案具有较小的时间误差,并占用较少的系统资源,已被应用于量产并投入市场的车载电子系统中,为交通事故责任认定提供了重要依据.     

基于稀疏帧检测的交通目标跟踪

为了获取高速公路交通视频中目标车辆的行驶轨迹,提出一种基于视频的多目标车辆跟踪及实时轨迹分布算法,为交通管理系统和交通决策提供目标车辆交通信息.首先,使用YOLOv4算法检测目标车辆位置及置信度.其次,在不同场景条件下,使用提出的基于稀疏帧检测的跟踪方法,结合KCF跟踪算法,将车辆数据进行关联获取完整轨迹.最后,用车辆分布图和交通场景俯视图显示轨迹,便于交通管理与分析.实验结果表明,提出的跟踪方法在车辆跟踪中有较高的跟踪正确率,同时基于稀疏帧检测的跟踪方法处理速度也较快,实时轨迹分布正确反映了真实场景的车道信息以及目标车辆运动信息.     

A novel compact yet rich key frame creation method for compressed video summarization

Video summarization has great potential to enable rapid browsing and efficient video indexing in many applications. In this study, we propose a novel compact yet rich key frame creation method for compressed video summarization. First, we directly extract DC coefficients of I frame from a compressed video stream, and DC-based mutual information is computed to segment the long video into shots. Then, we select shots with static background and moving object according to the intensity and range of motion vector in the video stream. Detecting moving object outliers in each selected shot, the optimal object set is then selected by importance ranking and solving an optimum programming problem. Finally, we conduct an improved KNN matting approach on the optimal object outliers to automatically and seamlessly splice these outliers to the final key frame as video summarization. Previous video summarization methods typically select one or more frames from the original video as the video summarization. However, these existing key frame representation approaches for video summarization eliminate the time axis and lose the dynamic aspect of the video scene. The proposed video summarization preserves both compactness and considerably richer information than previous video summaries. Experimental results indicate that the proposed key frame representation not only includes abundant semantics but also is natural, which satisfies user preferences.     

Triplet attention multiple spacetime-semantic graph convolutional network for skeleton-based action recognition

Skeleton-based action recognition has recently attracted widespread attention in the field of computer vision. Previous studies on skeleton-based action recognition are susceptible to interferences from redundant video frames in judging complex actions but ignore the fact that the spatial-temporal features of different actions are extremely different. To solve these problems, we propose a triplet attention multiple spacetime-semantic graph convolutional network for skeleton-based action recognition (AM-GCN), which can not only capture the multiple spacetime-semantic feature from the video images to avoid limited information diversity from single-layer feature representation but can also improve the generalization ability of the network. We also present the triplet attention mechanism to apply an attention mechanism to different key points, key channels, and key frames of the actions, improving the accuracy and interpretability of the judgement of complex actions. In addition, different kinds of spacetime-semantic feature information are combined through the proposed fusion decision for comprehensive prediction in order to improve the robustness of the algorithm. We validate AM-GCN with two standard datasets, NTU-RGBD and Kinetics, and compare it with other mainstream models. The results show that the proposed model achieves tremendous improvement.

     

一种基于核聚类的关键帧提取方法

为了在视频数据库中提供有效的视频检索和浏览功能，必须用简明的方式表示视频的内容。关键帧是对视频镜头的简洁表示，关键帧提取已成为视频检索的一个重要研究方向。文中提出了一种基于核聚类的视频关键帧提取方法，它通过对视频提取颜色特征．并将这些特征作为样本映射到高维特征空间之后，在特征空间中进行聚类，使原来没有显现的特征突现出来，自动将内容相似的样本归为同类，每一类可取一个样本代表其内容，这样的样本即为关键帧。实验结果表明这种方法可以较好地概括视频内容。     

融合数据增强的迁移字典学习

提出利用迁移字典解决复杂行为数据集标签样本不足的问题。所提出的方法使用简单行为作为源域,来辅助识别由一系列简单行为组成的复杂行为。通过稠密轨迹提取视频的低级特征,利用字典学习从简单行为和复杂行为的低级特征中分别获得相应的稀疏表示,并利用简单行为的稀疏表示通过迁移矩阵改善复杂行为的稀疏表示。因此,即使在复杂行为标签样本较少的情况下,迁移字典也能够获得更有效的高级特征。同时,利用GAN在特征层面上进行数据增强,帮助学习表征能力更强的字典。提出的方法在UCF101和HMDB51两个数据上进行了实验,在小样本量的情况下获得了比现有方法更好的识别结果,证明了方法的有效性。     

战场电视侦察系统中视频压缩技术及其DSP实现

数字视频压缩是多媒体应用中的关键技术。该文针对战场电视侦察系统的需求提出了一种可行的MPEG-4视频编解码方案,阐述了基于数字信号处理器ADSP21160、数字视频采集芯片Bt829、数字视频合成芯片ADV7175的硬件设计电路以及MPEG-4视频压缩标准的软件程序的算法及其实现。实验表明该文提出的MPEG-4视频编解码器设计方案是可行的。     

基于多特征相似度曲线曲率检测的关键帧提取

网络多媒体的迅猛发展和普及使得对海量视频信息进行快速和低成本管理的需求日益迫切,而关键帧可以大大减少视频索引的数据量,同时也为查询和检索视频提供了一个组织框架。针对现有关键帧提取算法存在的特征选取单一、阈值选择困难和视频类型局限性等问题,提出了一种基于多特征相似度曲线最大曲率点检测的关键帧提取方法。算法利用多特征融合的相似性度量来捕获视频内容的显著变化,弥补了单一特征对视频内容描述不充分的不足,且基于滑动窗口的检测算法无需阈值选择,可以实时、局部地提取关键帧,解决了传统算法计算量大、通用性差的问题。最后通过实验利用一种保真度评估标准验证了该算法的有效性。     

A multi-link system control strategy based on biological reaching movement

In the multi-link arm control process, the problems of trajectory planning and trajectory realization have been recognized as being of key importance. We developed a technique by which to realize a reaching movement control of the multi-link arm system, which was inspired by experimental results for reaching movements of macaques or human beings. The proposed method can treat the effect of the dynamics of the multi-link system and the trajectory planning of the end-effector, which has a bell-shaped speed profile, as well as the difficulties of redundancies of multi-link systems. Two-link arm reaching movement experiments revealed the same features, as demonstrated by the results of biological experiments on humans and macaques. In addition, the results obtained using a two-dimensional four-link model in a standing-up movement control experiment agreed well with 'standing-up from a chair' movement of human beings. Since the proposed method has a simple structure and its implementation process is simple, the proposed method will be effective for use in a multi-link system control strategy.