融合时空图卷积的多人交互行为识别

目的 多人交互行为的识别在现实生活中有着广泛应用。现有的关于人类活动分析的研究主要集中在对单人简单行为的视频片段进行分类,而对于理解具有多人之间关系的复杂人类活动的问题还没有得到充分的解决。方法 针对多人交互动作中两人肢体行为的特点,本文提出基于骨架的时空建模方法,将时空建模特征输入到广义图卷积中进行特征学习,通过谱图卷积的高阶快速切比雪夫多项式进行逼近。同时对骨架之间的交互信息进行设计,通过捕获这种额外的交互信息增加动作识别的准确性。为增强时域信息的提取,创新性地将切片循环神经网络（recurrent neural network,RNN）应用于视频动作识别,以捕获整个动作序列依赖性信息。结果 本文在UT-Interaction数据集和SBU数据集上对本文算法进行评估,在UT-Interaction数据集中,与H-LSTCM（hierarchical long short-term concurrent memory）等算法进行了比较,相较于次好算法提高了0.7%,在SBU数据集中,相较于GCNConv（semi-supervised classification with graph convolutional networks）、RotClips+MTCNN（rotating cliips+multi-task convolutional neural netowrk）、SGC（simplifying graph convolutional）等算法分别提升了5.2%、1.03%、1.2%。同时也在SBU数据集中进行了融合实验,分别验证了不同连接与切片RNN的有效性。结论 本文提出的融合时空图卷积的交互识别方法,对于交互类动作的识别具有较高的准确率,普遍适用于对象之间产生互动的行为识别。     

结合BiLSTM和注意力机制的视频行人再识别

目的 跨摄像头跨场景的视频行人再识别问题是目前计算机视觉领域的一项重要任务。在现实场景中,光照变化、遮挡、观察点变化以及杂乱的背景等造成行人外观的剧烈变化,增加了行人再识别的难度。为提高视频行人再识别系统在复杂应用场景中的鲁棒性,提出了一种结合双向长短时记忆循环神经网络（BiLSTM）和注意力机制的视频行人再识别算法。方法 首先基于残差网络结构,训练卷积神经网络（CNN）学习空间外观特征,然后使用BiLSTM提取双向时间运动信息,最后通过注意力机制融合学习到的空间外观特征和时间运动信息,以形成一个有判别力的视频层次表征。结果 在两个公开的大规模数据集上与现有的其他方法进行了实验比较。在iLIDS-VID数据集中,与性能第2的方法相比,首位命中率Rank1指标提升了4.5%;在PRID2011数据集中,相比于性能第2的方法,首位命中率Rank1指标提升了3.9%。同时分别在两个数据集中进行了消融实验,实验结果验证了所提出算法的有效性。结论 提出的结合BiLSTM和注意力机制的视频行人再识别算法,能够充分利用视频序列中的信息,学习到更鲁棒的序列特征。实验结果表明,对于不同数据集,均能显著提升识别性能。     

时空双仿射微分不变量及骨架动作识别

目的 人体骨架的动态变化对于动作识别具有重要意义。从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息。在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影响。基于对畸变因素的分析,将人体运动中关节轨迹的常见变换建模为时空双仿射变换。方法 首先用一个统一的表达式以内外变换的形式将时空双仿射变换进行描述。基于变换前后轨迹曲线的微分关系推导设计了双仿射微分不变量,用于描述关节轨迹的局部属性。基于微分不变量和关节坐标在数据结构上的同构特点,提出了一种通道增强方法,使用微分不变量将输入数据沿通道维度扩展后,输入神经网络进行训练与评估,用于提高神经网络的泛化能力。结果 实验在两个大型动作识别数据集NTU（Nanyang Technological University）RGB+D（NTU 60）和NTU RGB+D 120（NTU 120）上与若干最新方法及两种基线方法进行比较,在两种实验设置（跨参与者识别与跨视角识别）中均取得了明显的改进结果。相比于使用原始数据的时空图神经卷积网络（spatio-temporal graph convolutional networks,ST-GCN）,在NTU 60数据集中,跨参与者与跨视角的识别准确率分别提高了1.9%和3.0%;在NTU 120数据集中,跨参与者与跨环境的识别准确率分别提高了5.6%和4.5%。同时对比于数据增强,基于不变特征的通道增强方法在两种实验设置下都能有明显改善,更为有效地提升了网络的泛化能力。结论 本文提出的不变特征与通道增强,直观有效地综合了传统特征和深度学习的优点,有效提高了骨架动作识别的准确性,改善了神经网络的泛化能力。     

基于卷积特征的核相关自适应目标跟踪

目的 针对现实场景中跟踪目标的快速运动、旋转、尺度变化、遮挡等问题,提出了基于卷积特征的核相关自适应目标跟踪的方法。方法 利用卷积神经网络提取高、低层卷积特征并结合本文提出的核相关滤波算法计算并获得高底两层卷积特征响应图。采用Coarse-to-Fine方法对目标位置进行估计,在学习得到1维尺度核相关滤波器估计尺度的基础上实时更新高低两层核相关滤波器参数,以实现自适应的目标跟踪。结果 实验选取公开数据集中的典型视频序列进行跟踪,测试了算法在目标尺度发生变化、遮挡、旋转等复杂场景下的跟踪性能并与多种优秀的跟踪算法在平均中心误差、平均重叠率等指标上进行了定量比较,在Singer1、Car4、Jogging、Girl、Football以及MotorRolling视频图像序列上的中心误差分别为8.71、6.83、3.96、3.91、4.83、9.23,跟踪重叠率分别为0.969、1.00、0.967、0.994、0.967、0.512。实验结果表明,本文算法与原始核相关滤波算法相比,平均中心位置误差降低20%,平均重叠率提高12%。结论 采用卷积神经网络提取高低两层卷积特征,高层卷积特征用于判别目标和背景,低层卷积特征用于预测目标位置并通过Coarse-to-Fine方法对目标位置进行精确的定位,较好地解决了由于目标的旋转和尺度变化带来的跟踪误差大的问题,提高了跟踪性能并能够实时更新学习。在目标尺度发生变化、遮挡、光照条件改变、目标快速运动等复杂场景下仍表现出较强的鲁棒性和适应性。     

基于GA-BP神经网络模型的登革热时空扩散模拟

目的 登革热是一个全球性公共卫生问题,从地理学时空数据分析的视角,探究登革热的时空特质、构建登革热时空过程模型,是有效预防、控制登革热的新方法、研究新热点。方法 基于时空数据挖掘、时空过程建模,综合环境、气象、地理、人口4大因素,分析登革热的空间相关性及登革热病例的空间自相关,挖掘登革热影响因子;针对BP(back propagation)神经网络模型易陷入局部最优的缺陷,引入遗传算法(GA)改进BP神经网络模型,用于登革热时空模拟。结果 登革热的时空扩散与温度、湿度、居民地、交通、人口密度呈显著相关;登革热病例之间呈显著自相关;登革热发生、扩散与环境、气象、地理、人口中的多种因子存在非线性关系;利用改进的GA-BP神经网络模型模拟登革热时空扩散,均方根误差达到0.081。结论 登革热发生、扩散是由多种因素综合影响的结果;GA-BP神经网络模型能够有效模拟登革热时空过程;此模型同样适用于其他伊蚊类传染病的模拟。     

第一人称视角下的社会力优化多行人跟踪

目的 多行人跟踪一直是计算机视觉领域最具挑战性的任务之一,然而受相机移动、行人频繁遮挡和碰撞影响导致第一人称视频中行人跟踪存在效率和精度不高的问题。对此,本文提出一种基于社会力模型优化的第一人称视角下的多行人跟踪算法。方法 采用基于目标检测的跟踪算法,将跟踪问题简化为检测到的目标匹配问题,并且在初步跟踪之后进行社会力优化,有效解决频繁遮挡和碰撞行为导致的错误跟踪问题。首先,采用特征提取策略和宽高比重新设置的单步多框检测器（single shot multi-box detector,SSD）,对输入的第一人称视频序列进行检测,并基于卷积神经网络（convolutional neural network,CNN）模型提取行人的表观特征,通过计算行人特征相似度获得初步的行人跟踪结果;然后,进行跟踪结果的社会力优化,一是定义行人分组行为,对每个行人跟踪目标进行分组计算,并通过添加分组标识,实现同组行人在遮挡的情况下的准确跟踪;二是通过定义的行人领域,对行人分组进行排斥计算,实现避免碰撞后的准确跟踪。结果 在公用数据集ETH（eidgenössische technische hochschule）、MOT16（multi-object tracking 16）和ADL（adelaide）的6个第一人称视频序列上与其他跟踪算法进行对比实验,本文算法的运行速度达到准实时的20.8帧/s,同时相比其他准实时算法,本文算法的整体跟踪性能MOTA（multiple object tracking accuracy）提高了2.5%。结论 提出的第一人称视频中社会力优化的多行人跟踪算法,既能准确地在第一人称场景中跟踪多个行人,又能较好地满足实际应用需求。     

基于时空图的行人轨迹预测

在蓬勃发展的自动驾驶技术中, 行人轨迹预测的结果往往会影响到自动驾驶的安全性. 行人轨迹预测技术目前面临着在实际场景中应用时与他人的交互问题, 需要在预测轨迹的同时考虑社会交互性与逻辑自洽. 因此, 提出了一种基于时空图的行人轨迹预测方法, 该方法采用图注意力网络对场景中的行人交互进行建模, 并使用一种自动生成正负样本的方法来通过对比学习降低输出轨迹的碰撞率, 达到了提高输出轨迹的安全性以及逻辑自洽的效果. 在ETH和UCY数据集上进行模型训练与测试, 结果分析表明, 本文提出的方法有效降低了碰撞率, 且预测准确度优于主流算法.     

场景视点偏移的激光雷达点云分割

目的 激光雷达采集的室外场景点云数据规模庞大且包含丰富的空间结构细节信息,但是目前多数点云分割方法并不能很好地平衡结构细节信息的提取和计算量之间的关系。一些方法将点云变换到多视图或体素化网格等稠密表示形式进行处理,虽然极大地减少了计算量,但却忽略了由激光雷达成像特点以及点云变换引起的信息丢失和遮挡问题,导致分割性能降低,尤其是在小样本数据以及行人和骑行者等小物体场景中。针对投影过程中的空间细节信息丢失问题,根据人类观察机制提出了一种场景视点偏移方法,以改善三维（3D）激光雷达点云分割结果。方法 利用球面投影将3D点云转换为2维（2D）球面正视图（spherical front view,SFV）。水平移动SFV的原始视点以生成多视点序列,解决点云变换引起的信息丢失和遮挡的问题。考虑到多视图序列中的冗余,利用卷积神经网络（convolutional neural networks,CNN）构建场景视点偏移预测模块来预测最佳场景视点偏移。结果 添加场景视点偏移模块后,在小样本数据集中,行人和骑行者分割结果改善相对明显,行人和骑行者（不同偏移距离下）的交叉比相较于原方法最高提升6.5%和15.5%。添加场景视点偏移模块和偏移预测模块后,各类别的交叉比提高1.6% 3%。在公用数据集KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）上与其他算法相比,行人和骑行者的分割结果取得了较大提升,其中行人交叉比最高提升9.1%。结论 本文提出的结合人类观察机制和激光雷达点云成像特点的场景视点偏移与偏移预测方法易于适配不同的点云分割方法,使得点云分割结果更加准确。     

复杂热红外监控场景下行人检测

目的 复杂热红外监控场景中的行人检测问题是计算机视觉领域的重要研究内容之一,是公共安全、灾难救援以及智慧城市等实际应用中的重要基础任务。现今的热红外行人检测算法大多依据图像中人体目标的灰度值高于场景环境这一假设,导致当环境温度升高热红外图像发生灰度值反转时行人检测率较低。为提高行人检测系统在不同场景中的鲁棒性以及行人目标检测率,提出一种面向热红外监控场景的基于频域显著性检测的全卷积网络行人目标检测算法。方法 该算法首先对热红外图像进行基于频域的显著性检测,生成对行人目标全覆盖的显著图;然后结合热红外原图像生成感兴趣区域图作为输入,以行人目标概率图为输出,搭建全卷积网络;最后,对热红外行人检测系统进行端对端训练,获取网络输出的行人目标概率图,进而实现行人目标检测。结果 论文使用俄亥俄州立大学建立的红外视频数据集OTCBVS中的OSU热红外行人数据库对算法进行验证,与目前5种较为成熟的算法进行对比。实验结果表明,本文算法可以在各种场景中准确检测出行人目标,以MR-FP（丢失率—假阳率）为对比依据,本文算法7%的平均丢失率低于其他算法,具有更高的检测率,对热红外图像中的灰度值反转问题具有更好的鲁棒性。结论 本文提出一种面向热红外监控场景的基于频域显著性检测的全卷积网络行人目标检测算法,在实现检测算法端对端训练的同时,提高了其对各种复杂场景的鲁棒性以及行人目标检测率,提升热红外监控系统中行人目标检测性能。     

基于时空图卷积循环神经网络的交通流预测

针对交通流预测模型中路网空间结构刻画和交通流时空特性挖掘不充分的问题,构建一种新型的有向时空图,通过定义节点相对临近度来表征路网结构关系,通过学习邻域节点对预测节点的影响权重来表征节点间时空维度的作用关系,从而能更好表达交通流的时空特性.将时空图作为预测模型的输入,采用图卷积获取交通流数据空间依赖关系,采用门控循环神经网络获取交通流数据的时空依赖关系,建立一种基于时空图卷积循环神经网络的交通流预测模型(STG-CRNN).在美国公路交通数据集上对模型预测效果进行验证,其结果表明:STG-CRNN模型的预测结果在平均绝对误差、均方根误差和平均绝对百分误差方面,均优于自回归移动平均模型、门控循环单元模型,以及扩散卷积循环神经网络模型.     

Learning motion patterns in unstructured scene based on latent structural information

ContextAs trajectory analysis is widely used in the fields of video surveillance, crowd monitoring, behavioral prediction, and anomaly detection, finding motion patterns is a fundamental task for pedestrian trajectory analysis.ObjectiveIn this paper, we focus on learning dominant motion patterns in unstructured scene.MethodsAs the invisible implicit indicator to scene structure, latent structural information is first defined and learned by clustering source/sink points using CURE algorithm. Considering the basic assumption that most pedestrians would find the similar paths to pass through an unstructured scene if their entry and exit areas are fixed, trajectories are then grouped based on the latent structural information. Finally, the motion patterns are learned for each group, which are characterized by a series of statistical temporal and spatial properties including length, duration and envelopes in polar coordinate space.ResultsExperimental results demonstrate the feasibility and effectiveness of our method, and the learned motion patterns can efficiently describe the statistical spatiotemporal models of the typical pedestrian behaviors in a real scene. Based on the learned motion patterns, abnormal or suspicious trajectories are detected.ConclusionThe performance of our approach shows high spatial accuracy and low computational cost.     

基于视野域机制的行人轨迹预测

为提高行人在复杂交通场景中交互的安全性,提出一种基于social-GAN（social-generative adversarial network）的行人轨迹预测算法SAN-GAN（social angle norm-GAN）。该算法首先以行人历史位置信息与头部信息为输入,通过轨迹生成器LSTM网络（long short term memory networks）获取行人隐藏特征信息,并基于行人视野域模块捕捉行人视野域动态变化,对所有行人建立扇形视野域并筛选有效信息,从而驱动神经网络模型预测行人未来轨迹变化。将SAN-GAN与LSTM、social-LSTM（social-long short term memory networks）、social-GAN等轨迹预测算法进行对比实验,结果表明SAN-GAN算法相较于其他算法,在预测3.2 s的行人轨迹时,ADE分别平均降低65.8%、51.2%、10.7%,FDE分别平均降低73.6%、60.9%、10.4%。SAN-GAN能够有效地预测行人在复杂交通环境中进行交互的未来轨迹。     

A Recurrent Attention and Interaction Model for Pedestrian Trajectory Prediction

The movement of pedestrians involves temporal continuity, spatial interactivity, and random diversity. As a result, pedestrian trajectory prediction is rather challenging. Most existing trajectory prediction methods tend to focus on just one aspect of these challenges, ignoring the temporal information of the trajectory and making too many assumptions. In this paper, we propose a recurrent attention and interaction (RAI) model to predict pedestrian trajectories. The RAI model consists of a temporal attention module, spatial pooling module, and randomness modeling module. The temporal attention module is proposed to assign different weights to the input sequence of a target, and reduce the speed deviation of different pedestrians. The spatial pooling module is proposed to model not only the social information of neighbors in historical frames, but also the intention of neighbors in the current time. The randomness modeling module is proposed to model the uncertainty and diversity of trajectories by introducing random noise. We conduct extensive experiments on several public datasets. The results demonstrate that our method outperforms many that are state-of-the-art.      

时空图卷积网络在人体异常行为识别中的应用

在监控场景下,由于监控资源短缺,行人异常行为容易发生漏检。针对该问题,提出了一种视频监控场景下的人体异常行为识别的方法,辅助监控人员及时发现异常。使用OpenPose对图像中行人进行人体骨架提取。针对图卷积网络对关节点特征聚合方式单一的问题,融合了基于图注意力网络（graph attention network,GAT）的图注意力机制。在改进后的图卷积网络的基础上,利用时空图卷积神经网络（spatial temporal graph convolutional networks,ST-GCN）,对行人关节点信息进行异常行为识别。实验结果表明,提出的识别算法对定义的行为识别准确率达85.48%,能够准确地识别监控视频中行人的异常行为。     

复杂场景下行人轨迹预测方法

为了预测行人在复杂场景中的行走轨迹,提出了一种基于生成对抗网络的可解释模型。该模型以场景中行人的历史轨迹信息和场景环境信息作为模型的输入,并在生成对抗网络中引入了物理注意力机制和社会注意力机制对行人轨迹进行预测。其中,物理注意力机制有助于建模复杂场景的整体布局并提取图像中与路径相关的显著特征,社会注意力机制能够建模不同行人之间的交互对未来轨迹的影响。在生成对抗网络的整体框架下,物理和社会注意力机制的结合使得该模型能够预测出符合物理限制和社会行为规范的多条可接受的未来路径。通过在仿真数据和真实的标准数据集上的实验,可以证明该模型能够实现对行人未来轨迹的有效预测。     

Inserting virtual pedestrians into pedestrian groups video with behavior consistency

In this paper, we propose a novel approach to integrate virtual pedestrians into a scene of real pedestrian groups with behavior consistency, and this is achieved by dynamic path planning of virtual pedestrians. Rather than accounting for the local collision avoidance only, our approach is capable of finding an optimized path for each virtual pedestrian on his way based on the current global distribution of the real groups in the scene. The big challenge is due to the information of both position and velocity of real pedestrians in the video being unavailable; also the distribution of the groups in the scene may vary dynamically. We therefore need to detect and track real pedestrians on each frame of the video to acquire their distribution and motion information. We save this information by an efficient data structure, called environment grid. During the way of a virtual pedestrian, the respective agent frequently emits the detection rays through the environment cells to find the situation of the real pedestrians ahead of him and adjust the original path if necessary. Virtual pedestrians are merged into the video finally with the occlusion between virtual characters and the real pedestrians correctly presented. Experiment results on several scenarios demonstrate the effectiveness of the proposed approach.     

交通场景中改进SSD算法的小尺度行人检测研究

由于交通场景中的行人目标所处的背景环境复杂、目标较小等因素,使得目前的行人检测算法在实际应用中存在检测精度不高、检测速度较慢的问题。因此行人检测模块作为高级辅助驾驶系统的核心模块,一直以来都是目标检测的研究热点之一。针对交通场景中小尺度行人目标,将传统的SSD网络结构中的主干网络卷积层结合Inception模块中的稀疏连接来优化卷积结构,从而增强网络的特征提取能力。同时利用残差结构组成的预测模块代替传统的两个3×3大小的卷积核来进一步提取特征图的深层特征,提高对小尺度行人目标的检测精度。引入Focal Loss函数作为网络的分类损失函数,使得损失函数更加关注于包含更多有用信息的困难负样本,解决训练过程中正负样本不平衡的问题,加快网络的收敛和稳定。实验结果表明,对于交通场景中小尺度的行人目标改进的SSD算法在检测精度和速度上都有所提高。     

融合密度和精细分数的行人检测

目的 行人检测是指使用矩形框和置信度找出图像或者视频中的所有行人。传统的图像行人检测方法对于姿态各异或者相互遮挡的行人无能为力。深度神经网络（deep neural networks,DNN）在目标检测领域表现出色,然而依然难以解决行人检测中一些问题。本文提出一种融合密度和精细分数的行人检测方法DC-CSP（density map and classifier modules with center and scale prediction）。方法 首先,在CSP（center and scale prediction）网络的基础上添加密度图模块（density map module,DMM）和分类器模块（classifier module,CM）,得到DC-CSP网络;然后,针对置信度不精确问题,利用不同模块对分数预测结果的互补性质,设计阶段分数融合（stage score fusion,SSF）规则对检测分数进行更新,使得行人置信度上升、背景置信度下降;最后,基于NMS（non-maximum suppression）,利用估计的行人密度图,设计改进的自适应NMS（improved adaptive NMS,IAN）后处理方法,能够进一步改善检测结果,对相互遮挡行人提高交并比（intersection over union,IOU）阈值从而减少漏检,对单个行人降低IOU阈值从而减少错检。结果 在公开数据集Citypersons和Caltech上进行定量和定性分析。定量分析中,与其他方法相比,本文方法在Citypersons数据集的Reasonable、Heavy、Partial以及Bare子集上,对数平均漏检率分别下降了0.8%、1.3%、1.0%和0.8%,在Caltech数据集的Reasonable和All子集上分别下降了0.3%和0.7%;在定性分析中,可视化结果表明,本文方法在一定程度上解决了各种不同场景下存在的相互遮挡行人漏检、单个行人错检以及置信度不精确等一系列问题。此外,消融实验证明了所设计模块及其对应规则的有效性。结论 本文方法使用联合多个模块的卷积神经网络（convolutional neural network,CNN）,针对密度特征、分类特征分别设计IAN方法和SSF规则,在一定程度上解决了相互遮挡行人漏检、单个行人错检以及置信度不精确的问题,在多个数据集上证明了方法的有效性和鲁棒性。     

基于注意力机制和分时图卷积的公交客流预测

实际公交路网通常为复杂的非线性时变系统,难以有效构建线路间的时空间依赖关系.因此,文中提出基于注意力机制和分时图卷积的公交客流预测模型,提升公交客流量预测的准确性.首先通过长短期记忆网络提取历史数据中的时间特征,并利用通道注意力模块加权特征.再使用分时图卷积方法分析不同时段下公交线路间的空间依赖性,根据预测时段选择不同的关系矩阵,通过图卷积的方式完成对非欧关系的建模.最后,融合提取的时空间特征与外部因素(天气、节假日信息等)的特征表示,得到最终的预测结果.在真实公交数据上的实验表明,文中模型可提升预测精度,加快学习速率.     

基于深度学习的行人轨迹预测方法综述

为了规划合理的路径以规避行人,针对行人轨迹预测的研究具有广泛的应用价值.基于手工特征的传统方法难以预测复杂场景下的行人轨迹.深度学习以人工神经网络为架构,具有强大的学习能力,在各个领域取得了显著的效果.基于深度学习的行人轨迹预测方法已逐渐发展为一种趋势.为了宏观把握基于深度学习的行人轨迹预测的研究状况,首先,对不同方法进行组织与分类,比较不同方法的优缺点,讨论不同方法在行人轨迹预测领域的应用与发展;其次,根据行人轨迹预测模型的设计差异,对比不同算法对模型性能产生的影响;最后,针对行人轨迹预测中存在的问题,对基于深度学习的行人轨迹预测方法的未来发展进行了展望.