基于时空图卷积网络的多变量时间序列预测方法

为了扩大时空图卷积网络的预测范围,将它应用在关联关系未知场景下的多变量时间序列预测问题,提出一种附加图学习层的时空图卷积网络预测方法（GLB-STGCN）。图学习层借助余弦相似度从时间序列中学习图邻接矩阵,通过图卷积网络捕捉多变量之间的相互影响,最后通过多核时间卷积网络捕捉时间序列的周期性特征,实现对多变量的精准预测。为验证GLB-STGCN的有效性,使用天文、电力、交通和经济四个领域的公共数据集和一个工业场景生产数据集进行预测实验,结果表明GLB-STGCN优于对比方法,在天文数据集上的表现尤为出色,预测误差分别降低了6.02%、8.01%、6.72%和5.31%。实验结果证明GLB-STGCN适用范围更广,预测效果更好,尤其适合自然周期明显的时间序列预测问题。     

面向交通流量预测的时空超关系图卷积网络

交通流量预测是智能交通系统中的重要研究课题,然而,交通对象（如站点、传感器）之间存在的复杂局部时空关系使得这项研究颇具挑战。尽管以往的一些研究将流量预测问题转化为一个时空图预测问题从而取得了较大的进展,但是它们忽略了交通对象们跨时空维度的直接关联性。目前仍缺乏一种全面建模局部时空关系的方法。针对这一问题,首先提出一种新颖的时空超图建模方案,通过构造一种时空超关系来全面地建模复杂的局部时空关系;然后提出一种时空超关系图卷积网络（STHGCN）预测模型来捕获这些关系用于交通流量预测。在四个公开交通数据集上进行了大量对比实验,结果表明,相比ASTGCN、时空同步图卷积网络（STSGCN）等时空预测模型,STHGCN在均方根误差（RMSE）、平均绝对误差（MAE）、平均绝对百分比误差（MAPE）这三个评价指标上均取得了更优的结果,不同模型运行时间的对比结果也表明,STHGCN有着更高的推理速度。     

基于多模态特征学习的人体行为识别方法

由于从单一行为模态中获取的特征难以准确地表达复杂的人体动作,本文提出基于多模态特征学习的人体行为识别算法.首先采用两条通道分别提取行为视频的RGB特征和3D骨骼特征,第1条通道C3DP-LA网络由两部分组成:(1)包含时空金字塔池化(Spatial Temporal Pyramid Pooling,STPP)的改进3D CNN;(2)基于时空注意力机制的LSTM,第2条通道为时空图卷积网络(ST-GCN),然后,本文将提取到的两种特征融合使其优势互补,最后用Softmax分类器对融合特征进行分类,并在公开数据集UCF101和NTU RGB+D上验证.实验表明,本文提出的方法与现有行为识别算法相比具有较高的识别准确度.     

交叉口入口路段车流量及车辆换道率检测研究

针对交叉口入口路段交通视频中存在车辆遮挡严重、频繁走停以及频繁换道插队等特点,提出了一种获取交叉口停车线后大视野范围内车流量以及车辆换道率的检测方法.首先采用多级虚拟特征线生成多级时空图,对车辆进行快速检测和分割,获得车辆候选区域;然后对车辆候选区域内局部特征点进行初步分组和跟踪,并根据相同组内特征点运动趋势相似性来修正分组,解决车辆遮挡问题,用于检测车辆换道率;最后将多级时空图与特征点跟踪相结合,进行相互反馈,实现对车辆准确分割和鲁棒跟踪,避免车辆行驶中走停的影响.实验结果表明,通过该方法能实时准确地获取大视野范围内交叉口入口路段车流量和车辆换道率的交通参数.     

基于时空图卷积网络的交通事故风险预测研究

交通事故的预测是通过对过去路段发生的交通事故进行分析,在综合考虑影响交通事故的相关因素后,对未来路段的交通事故发生状态进行预测。以往的大多数研究通常采用传统机器学习方法或单一深度学习模型预测法,利用网格化确定预测空间的单位,忽略了影响交通事故的天气、路况等外部因素,导致模型的预测性能不佳。提出一种基于时空特性的城市交通事故风险预测模型,在模型中使用改进的时空图卷积网络,利用图卷积网络（GCN）提取空间相关特征,并加入批标准化层解决梯度消失爆炸问题。在时间维度上采用门控线性单元（GLU）实现一维卷积操作,提取时间相关特征,并将GCN和GLU组合成时空卷积模块提取时空相关特征,使用均方误差损失函数解决样本数据零膨胀问题。实验结果表明,与GLU、SDCAE和ConvLSTM模型相比,该模型的RMSE指标分别降低了28%、4.87%、4.19%,能有效捕获时空相关性,综合性能得到较大提升。     

基于图交互与场景感知融合的轨迹预测方法

在自动驾驶中,精确的环境感知和对周围交通参与者的轨迹预测对道路安全至关重要。基于此,提出了基于鸟瞰图(Bird Eye View, BEV)的实时端到端轨迹预测框架来同时学习交互和场景信息。该框架主要由图交互网络和金字塔感知网络两个模块组成,前者通过时空图卷积网络对交通参与者之间的交互模式进行编码,后者采用时空金字塔网络对周围信息进行场景建模以获取场景特征。然后,对交互特征和场景特征进行单一尺度融合,从而进行分类和轨迹预测任务。在大规模开源数据集NuScenes上的实验和分析表明,与当前先进算法(MotionNet)相比,所提框架平均类别准确度提高了3.1%,轨迹预测平均误差在行驶速度>5m/s时降低了1.43%。此实验结果表明,所提模型具有更好的泛化性和鲁棒性,更符合实际自动驾驶环境中的轨迹预测需求。     

面向动态路网的最优路径GCN深度搜索方法

路网中的最优路径搜索与规划作为位置服务中重要部分受到广泛关注,射频识别技术（RFID）等技术带来的大量交通数据成为了研究的基础与挑战。城市中出行场景对路网动态变化非常敏感,同时城市复杂多变的交通情况、真实路网与移动对象轨迹丰富的时空语义信息,都是动态路网中的最优路径搜索面临的难题。针对这些挑战,在分析现有算法不足的基础上,参考A*算法启发式思想,提出一种基于图卷积网络进行深度搜索的机器学习模型GCN-Search。模型首先通过时空图卷积网络,聚合相邻区域与过往时段的时空信息,对城市出行所依赖的路网近期动态变化进行建模;其次扩展路径搜索的深度,定义节点的深度估价值,并使用神经网络替代人工设计的估价函数,搜索利于路径整体最优的节点,直到生成最终路径。在某交管局提供的RFID数据集上进行的对比实验表明,GCN-Search算法可以有效利用RFID数据中的时空语义信息,提升动态路网出行的最优路径搜索的准确率。     

基于新分区策略的ST-GCN人体动作识别

人体动作识别是智能监控、人机交互、机器人等领域的一项重要技术，基于人体骨架序列的动作识别方法在面对复杂背景以及人体尺度、视角和运动速度等变化时具有先天优势。时空图卷积神经网络模型(ST-GCN)在人体行为识别中具有卓越的识别性能，针对ST-GCN网络模型中的分区策略只关注局部动作的问题，设计了一种新的分区策略，通过关联根节点与更远节点，加强身体各部分信息联系和局部运动之间的联系，将根节点的相邻区域划分为根节点本身、向心群、远向心群、离心群和远离心群等5个区域，同时为各区域赋予不同的权重，提升了模型对整体动作的感知能力。最后，分别在公开数据集和真实场景下进行实验测试，结果表明，在大规模数据集Kinetics-skeleton上获得了31.1%的Top-1分类准确率，相比原模型提升了0.4%;在NTU-RGB+D的两个子数据集上分别获得了83.7%和91.6%的Top-1性能指标，相比原模型提升了2.3%和3.3%;在真实场景下，所提模型对动作变化明显且区别大的动作如俯卧撑和慢跑识别率高，对局部运动和动作变化相近的动作如鼓掌和摇头识别率偏低，尚有进一步提高的空间。     

一种基于视频的公交客流计数方法

采用一种行时空图处理方法设计一种公交乘客计数系统,克服传统的光流法和帧差法提取运动目标所存在着的数据量大、实时处理能力差、抗干扰能力差的缺陷。该系统包括行时空图的生成,运动目标的提取、识别、匹配和计数等部分。实验结果表明统计数据有较高的准确率,并能很好地满足实时性要求。该系统识别鲁棒性好、运算数据量小、在移植至硬件时对硬件的性能要求很低,可以很好地控制软硬件成本。     

基于软邻接时空图卷积神经网络的动作识别算法

动作识别被广泛应用于诸多领域,如智能监控、人机交互、智能医疗、机器人技术等。近年来,随着智慧城市建设的不断发展,人类动作识别的相关研究越来越受到学术界的关注。然而目前的基于神经网络的动作识别算法普遍存在着准确率低,鲁棒性差等问题。虽然这种传统的方法取得了良好的效果,但这种方法的效果与实际应用之间依然存在差距。为了进一步解决这些问题,设计了一个更有效的动作识别模型,即基于软邻接的时空图卷积神经网络的动作识别算法（spatial temporal soft adjacency graph convolution network, STS-GCN）。首先,将图卷积网络扩展到时间域,并在骨架节点之间引入潜在的相邻关系,从而可以自动学习空间时间维度上的隐藏动作信息;其次,模型引入了一种简易的空间注意机制,使其具有鉴别具有判别力的空间区域的能力,从而获得更好的识别效果;最后对该模型在NTU-RGB+D数据集上进行了实验。实验结果表明,与其他几个现有模型的结果相比,模型测试的识别准确率有所提高。这说明了引入软邻接矩阵的时空图卷积神经网络有利于模型提高动作识别算法的效果。