面向人体动作预测的对称残差网络

为了研究不同残差连接方式对人体动作预测卷积神经网络的影响,探讨了在保持网络深度一定的情况下,如何利用残差连接构成一个高效捕捉人体动作特征的预测模型。通过观察人体骨骼关节点排列方式,提出一种适用于人体骨骼关节点预测的对称残差连接方法,并基于该方法设计了对称残差块（symmetric residual block,SRB）。所设计的SRB,最后一层卷积核的感受野达到最大,覆盖了人体全部关节信息,采用的对称连接方式高效地利用浅层动态特征,使预测的效果更好、模型使用的参数更少。此外,本文提出一种基于2个SRB和1个解码器的端到端卷积网络——对称残差网络（symmetric residual network,SRNet）,取得的预测结果高于基准方法。最后,在TensorFlow框架下利用公开数据集Human3.6M和CMU-Mocap进行了人体动作预测实验。其结果表明,与基准方法相比,本文方法的关节位置平均误差（mean per joint postion error,MPJPE）在各个预测时间点上均有0.2mm～1mm的降低,验证了本文提出的SRNet能有效建模人体姿态的全局空间特征。     

A Spatial-Temporal Attention Model for Human Trajectory Prediction

Human trajectory prediction is essential and promising in many related applications. This is challenging due to the uncertainty of human behaviors, which can be influenced not only by himself, but also by the surrounding environment. Recent works based on long-short term memory (LSTM) models have brought tremendous improvements on the task of trajectory prediction. However, most of them focus on the spatial influence of humans but ignore the temporal influence. In this paper, we propose a novel spatial-temporal attention (ST-Attention) model, which studies spatial and temporal affinities jointly. Specifically, we introduce an attention mechanism to extract temporal affinity, learning the importance for historical trajectory information at different time instants. To explore spatial affinity, a deep neural network is employed to measure different importance of the neighbors. Experimental results show that our method achieves competitive performance compared with state-of-the-art methods on publicly available datasets.      

采用弱预测机制的人体运动跟踪算法

快速运动和自遮挡是人体运动跟踪的难点所在 .为此提出了一种采用弱预测机制的人体运动跟踪算法 .该算法首先通过全局搜索 ,确定候选人体特征集 ;然后建立特征的色彩、运动等属性的时变模型 ,构造贝叶斯分类器 ,实现特征对应 ;最后根据人体特征层次模型 ,检验特征匹配 ,并实现被遮挡特征的定位 .为提高跟踪效率 ,采用了基于图象多分辨率表示的特征搜索算法 ,由低分辨率图象通过全局搜索来获取初始候选特征集 ,然后在高分辨率下 ,不断改善候选特征精度 .实验结果表明 ,该算法能实现对快速人体运动的跟踪并有效解决自遮挡问题 .     

基于多层注意力和消息传递网络的药物相互作用预测方法

药物相互作用(Drug-drug interaction, DDI)是指不同药物存在抑制或促进等作用. 现有DDI预测方法往往直接利用药物分子特征表示预测DDI, 而忽略药物分子中不同原子对DDI的影响. 为此, 提出基于多层次注意力机制和消息传递神经网络的DDI预测方法. 该方法将DDI建模为通过学习基于序列表示的药物分子特征实现DDI预测的链接预测问题. 首先, 建立基于注意力机制和消息传递神经网络的原子特征网络, 结合提出的基于分子质心的位置编码, 学习不同原子及其相关联化学键的特征, 构建基于图结构的药物分子特征表示; 然后, 设计基于注意力机制的分子特征网络, 并通过监督和对比损失学习, 实现DDI预测; 最后, 通过实验证明该方法的有效性和优越性.     

采用多尺度注意力机制的远程监督关系抽取

针对目前大多数关系抽取模型中局部特征及全局特征利用不充分的缺点,该文提出一种采用多尺度注意力机制的远程监督关系抽取模型。在词语层面,通过在池化层构建权重矩阵来衡量词语与关系的相关程度,从而捕捉句子中重要的语义特征;在句子层面,采用注意力机制将预测关系与句子进行相关性比较,获得句子级别的重要信息。模型在NYT数据集上平均准确率达到78%,表明该模型能够有效地利用多尺度特征,并且提高远程关系抽取任务的准确率。     

块运动矢量估计的快速分级筛选法

本文提出了一种快速块运动估计的方法--分级筛选法.该方法将搜索最佳匹配块的过程分为若干个筛选过程,每个筛选过程用不同大小级别的子块作为基元进行匹配.在初始的级别中通过简单的特征匹配先淘汰一部分候选匹配块;然后在上一级剩余的候选块中,逐级用更加细致的特征继续筛选;直至找到最佳匹配块.实验结果表明,分级筛选法比一些常见的快速运动估计方法要快,且估计精度与全搜索法非常相近.     

预测行人运动的服务机器人POMDP导航

为提高室内动态环境下服务机器人对行人的自然避让能力,对人的运动轨迹模式进行建模,在此基础上引入了将行人运动长、短期预测结合起来的方法．为适应传感器噪声及网络延迟等因素所造成的感知—控制回路中的多源不确定性,将人与机器人的相对位置关系建模为部分可观的马尔可夫状态．采用部分可观的马尔可夫决策过程（POMDP）进行多源不确定性下的概率决策,协调控制机器人全局路径规划、反应式运动及速度控制等行为模块．实验结果验证,它能够实现提前避碰的安全导航,因避免反复的曲折与徘徊运动而提高了机器人导航效率．     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

基于多层次多视角的图注意力Top-N推荐方法

推荐系统是当前数据挖掘领域的研究热点,海量数据的涌现促使多源信息融合的推荐方法得到极大的关注.但是,现有的基于异质信息融合的推荐方法在进行特征表示时往往忽略了用户和项目之间的交互信息以及元路径之间的相互影响.因此,考虑到属性节点嵌入和结构元路径的不同视角,提出了一种多层次图注意力的网络推荐方法.该方法通过构建不同的元路...     

多层次深度特征交换的人体解析方法

人体解析因其潜在的应用前景,成为计算机视觉领域重要的研究内容之一.虽然Segnet对全局与局部信息有较好的学习,但该网络只是进行简单的下采样和上采样操作,忽略了特征信息之间的交换学习,本文提出一种基于多层次深度特征交换网络(DFEnet)的人体解析方法.DFEnet网络既兼顾不同分辨率下高维特征学习,又可以满足不同分辨率下的特征交换学习.在DFEnet提取完人体语义特征后,空洞沙漏池化会对提取后的特征进行多尺度学习.在LIP数据集上的实验结果表明本文提出的方法具有更好的解析结果,与SS-JPPnet相比提高了1.4%MIoU,超过Segnet近26.51%MIoU.     

Illustrative Motion Smoothing for Attention Guidance in Dynamic Visualizations

3D animations are an effective method to learn about complex dynamic phenomena, such as mesoscale biological processes. The animators' goals are to convey a sense of the scene's overall complexity while, at the same time, visually guiding the user through a story of subsequent events embedded in the chaotic environment. Animators use a variety of visual emphasis techniques to guide the observers' attention through the story, such as highlighting, halos – or by manipulating motion parameters of the scene. In this paper, we investigate the effect of smoothing the motion of contextual scene elements to attract attention to focus elements of the story exhibiting high-frequency motion. We conducted a crowdsourced study with 108 participants observing short animations with two illustrative motion smoothing strategies: geometric smoothing through noise reduction of contextual motion trajectories and visual smoothing through motion blur of context items. We investigated the observers' ability to follow the story as well as the effect of the techniques on speed perception in a molecular scene. Our results show that moderate motion blur significantly improves users' ability to follow the story. Geometric motion smoothing is less effective but increases the visual appeal of the animation. However, both techniques also slow down the perceived speed of the animation. We discuss the implications of these results and derive design guidelines for animators of complex dynamic visualizations.     

一类模糊系统的多层递阶预报

本文讨论一类模型系统的多层递阶预报问题，提出了相应的模糊多层递阶模型，模糊参数估计方法及预报步骤。通过应用实例说明效果良好。     

安腾处理器中多级分支预测机制

分支预测技术可消除分支指令之后损失的周期,防止流水线断流。高比率的分支预测精确度是高性能微处理器性能的保证。本文详细分析了安腾处理器(Itanium)多级分支预测机制,并研究了每级预测器的具体实现。     

多层递阶预报方法的改进及其在季节性时间序列预报中的应用

本文对多层递阶预报方法进行了深入的研究,提出了一种初值选取方法,并选择AR模型作为预报模型,采用高效的Houscholder变换来确定模型阶次,从而使得这种预报方法简便而实用,预报精度亦有进一步提高。本文还提出一种季节性时间序列预报的新方法,它具有简单、易行,且精度高的特点。本文将多层递阶预报方法成功地应用于冷库自动控制系统,实现了对温度的实时预报,取得了满意的效果。     

安腾处理器中多级分支预测机制

分支预测技术可消除分支指令之后损失的周期,防止流水线断流.高比率的分支预测精确度是高性能微处理器性能的保证.本文详细分析了安腾处理器(Itanium)多级分支预测机制,并研究了每级预测器的具体实现.     

基于多层级联视觉显著性模型的肇事车辆锁定方法

肇事车辆的锁定是智能交通系统中一个十分重要的问题,因此针对肇事车辆的锁定,提出了一种基于多层级联视觉注意模型的肇事车辆匹配方法.在模型的每一层中,基于传统视觉注意模型的思想,通过生成显著图的方式提取车辆的一个显著性特征,如颜色、车标,并将其与肇事车辆进行匹配,过滤掉特征不相似的车辆,经过多次显著性特征提取和匹配,最终获得唯一的肇事车辆.实验结果表明,该模型可以准确地从车辆数据库中锁定肇事车辆,且对光照变化和噪声有较强的鲁棒性.     

运动估计算法预测搜索起始点

高精度的预测搜索起始点方法可以减少运动估计算法的搜索点数,提高搜索速度和精度.对中值,均值,左块,SAD比较等方法进行了理论介绍和实验分析,提出一种新的预测搜索起始点方法.该方法足利用相邻块运动矢量的相关性和运动矢最的偏向分布特征给相邻块分配不同的权重来预测搜索起始点.实验结果表明对不同种类的标准测试序列新方法比其它方...     

基于双注意力多层特征融合的视觉情感分析

为获得更具判别性的视觉特征并提升情感分类效果,构建融合双注意力多层特征的视觉情感分析模型。通过卷积神经网络提取图像多通道的多层次特征,根据空间注意力机制对多通道的低层特征赋予空间注意力权重,利用通道注意力机制对多通道的高层特征赋予通道注意力权重,分别强化不同层次的特征表示,将强化后的高层特征和低层特征进行融合,形成用于训练情感分类器的判别性特征。在3个真实数据集Twitter Ⅰ、Twitter Ⅱ和EmotionROI上进行对比实验,结果表明,该模型的分类准确率分别达到79.83%、78.25%和49.34%,有效提升了社交媒体视觉情感分析的效果。     

基于多级特征融合与注意力模块的场景识别方法

场景图像通常由背景信息和前景目标对象构成,用于场景识别任务的卷积神经网络(CNN)通常需要根据场景中关键目标的特征,甚至结合目标之间的位置关系来识别出场景所属类别.针对场景图像中较小尺寸的关键目标特征随着网络层次的加深而逐渐消失,从而导致场景识别错误的问题,提出了一种基于多级特征融合与注意力模块的场景识别方法.首先,将...     

基于时空注意力的社交网络信息级联预测模型

针对目前信息级联预测模型的构建多基于级联的时序信息或者空间拓扑结构、极少考虑两者的结合问题,该文提出一种面向社交网络的基于深度学习方法的信息级联预测(Information Cascade Prediction,ICP)模型.首先,使用拉普拉斯矩阵对级联节点采样,生成空间序列;然后,通过结合了图卷积网络的双向循环神经网...