基于伪3D残差网络与交互关系建模的群组行为识别方法

针对复杂场景下群组行为特征的多样性以及交互关系难以建模的问题,提出一种全新的分层网络架构.第一层网络,利用伪3D残差网络与图卷积网络相结合捕获交互关系特征;第二层网络,利用伪3D残差网络捕获群组全局场景时空特征.根据上述特征之间的互补作用对它们的群组行为决策输出,提出一种权重自适应调整决策融合算法,对上面两层网络的群组行为类别自适应计算重要性权重,实现决策融合.该方法在CAD和CAE上分别取得了91.4%和97.9%的平均识别精度.     

基于TEA网络结构的行为识别研究

深度神经网络是一种强大且高效的机器学习方法,但是目前用于行为识别的机器学习算法都重点关注画面中的内容,而不能有效建模物体间的位置关系。现实生活中物体间的位置关系非常重要,相同的物体,但是不同的位置关系,表达的含义可以完全不同。针对以上问题,提出了一种基于TEA的改进网络结构,能有效建模物体间的位置关系。首先通过多头运动激励模块学习多个不同尺度的空间形态变化,从而有效建模物体间空间位置关系,其次通过信息融合机制将多个尺度的变化信息融合在一起。在SomethingSomething V1数据集上的结果表明本文提出的方法比TEA在具有空间位置关系辨析的类别上准确率提高了最多15%。     

基于多流架构与长短时记忆网络的组群行为识别方法研究

提出一种基于多流架构与长短时记忆网络的上下文建模框架,旨在克服组群行为识别的两个难点,其一对复杂场景中多视觉线索进行信息融合;其二对情景人物进行建模,以获得长视频上下文关系.并且,对基于全局信息和基于局部信息的识别结果进行决策融合,判定最终组群行为属性.该算法在CAD1和CAD2上分别取得93.2%和95.7%平均识别率.     

高光谱-LiDAR 融合的条件随机场分类方法

为有效利用高光谱影像与LiDAR数据的互补性信息,解决单一融合策略造成的场景解译地物边界不准确和分类精度低的问题,提出了一种光谱-空间-高度特征融合、并顾及场景地物类别共生特性的条件随机场分类方法。首先,对两种数据分别提取光谱及形态学特征,对特征集采用图模型进行特征融合,将特征输入概率支持向量机分类器,得到初始分类结果。然后,基于融合特征计算反映像素间类别本质差异的局部光谱-空间-高度协同的异质性值,并统计类别间的空间共生关系。最后,在条件随机场框架内,整合初始分类结果、局部异质性信息及类别共生关系,通过目标函数的迭代求解获得最终分类结果。通过将像素间的权重定义为对应像素位置融合特征的归一化欧式距离的单调减函数,对标记不同但特征差异较大的类别间给予较小的权重,以达到地物边界空间规整化的目的。通过对标记不同但共生概率较大的类别对给予较小的权重,达到保留空间关系稳定的类别对的目的。采用城区场景的美国休斯顿地区数据集和林区场景的中国广西高峰林场两组数据集对提出方法进行了验证。实验结果表明:休斯顿和高峰林场数据集精度分别达到94.00%和92.84%,分类结果的“胡椒盐”现象明显减少,证明了该方法的有效性。     

面向投影环境的计算机视觉交互信息获取

针对面向投影环境的视觉交互信息获取问题,提出了一种基于前景检测和立体视觉的体感交互信息获取方法.该方法使用双摄像头实时完成投影环境下的人体前景检测、姿势识别以及三维空间定位,能够为人机交互提供人体位置信息、姿势信息.为了验证该方法的有效性,设计并实现了一套虚拟场景视点控制系统.实验证明,该方法能够满足用户与虚拟场景实时交互的需要.     

基于GFU和分层LSTM的组群行为识别研究方法

提出一种以"关键人物"为核心，使用门控融合单元（GFU，Gated Fusion Unit）进行特征融合的组群行为识别框架，旨在解决两个问题：①组群行为信息冗余，重点关注关键人物行为特征，忽略无关人员对组群行为的影响；②组群内部交互行为复杂，使用GFU有效融合以关键人物为核心的交互特征，再通过LSTM时序建模成为表征能力更强的组群特征.最终，通过softmax分类器进行组群行为类别分类.该算法在排球数据集上取得了86.7%的平均识别率.     

基于三维视觉的室内设计虚拟现实方法研究

针对传统基于辐射度算法的室内场景三维虚拟现实方法存在耗时高、建模效果差的弊端,研究基于三维视觉的室内设计虚拟现实方法,采用主动式、全方位立体视觉传感器采集室内场景的三维点云数据,基于点云数据进行室内场景内的物体几何关系以及摆放位置分布,完成室内三维场景的自主合成,对物体摆放位置分布实施训练,通过三维场景点云数据集获取相同类型支撑物中物体产生的位置,对数据实施归一化操作,采用高斯混合模型拟合这些数据,训练出三维室内场景中物件在支撑面中的位置分布模型。采用基于深度信息场景重构方法实现室内三维场景的虚拟实现。实验结果说明,所提方法重构的室内场景直观、视觉效果好,并且具有较高的重构效率和精度。     

基于双流独立循环神经网络的人体动作识别

针对RGB视频中遮挡物以及其他外界因素对人体动作识别产生影响,以及识别精确度有待提升的问题,提出基于双流独立循环神经网络人体动作识别算法。在提取特征方面,时间网络采用分层IndRNN对时序中3D骨架坐标信息进行特征提取;空间网络采用深层的IndRNN对每个时刻骨架的空间位置关系进行特征提取,其中骨架的空间结构采用了图遍历的方法。对于空间网络和时间网络的特征融合采用加权求和的方式,最后用softmax对动作进行分类。在3D骨架动作数据集(NTU RGB+D)以及交互数据集(SBU Interaction Dataset)上验证了模型的有效性。     

融合场景上下文的轻量级目标检测网络

提出了一种融合场景上下文的轻量级目标检测网络,有效地解决了现有检测算法在无人机领域应用效果较差的问题.在该网络的设计中,首先用MobileNetV3替换YOLOv3的主干网络,并通过1×1卷积层提取场景信息.同时,构建场景上下文模块以筛选物体的细粒度特征.再采用完全交并比(CIOU)损失对损失函数中的边界框位置误差项进行优化.最后,在新建无人机航拍数据集上对所提算法进行训练与测试.实验结果表明,相较于YOLOv3算法,所提算法的平均检测精度提高了8.4个百分点,检测速度提高了5.8 frame/s.     

基于多任务学习的人体动作识别

为了准确识别现实场景下的人体动作,提出了基于多任务学习的人体动作识别方法。首先,对数据进行局部显著点的检测和特征描述。然后,利用K均值算法对所提特征进行聚类构建词袋模型。最后,利用任务之间的关系,实现现实场景下的人体动作识别。比较实验说明所提出方法能够较好的识别现实场景下的人体动作,并对数据背景、光照条件等外因具有较强的鲁棒性。