基于多粒度视频信息和注意力机制的视频场景识别

视频场景识别是机器学习和计算机视觉一个重要的研究领域.但是当前对于视频场景识别的探索工作还远远不够,而且目前提出的模型大都使用视频级的特征信息,忽略了多粒度的视频特征关联.本文提出了一种基于多粒度的视频特征的注意力机制的模型架构,可以动态高效的利用各维度视频信息之间存在的丰富的语义关联,提高识别准确度.本文在中国多媒体大会（CCF ChinaMM 2019）最新推出的VideoNet数据集上进行了实验,实验结果表明基于多粒度的视频特征的注意力机制的模型与传统方法相比具有明显的优越性.     

通信工程专业开放式虚拟实验平台构建

指出目前高校通信工程专业实验教学现状中的问题,阐述将开放式虚拟实验平台引入实验教学的意义,对虚拟实验平台的功能特点进行研究与分析,提出基于虚拟实验室的实验体系结构,说明结合通信实验教学的实践,将虚拟实验平台应用于课内实验教学和课外创新的良好效果。     

利用全局与局部帧级特征进行基于共享注意力的视频问答

视频问答是视觉理解领域中非常重要且具有挑战性的任务.目前的视觉问答(VQA)方法主要关注单个静态图片的问答,而现实生活中的数据是立体动态的视频.此外,由于问题的复杂性,视频问答任务必须根据问答问题恰当地处理多种视觉特征才能获得高质量的答案.文中提出了一个通过利用局部和全局帧级别的视觉信息来进行视频问答的多共享注意力网络.具体来说,以不同帧率提取视频帧,并以此提取帧级的全局与局部视觉特征,这两种特征包含了多个帧级别特征,用于对视频时间动态建模,再以共享注意力的形式建模全局与局部视觉特征的相关性,然后结合文本问题来推断答案.在天池视频问答数据集上进行了大量的实验,验证了所提方法的有效性.     

基于对称注意力机制的视觉问答系统

近年来,基于图像视觉特征与问题文本特征融合的视觉问答(VQA)引起了研究者们的广泛关注.现有的大部分模型都是通过聚集图像区域和疑问词对的相似性,采用注意力机制和密集迭代操作进行细粒度交互和匹配,忽略了图像区域和问题词的自相关信息.本文提出了一种基于对称注意力机制的模型架构,能够有效利用图片和问题之间具有的语义关联,进而减少整体语义理解上的偏差,以提高答案预测的准确性.本文在VQA2.0数据集上进行了实验,实验结果表明基于对称注意力机制的模型与基线模型相比具有明显的优越性.     

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.     

智能客户端系统中数据同步策略的研究与实现

针对智能客户端系统离线/在线的工作模式,以及智能客户端系统终端多样化、智能部署等特点,提出了一种离线与在线切换过程中,基于XML与Web服务的数据同步策略.该策略弥补了已有数据同步方法存在的不足,具有便于部署与更新,为多种平台提供统一编程模型,以及轻松穿越防火墙等优点.对于智能客户端系统的开发,具有实际的应用价值.     

融合空谱-梯度特征的深度高光谱图像去噪

为了去除高光谱图像采集过程中产生的噪声,提升后续图像处理的性能,提出了一种融合空谱-梯度特征的深度高光谱图像去噪方法.它包括空谱特征网络和梯度特征网络,且各网络使用密集跳跃连接和可分离卷积策略进行优化.空谱网络模型实现噪声特征的精确提取,梯度网络模型对噪声纹理特征进行补充,最后基于两个网络的特征提取结果进行融合,实现噪...     

无转速传感器抽油电机扭矩在线监测系统研究

介绍了一种无转速传感器抽油机异步电机的在线监测系统的软、硬件设计。论述了通过实时采集抽油机异步电机的三相电压和电流,计算电机的三相有功功率、无功功率和功率因数的方法。并利用电机模型参数,根据抽油机异步电机工作的特点,分析了实时计算电机定子磁链的幅值和相位的方法。同时提出了结合坐标变换下的定子电流计算,实时获取抽油机异步电机电磁转矩及转速的一般方法。     

基于全局注意力信息交互的高光谱图像分类

近年来,研究者们发现基于双分支结构的高光谱图像分类方法可以更有效地提取图像的光谱特征和空间特征用于分类.但在双分支结构中,各分支只侧重于细化、提取光谱特征或空间特征,忽略了对光谱-空间跨维特征交互的研究,且两分支各自提取的部分交互不明显,因此影响了分类的性能.针对这一问题,本文提出了一种基于全局注意力信息交互的高光谱图像分类方法.首先采用密集连接网络分两个分支分别细化图像的光谱特征和空间特征,然后结合全局注意力机制(GAM)得到通道全局注意力特征和空间全局注意力特征,最后通过一个信息交互的模块实现光谱和空间信息的交互,更充分地利用光谱和空间信息实现分类.本文提出的方法分别在Pavia University(PU)和Salinas Valley (SV)两个数据集上进行了实验,相较于其他的4种方法,本文提出的方法在分类性能上取得了明显的提升.     

基于图像增强与样本平衡优化的行人属性识别

由于采用的监控图像尺寸较小、分辨率低等原因, 行人属性识别一直是一个极具挑战性的任务, 而低分辨率的图像往往又导致数据集存在识别行人主体区域不突出、背景噪音干扰严重等问题. 之前的方法大多将未作处理的原始图像作为输入, 使得属性识别效果一直不够理想, 并且, 属性识别的主流数据集通常存在正负样本不平衡的问题, 例如, 许多行人的服装属性分布有着季节性或习俗性的偏差. 因此, 本文提出一个新的深度学习网络——图像增强与样本平衡优化模型IEBO (image enhancement and sample balance optimization). 该模型通过色彩增强与提取行人主体区域的噪音抑制方法, 在突出行人核心特征的同时消除无用背景信息, 防止其对属性识别造成干扰. 另外模型通过权重调节针对样本不平衡的属性进行优化, 提高不平衡属性的识别能力. 实验最终表明, 新的行人属性识别模型在Market-1501-attribute数据集中取得了较好的性能.