面向WebVR会议的大规模人群在线可视化的关键技术EI北大核心CSCD

大型移动WebVR会议面临诸如数据体量太大、网络传输异常卡顿、网页端渲染帧率低、视觉效果差等技术瓶颈.针对这些挑战,给出了一些系列关键技术,首先,提出了一种基于分散度的大规模人群轻量级动态建模方法,在保证轻量性与真实性的前提下,丰富了人群的多样性;其次,设计了动态参会人群情景的细粒度化传输调度算法,显著提升了动态情景的网络加载响应速度;最后,设计了基于WebGPU的大型参会情景的轻量级在线渲染方法,在移动网页端实现了动态人群的单DrawCall多样化渲染.在移动互联网上的各项实测技术指标表明,该解决方案在轻量性、真实性、多样性、规模性和效率效果等方面具有显著优势.     

单目视觉下基于逆投影空间的车辆细粒度识别

当前车辆识别大多采用深度学习方法,直接输入图像数据进行训练以获得车辆分类的深度网络,由于图像本身存在透视形变及尺度变化,因此不得不采取大量不同类型数据进行训练,同时也无法获取车辆相关的物理信息.为了改进上述问题,本文提出基于逆投影空间训练的车辆细粒度识别方法.首先利用标定信息及几何约束,对单目投影下的车辆构建精细化的三...     

基于评论细粒度观点的跨域推荐模型

现有大多数跨域推荐（cross-domain recommendation,CDR）方法只是简单利用评分数据，对评论信息的挖掘不足。评论信息中往往包含用户的多个观点，如何充分利用评论信息中的细粒度观点挖掘其潜在价值以更好地解决跨域推荐冷启动和数据稀疏问题，成为当下跨域推荐的研究重点与难点。因此，设计了一种基于评论细粒度观点的跨域推荐模型（cross-domain recommendation model based on fine-grained opinion from review,FGOR-CDRM）。该模型主要由评论细粒度观点提取、辅助评论增强、跨域相关性学习三个模块组成。将文本卷积神经网络（text convolutional neural network,TextCNN）与门控机制结合，通过设置两个全局细粒度观点矩阵指导查询，有效提取评论信息的细粒度观点；在文本卷积之上增加一层卷积，利用相似非重叠用户的评论构建辅助文档，在增加训练数据多样性的同时有效缓解了数据稀疏；学习跨域细粒度观点之间的相关性，利用静态细粒度观点构建相关矩阵并进行语义匹配，实现目标域冷启动用户对项目的评分...     

FMLED:细粒度级多尺度特征表示的轻量级边缘检测方法

针对现有基于深度学习的轻量级边缘检测方法存在检测效果不佳的问题，本文提出一种细粒度级多尺度特征表示的轻量级边缘检测方法——FMLED.首先，以细粒度方式提取图像多尺度特征，得到更细致并具有全局性的特征图；其次，对特征图进行上采样，得到不同阶段的中间边缘图；最后，使用学习滤波器为每个像素分配不同权重并融合中间边缘图特征，使生成的边缘更加清晰准确.本文方法可用于任何边缘检测任务，而无需进行预训练或微调；并以较小的模型复杂度产生优质边缘.在BIPED、BSDS500和NYUD 3个数据集上的实验结果表明，FMLED框架在不增加计算负载的情况下，可以得到更高质量的边缘.     

跨媒体深层细粒度关联学习方法

随着互联网与多媒体技术的迅猛发展，网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体，使得跨媒体检索成为信息检索的新趋势.然而，"异构鸿沟"问题导致不同媒体的数据表征不一致，难以直接进行相似性度量，因此，多种媒体之间的交叉检索面临着巨大挑战.随着深度学习的兴起，利用深度神经网络模型的非线性建模能力有望突破跨媒体信息表示的壁垒，但现有基于深度学习的跨媒体检索方法一般仅考虑图像和文本两种媒体数据之间的成对关联，难以实现更多种媒体的交叉检索.针对上述问题，提出了跨媒体深层细粒度关联学习方法，支持多达5种媒体类型数据（图像、视频、文本、音频和3D模型）的交叉检索.首先，提出了跨媒体循环神经网络，通过联合建模多达5种媒体类型数据的细粒度信息，充分挖掘不同媒体内部的细节信息以及上下文关联.然后，提出了跨媒体联合关联损失函数，通过将分布对齐和语义对齐相结合，更加准确地挖掘媒体内和媒体间的细粒度跨媒体关联，同时利用语义类别信息增强关联学习过程的语义辨识能力，提高跨媒体检索的准确率.在两个包含5种媒体的跨媒体数据集PKU XMedia和PKU XMediaNet上与现有方法进行实验对比，实验结果表明了所提方法的有效性.     

基于改进Transformer的细粒度图像分类模型

细粒度图像具有不同子类间差异小、相同子类内差异大的特点。现有网络模型在处理过程中存在特征提取能力不足、特征表示冗余和归纳偏置能力弱等问题，因此提出一种改进的Transformer图像分类模型。首先，利用外部注意力取代原Transformer模型中的自注意力，通过捕获样本间相关性提升模型的特征提取能力；其次，引入特征选择模块筛选区分性特征，去除冗余信息，加强特征表示能力；最后，引入融合的多元损失，增强模型归纳偏置和区分不同子类、归并相同子类的能力。实验结果表明，所提方法在CUB-200-2011、Stanford Dogs和Stanford Cars三个细粒度图像数据集上的分类精度分别达89.8%、90.2%和94.7%，优于多个主流的细粒度图像分类方法，分类结果较好。     

结合注意力互斥正则的细粒度图像分类

细粒度图像分类（FGVC）具有类间差异小、类内差异大等特点，提升该任务效果的关键在于识别目标的判别性部位。目前基于注意力机制的方法一般会识别一个或者两个判别性部位，效果不佳。为此，提出一种注意力互斥正则机制的细粒度模型（AMEM），通过限制注意力图的不同通道关注不同目标部位，引导模型关注目标的多个判别性部位。在CUB-200-2011、FGVC-Aircraft、Stanford Cars和Stanford Dogs等4个公开数据集上进行评测，实验表明AMEM取得了90.5%、94.3%、95.5%和93.2%的准确率，效果优于对比实验中的其他细粒度模型；此外热力图显示可以识别出指定数目的判别性部位。AMEM在提升预测性能的同时，也能提供一定程度的预测可解释性。     

紧耦合异构线程处理器

异构计算为系统达到更高的性能功耗比提供了新的思路和方向,但异构系统中中央处理器(CPU)和加速器协同执行任务的过程中大量的控制信号传输和数据搬运始终是系统性能的一个重要瓶颈。对此,本文提出了一种紧耦合异构线程处理器结构,包括一个硬件CPU线程和一个硬件加速器线程,二者采用流水线紧耦合的硬件线程间通信接口和共享存储的方式降低了通信代价,大幅提高了系统性能。为验证该结构的优势,本文在开源BOOM核的基础上设计了硬件线程间通信接口,实现了一个具有高级加密标淮(AES)加速器的紧耦合异构线程处理器,并在现场可编程门阵列(FPGA)上进行了评估。结果显示,在加密任务中,该处理器吞吐量约是Intel Comet Lake使用AES指令集(AES-NI)的5.7倍,是BOOM平台上仅使用通用指令的4000倍。实验进一步验证了通过CPU和加速器快速通信实现的细粒度并行可以取得更多的性能收益。由此得出结论:该结构能敏捷地将加速器整合到CPU周围,有效降低了通信时间,实现CPU线程和加速器线程的细粒度并行,有效地发挥出异构计算的优势,取得可观的性能收益。     

融合多粒度特征的细粒度图像分类网络

在细粒度图像分类任务中，巨大的类内方差决定了该任务的分类依赖于粗粒度和细粒度信息.最近的工作主要关注于如何定位不同粒度的辨别性局部来解决这个问题.然而，在如何选择具有辨别性的粒度以及融合多粒度特征方面，现有的工作还缺乏一定研究.因此，本文提出了一个融合多粒度特征的细粒度图像分类网络，首先通过一个局部错位模块选择细粒度图像中的不同粒度，然后引入注意力机制定位它们并提取其多粒度特征，并且通过迭代学习的方式提取多粒度间的互补信息，最后采用可变形卷积融合这些多粒度特征，从而实现细粒度图像分类.本文所提出的方法在CUB-200-2011、FGVC-Aircraft和Stanford Cars三个数据集上准确率分别达到88.6%、93.6%和94.8%,这表明本文的方法能够获得优秀的分类性能.     

基于混合特征提取的细粒度图像识别方法

由于细粒度图像类内差异大、类间差异小的特点，导致其识别具有较大的难度，针对该问题，提出了一种基于混合特征提取的细粒度图像识别方法。借助混合增强(Mixup)思想混合卷积神经网络中间层，提取类内和类间的特征信息，并通过非局部模块加强模型提取特征的能力。同时，为了降低Mixup方法引入的噪声和歧义，设计了与训练过程耦合的多损失函数。该模型在广泛使用的公开细粒度图像数据集CUB-200-2011和Stanford Cars上分别达到了87.4%和93.8%的识别精度，与多个基线方法相比有显著的性能提升。