一种基于CW-RNN的多时间尺度序列建模推荐算法

序列化推荐试图利用用户与物品的历史交互序列,预测下次即将交互的物品。针对序列化推荐中推荐物品依赖于用户的长时间全局兴趣、中时间兴趣还是短时间局部兴趣的不确定性,该文提出了一种基于CW-RNN的多时间尺度序列建模推荐算法。首先,该算法引入CW-RNN层,从用户与物品的历史交互序列中抽取多个时间尺度的用户兴趣特征。然后,通过尺度维卷积来建模对不同时间尺度的用户兴趣特征的依赖,生成多时间尺度用户兴趣特征的统一表示。最后,利用全连接层建模统一的多尺度用户兴趣特征和隐式物品特征的交互关系。在MovieLens-1M和Amazon Movies and TV两个公开数据集上的实验结果表明,相比于现有最优的序列推荐算法,该文提出的算法在准确率上分别提升了3.80%和8.63%。     

融合显式反馈与隐式反馈的协同过滤推荐算法

显式反馈与隐式反馈相结合,可以有效提升推荐性能.但是现有的融合显式反馈与隐式反馈的推荐系统存在未能发挥隐式反馈数据缺失值反映用户隐藏偏好的能力,或者未能保留显式反馈数据反映用户偏好程度的能力的局限性.为了解决这个问题,提出了一种融合显式反馈与隐式反馈的协同过滤推荐算法.该算法分为两个阶段:第1阶段利用加权低秩近似处理隐式反馈数据,训练出隐式用户/物品向量;第2阶段引入了基线评估,同时将隐式用户/物品向量作为补充,通过显隐式用户/物品向量结合,训练得出用户对物品的预测偏好程度.该算法与多个典型算法在标准数据集上进行了实验比较,其可行性和有效性得到验证.     

融合显隐式反馈的协同过滤推荐模型

融合显式和隐式反馈已被应用于提升推荐模型的性能,但是,现有的此类推荐模型未能保留显式反馈中反映用户偏好程度的信息,且现有研究认为拥有显式反馈的数据和仅拥有隐式反馈的数据对于模型具有同等影响,未能充分发挥显式反馈的优势.针对这些问题,提出一种新的融合显式和隐式反馈的协同过滤推荐模型(CEICF).首先,所提出模型提取显式反馈中的特征得到用户/物品的全局偏好向量;然后,从隐式反馈中提取用户/物品的潜在向量,进而将两种向量进行融合得到用户/物品的偏好向量;最后,使用神经网络预测用户与物品交互的可能性.在训练模型时,定义一种加权的二进制交叉熵损失函数,加强显式反馈对模型的影响来增强模型捕获用户偏好的能力.为了验证所提出模型的有效性,在覆盖不同领域的现实数据集上进行实验,实验结果表明,CEICF可有效地融合显式和隐式反馈,且推荐效果相对于基线模型有显著提升.     

基于深度学习的矩阵分解推荐模型

通过对深度学习和矩阵分解技术进行结合,设计一个深度神经网络对用户和物品进行特征提取,形成用户隐向量和物品隐向量的方法,计算这两个隐向量的内积得到用户对物品的评分预测.为提高推荐精度,提出使用显式数据和隐式数据并设计新的损失函数能够同时计算这两类数据损失的方法.在两个公开数据集上的实验结果表明,该方法比基线模型在HR和N...     

基于度量学习的多空间推荐系统

隐式反馈具有数据获取成本小、形式广泛的特点,因此在现代推荐系统中被广泛使用.由于用户的隐式反馈通常是稀疏,不平衡,且含义不明确的.因此,想要准确学习用户和物品之间的复杂交互具有挑战性.传统的基于矩阵分解的推荐方法只能建模用户-物品之间的相似性.同时,矩阵分解使用点积运算作为相似度评估方式,而点积运算不满足三角不等式,即不能将用户-物品相似性传递到用户-用户以及物品-物品的相似性建模.因此,矩阵分解不足以在隐式反馈中充分建模用户和物品的关系.尽管现在有基于隐式反馈使用欧式距离来度量用户-物品相似度的度量学习方法,使得对应的推荐方法能够满足三角不等式.但是,现有的度量方法通常会将每个用户或者物品表示为度量空间中的单个点,进而在单个空间内通过用户-物品之间的距离来表征用户-物品之间的相似性.由于在不同的环境下,用户对于同一种类型的物品的偏好也可能存在差异.基于单个空间的用户、物品嵌入向量有可能无法满足用户具有的多种偏好和物品具有的多种属性,进而限制了推荐系统的性能.为了充分刻画用户和物品,我们尝试从多个侧面对于用户和物品进行表示,并提出了一个基于多空间的度量学习(MML)框架.通过设计整合多个空间相似性的度量方式,我们将用户和物品投影到多个空间中进行细粒度的表示.另外,我们设计了一种经过校准的优化策略,包括经过校准的最大间隔损失函数和经过校准的采样方法.在保持多空间度量学习表示能力的同时,确保框架的有效性.最后,模型通过训练好的用户、物品向量,对于稀疏的用户-物品交互矩阵进行填补.在动态更新空间权重的同时,可以赋予模型新的训练视角,最终实现端到端的训练.通过四个真实世界推荐数据集上进行的大量实验表明,MML可以在Recall和nDCG衡量指标上将目前最优的对比算法提高40%以上.     

基于时频域信息融合和多尺度对抗的轨迹预测

目前已有许多工作将Transformer运用到时间序列预测相关任务. 然而, 相比其他时间序列, 运动轨迹数据存在运动学的不确定性, 没有明显的周期特性. 为了降低噪声干扰, 增强趋势建模, 本文在Transformer架构的基础上, 提出一种基于时频域信息融合和多尺度对抗训练的目标轨迹预测方法. 将小波分解嵌入网络模型, 实现时频域自适应滤波; 并与时域注意力进行融合, 能够更有效地对观测轨迹的长期趋势特性进行编码. 并设计了一个全卷积判别器, 通过对抗训练学习序列的多尺度短期微运动表示, 进一步提高预测精度. 本文建立了一个包括2维船舶轨迹和3维飞行器轨迹的轨迹预测数据集DT作为基准, 并在此与Transformer、LogTrans、Informer等模型进行对比实验. 实验结果表明本文的方法在中长期轨迹预测任务上优于其他模型.     

一种基于 Transformer 的三维人体姿态估计方法

三维人体姿态估计是人类行为理解的基础,但是预测出合理的三维人体姿态序列仍然是具有挑 战性的问题。为了解决这个问题,提出一种基于 Transformer 的三维人体姿态估计方法,利用多层长短期记忆 (LSTM)单元和多尺度 Transformer 结构增强人体姿态序列预测的准确性。首先,设计基于时间序列的生成器, 通过 ResNet 预训练神经网络提取图像特征;其次,采用多层 LSTM 单元学习时间连续性的图像序列中人体姿 态之间的关系,输出合理的 SMPL 人体参数模型序列;最后,构建基于多尺度 Transformer 的判别器,利用多 尺度 Transformer 结构对多个分割粒度进行细节特征学习,尤其是 Transformer block 对相对位置进行编码增强 局部特征学习能力。实验结果表明,该方法相对于 VIBE 方法具有更好地预测精度,在 3DPW 数据集上比 VIBE 的平均(每)关节位置误差(MPJPE)低了 7.5%;在 MP-INF-3DHP 数据集上比 VIBE 的 MPJPE 降低了 1.8%。      

社会媒体中用户的隐式消费意图识别

不同于已有的显式消费意图识别的研究,提出了社会媒体中用户的隐式消费意图自动识别方法.该方法将隐式消费意图识别视作多标记分类问题,并综合使用了基于用户关注行为、意图关注行为、意图转发行为以及个人信息的多种特征.由于隐式消费意图识别难以评价,自动抽取了大量跨社会媒体的用户链指信息,利用该方法,共抽取出12万余对的用户链指.在此自动评价集上的实验结果表明,所采用的多标记分类方法对于识别用户的隐式消费意图是行之有效的,其中使用的各种特征对于提高隐式消费意图识别的效果皆有帮助.     

基于深度神经网络和加权隐反馈的个性化推荐

改进的矩阵分解(SVD++)将用户和物品特征向量的内积作为用户对物品的评分,而内积无法捕捉用户与物品之间复杂的高阶非线性关系.此外,SVD++在融入用户隐式反馈时,未区分不同交互物品对于用户特征表达的贡献.针对上述问题,文中提出基于深度神经网络和加权隐反馈的推荐算法(DeepNASVD++),采用深度神经网络建模用户与物品之间的关系,使用注意力机制计算历史交互物品在建模用户隐式反馈时的权重.在公开数据集上的实验验证文中算法的有效性.     

融合知识传播和提示学习机制的推荐模型

将知识图谱中的辅助知识应用于推荐系统中，在一定程度上可以缓解数据稀疏问题。但现有基于知识图谱的推荐方法大多只利用实体间的显式关系建模用户行为，而用户和推荐物品之间可能存在无法显式表达的关系。因此，该文提出了一种融合知识图谱传播特征和提示学习范式的推荐模型。首先，以用户与物品的历史交互为起点，利用知识图谱传播用户偏好，获得用户的动态行为信息；然后，将用户静态属性特征信息作为输入，利用提示学习技术，引入预训练语言模型中的隐式知识，挖掘出用户的潜在兴趣，作为对知识图谱显式知识的补充；最后，根据模板词在预训练语言模型词汇表中的概率完成对用户的推荐。实验表明，该方法在MovieLens-1M、Book-Crossing和Last.FM三个数据集上与其他模型相比具有良好的推荐性能，在AUC评价指标上平均分别提升6.4%、4.0%和3.6%,在F₁评价指标上平均分别提升了6.0%、1.8%和3.2%。     

非独立同分布文本情感表示学习方法

非独立同分布文本的情感分析往往极具挑战,因其是一类包含词句间耦合关系和同词（句）多义性特点的复杂文本。现有方法中,几乎没有可以全面捕获非独立同分布文本特性的方法用于情感分析。面向情感分析的非独立同分布文本表示学习方法对文本中层次化存在的耦合关系和多义性问题进行建模,将这些决定着情感极性的非独立同分布特点嵌入到文本的向量表示中。非独立同分布文本表示学习方法通过一种带注意力机制的多尺度层次化深度神经网络实现。该神经网络利用多尺度卷积循环结构捕获文本中的耦合关系,利用注意力机制消除文本中的多义性。同时,该神经网络层次化地融合了由深度学习生成的隐式特征表示和由文本情感先验知识构造的显示特征表示,以防止数据过拟合问题并强化情感表示能力。充分的实验表明,非独立同分布文本表示学习方法可以显著增强文本情感分析的性能。     

Hierarchical edge bundles: visualization of adjacency relations in hierarchical data

A compound graph is a frequently encountered type of data set. Relations are given between items, and a hierarchy is defined on the items as well. We present a new method for visualizing such compound graphs. Our approach is based on visually bundling the adjacency edges, i.e., non-hierarchical edges, together. We realize this as follows. We assume that the hierarchy is shown via a standard tree visualization method. Next, we bend each adjacency edge, modeled as a B-spline curve, toward the polyline defined by the path via the inclusion edges from one node to another. This hierarchical bundling reduces visual clutter and also visualizes implicit adjacency edges between parent nodes that are the result of explicit adjacency edges between their respective child nodes. Furthermore, hierarchical edge bundling is a generic method which can be used in conjunction with existing tree visualization techniques. We illustrate our technique by providing example visualizations and discuss the results based on an informal evaluation provided by potential users of such visualizations     

Hierarchical tensor approximation of multi-dimensional visual data

Visual data comprise of multi-scale and inhomogeneous signals. In this paper, we exploit these characteristics and develop a compact data representation technique based on a hierarchical tensor-based transformation. In this technique, an original multi-dimensional dataset is transformed into a hierarchy of signals to expose its multi-scale structures. The signal at each level of the hierarchy is further divided into a number of smaller tensors to expose its spatially inhomogeneous structures. These smaller tensors are further transformed and pruned using a tensor approximation technique. Our hierarchical tensor approximation supports progressive transmission and partial decompression. Experimental results indicate that our technique can achieve higher compression ratios and quality than previous methods, including wavelet transforms, wavelet packet transforms, and single-level tensor approximation. We have successfully applied our technique to multiple tasks involving multi-dimensional visual data, including medical and scientific data visualization, data-driven rendering and texture synthesis.     

面向遥感视觉问答的尺度引导融合推理网络

遥感视觉问答(remote sensing visual question answering,RSVQA)旨在从遥感图像中抽取科学知识.近年来,为了弥合遥感视觉信息与自然语言之间的语义鸿沟,涌现出许多方法.但目前方法仅考虑多模态信息的对齐和融合,既忽略了对遥感图像目标中的多尺度特征及其空间位置信息的深度挖掘,又缺乏对尺度特征的建模和推理的研究,导致答案预测不够全面和准确.针对以上问题,本文提出了一种多尺度引导的融合推理网络(multi-scale guided fusion inference network,MGFIN),旨在增强RSVQA系统的视觉空间推理能力.首先,本文设计了基于Swin Transformer的多尺度视觉表征模块,对嵌入空间位置信息的多尺度视觉特征进行编码;其次,在语言线索的引导下,本文使用多尺度关系推理模块以尺度空间为线索学习跨多个尺度的高阶群内对象关系,并进行空间层次推理;最后,设计基于推理的融合模块来弥合多模态语义鸿沟,在交叉注意力基础上,通过自监督范式、对比学习方法、图文匹配机制等训练目标来自适应地对齐融合多模态特征,并辅助预测最终答案.实验结果表明,本文提出的模型在两个公共RSVQA数据集上具有显著优势.     

The Hierarchical Hidden Markov Model: Analysis and Applications

We introduce, analyze and demonstrate a recursive hierarchical generalization of the widely used hidden Markov models, which we name Hierarchical Hidden Markov Models (HHMM). Our model is motivated by the complex multi-scale structure which appears in many natural sequences, particularly in language, handwriting and speech. We seek a systematic unsupervised approach to the modeling of such structures. By extending the standard Baum-Welch (forward-backward) algorithm, we derive an efficient procedure for estimating the model parameters from unlabeled data. We then use the trained model for automatic hierarchical parsing of observation sequences. We describe two applications of our model and its parameter estimation procedure. In the first application we show how to construct hierarchical models of natural English text. In these models different levels of the hierarchy correspond to structures on different length scales in the text. In the second application we demonstrate how HHMMs can be used to automatically identify repeated strokes that represent combination of letters in cursive handwriting.     

面向用户偏好建模的个性化对话推荐算法

推荐系统的目标是从物品数据库中，选择出与用户兴趣偏好相匹配的子集，缓解用户面临的“信息过载”问题。因而近年来推荐系统越来越多地应用到电商、社交等领域，展现出巨大的商业潜力。传统推荐系统中，系统对用户的认知往往来源于历史交互记录，例如点击率或者购买记录，这是一种隐式用户反馈。对话推荐系统能够通过自然语言与用户进行多轮对话，逐步深入挖掘其兴趣偏好，从而向对方提供高质量的推荐结果。相比于传统推荐系统，对话推荐系统主要有两方面的不同。其一，对话推荐系统能够利用自然语言与用户进行语义上连贯的多轮对话，提升了人机交互中的用户体验；其二，系统能够询问特定的问题直接获取用户的显式反馈，从而更深入地理解用户兴趣偏好，提供更可靠的推荐结果。目前已经有不少工作在不同的问题设定下对该领域进行了探索，然而尽管如此，这些工作仍仅局限于关注当前正在进行的对话，忽视了过去交互记录中蕴涵的丰富信息，导致对用户偏好建模的不充分。为了解决这个问题，本文提出了一个面向用户偏好建模的个性化对话推荐算法框架，通过双线性模型注意力机制与自注意力层次化编码结构进行用户偏好建模，从而完成对候选物品的排序与推荐。本文设计的模型结构能够在充分利用用户历史对话信息的同时，权衡历史对话与当前对话两类数据的重要性。丰富的用户相关信息来源使得推荐结果在契合用户个性化偏好的同时，更具备多样性，从而缓解“信息茧房”等现象带来的不良影响。基于公开数据集的实验表明了本文方法在个性化对话推荐任务上的有效性。     

融合3D注意力和Transformer的图像去雨网络

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题。现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分。针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimension attention and Transformer deraining network,TDATDN)。方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练。结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验。其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.927 8。实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果。结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作。