一种基于数据补全的大象流检测方法

由于在网络测量中存在不可避免的数据损失,网络监测数据通常是不完备的甚至是稀疏的,这使得大象流的精确检测成为一个具有挑战性的问题.本文提出了一种基于数据补全的离线大象流检测方法.为实现对于大象流的精准检测,首先实现了一个基于矩阵分解的数据补全算法,将流量数据补全问题转化为一个低秩矩阵奇异值分解问题.其次,在此基础上进行高阶扩展,引申出张量补全模型,利用张量CP分解实现数据补全,将原问题转化为通过最小化张量秩来恢复缺失条目的张量补全问题.最后对上面使用的矩阵补全算法和张量补全算法进行了仿真实验,对比了各算法精准度,评估了超参数,并展示了张量补全算法的时间开销.实验结果证明该方法取得了较好的效果.     

基于张量的方法及应用综述

大数据时代的不断发展促使传感及移动互联设备所产生数据的规模和复杂度快速增长,呈现出多源、异构、海量的特点。因此对这些复杂数据的统一表示、降维处理以及缺失值补全等问题受到研究人员的广泛关注。张量具有对高维数据强大的表示和降维能力并能挖掘元素值之间的潜在关系,被普遍应用于这些问题的研究中。张量分解方法获取高维复杂数据的低维特征,在降低计算复杂度的同时还能够保持原有数据的内在结构,解决“维度灾难”问题。张量补全方法根据已有数据的全局结构获取低秩模型来估计缺失条目。该文从张量分解与补全的视角出发,分别总结相关经典方法的基本思想并分析各自的优缺点。从多源异构大数据分析、人脸识别、数据压缩三方面对张量分解的最新算法进行总结。针对QoS缺失数据预测、短时交通流量预测、图像恢复三个场景介绍了张量补全的最新应用。最后对未来张量研究发展中可能存在的问题与挑战进行展望。     

一种基于张量分解的医学数据缺失模态的补全算法

多模态磁共振影像数据采集过程中会出现不同程度的模态数据缺失,现有的补全方法大多只针对随机缺失,无法较好地恢复条状及块状缺失.针对此问题,本文提出了一种基于多向延迟嵌入的平滑张量补全算法分类框架.首先,对缺失数据进行多向延迟嵌入操作,得到折叠后的张量;然后通过平滑张量CP分解,得到补全的张量;最后利用多向延迟嵌入的逆向操...     

基于非局部张量火车分解的彩色图像修补

数据在采集和转换的过程中通常存在部分数据丢失的问题,丢失数据的补全直接影响后续的识别、跟踪等高层任务的结果.自然图像中经常存在许多具有重复特性的相似结构,利用该类冗余信息,文中提出基于非局部张量火车分解的张量补全方法.利用图像的非局部相似性,挖掘其中蕴含的低秩特性,并通过张量火车分解模型进行建模及升阶,将低阶张量转化为高阶以进行低秩信息的进一步挖掘利用,从而进行图像中缺失数据的修补.实验验证文中方法在图像修补上的有效性.     

张量补全算法及其在人脸识别中的应用

数据丢失问题通常可以归结为矩阵补全问题,而矩阵补全是继压缩感知理论之后的又一种重要的信号获取方法。在实际应用中,数据样例往往具有多线性性,即数据集可以表示成高阶张量。本文研究了张量补全问题及其在人脸识别中的应用。基于张量的低维Tucker分解,提出张量补全的迭代算法,并且证明在算法的迭代过程中,估计张量与其Tucker逼近张量的距离是单调递减的。实验结果表明张量补全算法在补全张量和人脸识别上的可行性与有效性。     

基于非凸张量环秩最小化的张量补全算法研究

在实际应用中,恢复缺失的高阶数据一直是重要的研究热点,而基于张量分解的方法能够有效地提取数据的低秩结构,预测丢失的数据,为该问题提供了新的思路.针对传统张量环补全模型的秩松弛问题,建立了基于Lp(0相似文献   

张量表达下的多模态交通缺失数据补全算法

来自多源感知设备所采集的多模态交通数据,由于探测设备、网络、数据传输等错误往往存在丢失.交通数据的缺失对交通网络智能规划、避免拥堵等会产生重大的负面影响.同时,来自于不同平台数据的编码方式、标识存在差异,很大程度上影响了交通数据的利用.基于此,本文针对交通监控视频与车流量探测数据,结合张量理论,建立了用以描述多模态交通数据的张量模型,并提出了基于Tucker-Crossover的多模态数据补全算法(Tucker-Crossover based Multimodal Data Imputation Algorithm,TCM D-IA),用于多模态交通缺失数据的补全.该方法利用Tucker分解后不同阶的因子矩阵和核矩阵进行相关性融合,从而提高缺失值估计效果.在真实交通数据集上的实验表明,TCMD-IA的多模态交通缺失数据补全效果优于其他方法,且具有较好的鲁棒性.     

结合稀疏先验与多模式分解的低秩张量恢复方法

目的 各类终端设备获取的大量数据往往由于信息丢失而导致数据不完整,或经常受到降质问题的困扰。为有效恢复缺损或降质数据,低秩张量补全备受关注。张量分解可有效挖掘张量数据的内在特征,但传统分解方法诱导的张量秩函数无法探索张量不同模式之间的相关性;另外,传统张量补全方法通常将全变分约束施加于整体张量数据,无法充分利用张量低维子空间的平滑先验。为解决以上两个问题,提出了基于稀疏先验与多模式张量分解的低秩张量恢复方法。方法 在张量秩最小化模型基础上,融入多模式张量分解技术以及分解因子局部稀疏性。首先对原始张量施加核范数约束,以此捕获张量的全局低秩性,然后,利用多模式张量分解将整体张量沿着每个模式分解为一组低维张量和一组因子矩阵,以探索不同模式之间的相关性,对因子矩阵施加因子梯度稀疏正则化约束,探索张量子空间的局部稀疏性,进一步提高张量恢复性能。结果 在高光谱图像、多光谱图像、YUV（也称为YCbCr）视频和医学影像数据上,将本文方法与其他8种修复方法在3种丢失率下进行定量及定性比较。在恢复4种类型张量数据方面,本文方法与深度学习GP-WLRR方法（global prior refined weighted low-rank representation）的修复效果基本持平,本文方法的MPSNR（mean peak signal-to-noise ratio）在所有丢失率及张量数据上的总体平均高0.68dB,MSSIM（mean structural similarity）总体平均高0.01;与其他6种张量建模方法相比,本文方法的MPSNR及MSSIM均取得最优结果。结论 提出的基于稀疏先验与多模式张量分解的低秩张量恢复方法,可同时利用张量的全局低秩性与局部稀疏性,能够对受损的多维视觉数据进行有效修复。     

基于NSGA2的参数自确定数据补全模型

基于分解的数据补全模型在补全缺失元素问题的研究中被广泛应用。然而,参数低秩与参数最大迭代次数作为模型的输入,其合理性直接影响补全模型的性能。参数低秩设定不合理将导致数据补全模型出现过拟合或者欠拟合问题。此外,参数最大迭代次数选取不合理将导致计算资源的浪费或者数据补全精度的下降。基于此论文提出一种基于进化算法NSGA2的参数自确定数据补全模型。该模型通过构建多目标函数执行遗传进化操作确定合理的参数值,确保数据补全模型的性能。对比试验结果表明,该模型通过进化算法确定合理参数值有效避免了过拟合与欠拟合问题的发生,同时也避免了计算资源的浪费,确保了数据补全结果的精度。     

基于低秩表示的非负张量分解算法

为了提高图像分类准确率,提出了一种基于低秩表示的非负张量分解算法。作为压缩感知理论的推广和发展,低秩表示将矩阵的秩作为一种稀疏测度,由于矩阵的秩反映了矩阵的固有特性,所以低秩表示能有效的分析和处理矩阵数据,本文把低秩表示引入到张量模型中,即引入到非负张量分解算法中,进一步扩展非负张量分解算法。实验结果表明,本文所提算法与其他相关算法相比,分类结果较好。     

基于超图正则化非负Tucker分解的图像聚类算法

针对非负张量分解应用于图像聚类时忽略了高维数据内部几何结构的问题,在经典的张量非负Tucker分解的基础上,添加超图正则项以尽可能多地保留原始数据的内在几何结构信息,提出一种基于超图正则化非负Tucker分解模型HGNTD。通过构造超图刻画数据内部样本间的高阶关系,提高几何结构描述的准确性,针对超图正则化非负张量分解模型,基于交替非负最小二乘法,设计快速有效的超图正则化非负Tucker分解算法求解所给模型,证明算法在非负的条件下是收敛的,最终将算法应用于图像聚类。在Yale和COIL两个常用公开数据集上的实验结果表明,相对于k-means、非负矩阵分解、图正则化非负矩阵分解、非负Tucker分解和图正则化非负Tucker分解等算法,超图正则化非负Tucker分解算法聚类准确度提升了8.6%~11.4%,归一化互信息提升了2.0%~7.5%,具有更好的聚类效果。     

基于位置聚类和张量分解的Web服务推荐算法

基于服务质量（QoS）的Web服务推荐能在众多功能相似的Web服务中发现最能满足用户非功能需求的Web服务,但QoS属性值预测算法仍存在预测准确度不高和数据稀疏性的问题。针对以上问题,提出了一种基于位置聚类和分层张量分解的QoS预测算法ClustTD,该算法基于用户和服务的位置属性将用户和服务聚类成多个局部组,分别对局部组和全局的用户、服务和时间上下文进行张量建模和分解,将局部和全局张量分解的QoS预测值进行加权组合,同时考虑了局部和全局因素,获得最终QoS预测值。实验结果表明,该算法具有较高的QoS预测准确率和Web服务推荐质量,并能在一定程度上解决数据稀疏性问题。     

基于时空残差张量学习的城市路网交通数据修复

针对城市道路网络环境下各种软/硬件故障导致的交通数据缺失问题,提出了一种基于时空残差张量学习（spatial-temporal residual tensor learning,ST-RTL）的交通数据修复方法。该方法通过构造带缺失值的三维交通张量以最大程度表征原始路网时空信息;并在高斯分布假设基础上,采用Gibbs采样完成对缺失数据的CANDECOMP/PARAFAC（CP）张量分解与低秩重构。考虑到张量修复过程产生的残差值,研究设计一种可动态迭代的双向残差优化结构以捕捉剩余时空依赖特性,实现对缺失交通数据的精准修复。采用公开的杭州地铁客流数据进行模型构建与验证。结果表明,当缺失率为10%~80%时,三种缺失场景（随机、聚类和混合缺失）对张量结构破坏存在较大差异,其中聚类缺失的破坏程度最大,此时,ST-RTL的评估指标MAPE、RMSE和MAE分别位于3.1071~7.0371、16.3779~58.4286、3.7434~8.0135之间;且随着缺失率递增,ST-RTL模型各指标呈加速增加趋势。与HaLRTC、GAIN和BGCP等代表性基准模型相比,所建立的ST-RTL模型在可接受计算代价范围内具有更低的性能指标和更强的稳定性,能为智能交通系统提供高质量的基础数据。     

A Bayesian robust CP decomposition approach for missing traffic data imputation

The inevitable problem of missing data is ubiquitous in the real transportation system, which makes the data-driven intelligent transportation system suffer from incorrect response. We propose a Bayesian robust Candecomp/Parafac (CP) tensor decomposition (BRCP) approach to deal with missing data and outliers by integrating the general form of transportation system domain knowledge. Specifically, when the lower rank tensor captures the global information, the sparse tensor is added to capture the local information, which can robustly predict the distribution of missing items and under the fully Bayesian treatment, the effective variational reasoning can prevent the over fitting problem. Real and reliable traffic data sets are used to evaluate the performance of the model in two data missing scenarios, which the experimental results show that the proposed BRCP model achieves the best imputation accuracy and is better than the most advanced baseline (Bayesian Gaussian CP decomposition (BGCP), high accuracy low-rank tensor completion (HaLRTC) and SVD-combined tensor decomposition (STD)), even in the case of high missed detection rate, the model still has the best performance and robustness.

     

基于贝叶斯张量分解的改进QoS预测

随着Web服务相关标准和技术的日趋成熟,基于服务质量（QoS）的Web服务推荐对用户体验起着决定性作用。如何准确预测Qos值是当今的研究热点。以往基于近邻或模型的协同过滤算法,采用的是“用户-服务”二维信息,预测的QoS值是静态的且精准性不高。将时间信息维度引入张量模型,建立“用户-服务-时间”的三维张量可使QoS预测值更加符合用户需求特点,用贝叶斯方法求解张量分解,引入概率意义下对于系统的解释和分析,提供一套先验概率引入先验知识的贝叶斯推断框架,提高了QoS预测的精确度。实验表明,使用该算法的预测结果较其他算法相比较有更小的平均绝对误差,很好地解决了数据稀疏度问题。     

基于平行因子分解的协同聚类推荐算法

针对三元组数据内在关联性复杂的特点,提出了基于平行因子分解(PARAFAC)的协同聚类推荐算法。该算法利用PARAFAC算法对张量进行分解,挖掘多维数据实体之间的相关联系和潜在主题。首先,利用PARAFAC分解算法对三元组张量数据进行聚类;然后,基于协同聚类算法提出了三种不同方案的推荐模型,并通过实验对三种方案进行了比较,得到了最优的推荐模型;最后,将提出的协同聚类模型与基于高阶奇异值分解(HOSVD)的推荐模型进行比较。在last.fm数据集上,PARAFAC协同聚类算法比HOSVD张量分解算法在召回率和精确度上平均提高了9.8个百分点和3.7个百分点,在delicious数据集上平均提高了11.6个百分点和3.9个百分点。实验结果表明所提算法能更有效地挖掘出张量中的潜在信息和内在联系,实现高准确率和高召回率的推荐。     

迭代张量高阶奇异值分解的图像恢复方法

为了有效地对图像缺失数据进行恢复, 提出一种迭代张量高阶奇异值分解（HOSVD）图像缺失数据恢复方法。该方法首先利用拉格朗日乘子方法将张量核范数目标函数进行子问题分解操作, 简化了求解过程, 然后迭代地采用张量高阶奇异值分解阈值方法进行子问题求解, 最终得到恢复后的图像缺失数据。将矩阵奇异值阈值算法进行扩展而得的HOSVD阈值方法充分利用了图像内部和图像与图像之间的多重约束关系, 大大提高了恢复精度。模拟实验和真实图像实验结果显示该方法具有良好的缺失数据的恢复性能。     

基于张量分解的分布式主题分类模型

针对大规模数据分类时计算时间长以及分类精度下降等问题,提出使用张量分解求解LDA主题模型参数,实现对海量网络数据的采集、分类、挖掘.该方法使用矩量法将LDA模型求解转化为低维的张量分解问题,通过分解和反射进行参数的传递,运用大数据平台Spark的进行分布式计算.实验结果表明,改进的模型参数计算方法在时间效率和困惑度方面都得到了提升,并且分类信息更加直观,更加适用于大规模网络数据分类工作.