RTDP系统网络体系结构及其关键技术

在简要介绍实时大数据处理系统(RTDP)网络及其应用领域的基础上,提出了一种实时大数据处理系统网络架构模型,分析了实时大数据处理系统在网络体系结构方面的研究热点问题,最后总结并展望了实时大数据处理系统网络未来的发展方向和研究重点.     

数据流上高效计算子空间Skyline的算法

流数据处理和多维空间中子空间上Skyline的计算是近年来数据管理与数据挖掘领域的研究热点.此前相关工作只专注于滑动窗口上Skyline的维护问题,未涉及到滑动窗口中子空间Skyline的计算.文中提出了一个基于网格索引的高效维护滑动窗口上Skyline的算法,以此为基础采用自顶向下的方式通过两个阶段增量式地返回目标子空间上的结果;开发的多个剪枝策略和启发式优化方法显著地提高了全空间Skyline的维护以及子空间Skyline的计算效率.理论分析和实验结果表明:与同类算法相比,文中提出的StreamSubsky算法以极少的时间开销就能输出第一个结果,并且算法具有良好的可扩展性.     

面向多租户数据库的Skyline处理算法

对面向服务的多租户数据库上的Skyline查询展开了深入研究,提出了一个有效的查询处理算法--面向多租户数据库的Skyline(multi-tenant database oriented Skyline,MDOS).针对多租户数据库环境下,数据往往以枢轴表形式存贮的特点,设计了一个基于B<'+>树的索引阵列.基于该索...     

时间加权不确定近邻协同过滤算法

围绕传统的协同过滤推荐算法存在的局限性展开研究,提出一种时间加权不确定近邻协同过滤推荐算法TWUNCF。根据推荐系统应用的实际情况,首先对用户和产品相似度进行时间加权以保证数据有效性,在此基础上改进相似度的计算方法。同时引入近邻因子在产品群和用户群中自适应地选择预测目标的近邻对象作为推荐群,计算推荐群中推荐概率较高的信任子群,最后通过不确定近邻的动态度量方法来对预测结果进行平衡的推荐。实验结果表明,该算法考虑了数据的时间有效性,同时平衡不同群体对推荐结果的影响,避免由于数据稀疏带来的推荐结果不准确和计算难度大的问题。理论分析和模拟实验证明,该算法在一定程度上提高了系统的准确性和推荐效率。     

基于排序学习的推荐算法研究综述

排序学习技术尝试用机器学习的方法解决排序问题,已被深入研究并广泛应用于不同的领域,如信息检索、文本挖掘、个性化推荐、生物医学等.将排序学习融入推荐算法中,研究如何整合大量用户和物品的特征,构建更加贴合用户偏好需求的用户模型,以提高推荐算法的性能和用户满意度,成为基于排序学习推荐算法的主要任务.对近些年基于排序学习的推荐算法研究进展进行综述,并对其问题定义、关键技术、效用评价、应用进展等进行概括、比较和分析.最后,对基于排序学习的推荐算法的未来发展趋势进行探讨和展望.     

知识蒸馏研究综述

高性能的深度学习网络通常是计算型和参数密集型的,难以应用于资源受限的边缘设备.为了能够在低资源设备上运行深度学习模型,需要研发高效的小规模网络.知识蒸馏是获取高效小规模网络的一种新兴方法,其主要思想是将学习能力强的复杂教师模型中的“知识”迁移到简单的学生模型中.同时,它通过神经网络的互学习、自学习等优化策略和无标签、跨模态等数据资源对模型的性能增强也具有显著的效果.基于在模型压缩和模型增强上的优越特性,知识蒸馏已成为深度学习领域的一个研究热点和重点.本文从基础知识,理论方法和应用等方面对近些年知识蒸馏的研究展开全面的调查,具体包含以下内容:(1)回顾了知识蒸馏的背景知识,包括它的由来和核心思想;(2)解释知识蒸馏的作用机制;(3)归纳知识蒸馏中知识的不同形式,分为输出特征知识、中间特征知识、关系特征知识和结构特征知识;(4)详细分析和对比了知识蒸馏的各种关键方法,包括知识合并、多教师学习、教师助理、跨模态蒸馏、相互蒸馏、终身蒸馏以及自蒸馏;(5)介绍知识蒸馏与其它技术融合的相关方法,包括生成对抗网络、神经架构搜索、强化学习、图卷积、其它压缩技术、自动编码器、集成学习以及联邦学习;(6)对知识蒸馏在多个不同领域下的应用场景进行了详细的阐述;(7)讨论了知识蒸馏存在的挑战和未来的研究方向.     

高效处理分布式数据流上skyline 持续查询算法

基于非共享策略,围绕着降低系统反应延迟与通信负荷的目标,提出了一种分两阶段渐进求解的分布式算法BOCS(based on the change of skyline),并对算法的关键实现环节,如协调站点与远程站点间的通信、skyline 增量的计算等进行了系统优化,使算法在通信负荷与反应延迟上达到了较好的综合性能.理论分析证明,在所有基于非 共享策略的算法中,BOCS 算法通信最优.大量的对比实验结果也表明,所提出的算法高效、稳定且具有良好的可扩展性.     

基于概率数据流的有效聚类算法

提出一种在概率数据流上进行聚类的有效方法P-Stream.P-Stream针对数据流上的概率元组提出强簇、过渡簇和弱簇的概念,设计一种有效的在线候选簇选择策略,为每个不断到达的数据元组合理地找到可能归属的簇,并在每个检查点存储微簇快照,以便离线进一步高层聚类和演化分析.最后设计一个“积极”的二层聚类模型来判断现有的第1层聚类模型是否还适应数据流中最近到达的概率元组.实验采用KDD-CUP’98和KDD-CUP’99真实数据集以及变换高斯分布的人工数据集构造概率数据流.实验结果表明,P-Stream具有良好的聚类质量、较快的处理速度,能够有效地适应数据演化情况.     

概率数据流上Skyline查询处理算法

 概率数据流管理与分析逐步引起了研究者们的关注.Skyline查询技术是近年来数据库领域的研究热点.此前相关工作仅限于静态数据集或传统确定性数据流上的Skyline查询处理,尚无人考虑概率数据流上的Skyline计算问题,本文提出的SOPDS算法则较好地解决了该问题.在采用适应性更强的网格索引的基础上,提出了概率定界、逐步求精、提前淘汰与选择补偿等启发式规则对算法从时间和空间两方面进行了系统地优化.实验表明,算法在时间与空间上具有较高的整体性能.     

超对等网络中的轮廓查询优化

轮廓查询是近年来信息服务领域的一个研究重点和热点.现有的三阶段算法TPAOSS (Three-Phase Algorithm for Optimizing Skyline Scalar)至少存在如下两个缺陷:(1)在TPAOSS算法的第3阶段中,当网络节点上的对象个数较多时,Bloom filter的长度将呈指数级增长,从而严重影响获取子空间重复值的效率以及占用内存空间的大小;(2)TPAOSS算法只考虑预处理阶段的时间代价,而没有考虑各网络节点进行局部或全局子空间轮廓查询计算的效率.为此,提出一种适合超对等网络(Super-Peer Architecture,SPA)的子空间轮廓查询方法EPSSQDN (Efficient Processing of Subspace Skyline Queries in Distributed Networks).EPSSQDN算法有效解决了TPAOSS算法的的两个主要性能问题,并且显著提高了SPA网络中的子空间轮廓查询处理的效率.此外,为了能够进一步降低子空间上轮廓查询的时间开销以及网络节点间的数据传输量,我们给出新颖且有效的优化策略.实验结果表明,EPSSQDN算法比TPAOSS算法更能够缩短SPA网络中子空间轮廓查询的时间开销.