多路方体聚集完全立方体计算算法

数据立方体的预计算对于提高联机分析处理性能至关重要。在借鉴多路数组聚集完全立方体计算算法的基础上,提出了利用数据结果集驱动的完全立方体计算算法。算法在扫描完成一个方体的同时,完成方体沿各个维攀升形成的多个新方体的聚集值的计算,从而完成多路方体聚集。该算法支持大数据量立方体的计算。应用结果表明,算法可行,且易于实现。     

分布式缓存系统中一种优化缓存部署的图算法

数据缓存技术可以有效地减少网络拥塞,减轻服务器负载,加快信息访问速度.通过部署一组地域分布的缓存节点相互协作处理用户请求,可以进一步提高系统性能.在分布式缓存系统中,一个值得关注的问题是优化缓存的放置,使访问开销最小化.首先建立了一个理论模型来分析缓存副本放置对系统访问开销的影响.基于这个模型,缓存放置问题可以形式化地描述成一个最优化问题,提出了一种图算法来解决该问题.图算法使用修改的Dijkstra算法在访问代价图中寻找一条最短路径,该路径对应一种最优的缓存部署.理论上证明了图算法的正确性,并使用仿真实验对其性能进行评估.实验结果表明,图算法的性能优于大部分现有的分布式缓存机制.     

分布式缓存系统中一种优化缓存部署的图算法

数据缓存技术可以有效地减少网络拥塞,减轻服务器负载,加快信息访问速度.通过部署一组地域分布的缓存节点相互协作处理用户请求,可以进一步提高系统性能.在分布式缓存系统中,一个值得关注的问题是优化缓存的放置,使访问开销最小化.首先建立了一个理论模型来分析缓存副本放置对系统访问开销的影响.基于这个模型,缓存放置问题可以形式化地描述成一个最优化问题,提出了一种图算法来解决该问题.图算法使用修改的Dijkstra算法在访问代价图中寻找一条最短路径,该路径对应一种最优的缓存部署.理论上证明了图算法的正确性,并使用仿真实验对其性能进行评估.实验结果表明,图算法的性能优于大部分现有的分布式缓存机制.     

What-if分析中的Max数据方体增量计算

基于历史数据,what-if分析方法可对假设情景进行分析,为决策者提供预测信息,但在分析过程中存在数据方体的重新计算问题。针对该问题,提出一种使用Max函数的数据方体增量计算方法,减少增量计算过程中对事实表的访问时间。实验结果表明,该方法可将增量计算的性能提高约15%。     

副本放置中的更新策略及算法

副本技术广泛应用于云计算及分布式系统中,合理的数据副本放置是降低网络运行成本的重要手段,也是副本技术的核心问题。副本更新是针对网络中数据访问请求的动态变化而进行的副本添加与删除。针对副本放置问题,提出了一种基于多访问策略的副本动态更新算法MPFSF(min_placement far servers first)。该算法在引入通信距离限制的同时,尽可能多地重用网络中已存在的副本,并根据需要实施必要的副本更新,最大使用每个副本的处理能力,以便降低数据访问的时延,提高数据访问效率。最后通过实验结果和分析证明,该算法在不同的通信距离限制下,网络的运行成本得到了明显的降低,对原有算法的改进最高可达84.6%。     

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。     

流媒体服务中基于分布式代理的缓存数据放置策略

随着高速宽带接入技术的发展,流媒体技术的研究得到了迅速的发展,并具有广阔的应用前景.流媒体代理技术作为减轻服务器的访问负载、提高用户的访问响应速度的重要手段,已成为流媒体研究领域中的研究热点之一.针对流媒体服务中的分布式代理服务器系统,提出了一种优化的缓存数据放置策略.其主要思想是将缓存数据放入某个特定的代理服务器中,使得今后访问该数据的网络传输开销最小.仿真实验表明,所提出的算法比传统的缓存数据放置算法能获得更小的传输开销和更好的可扩展性.     

云存储智能多数据副本放置机制

数据副本管理机制是云存储系统的重要组成部分。为了提高云存储系统的可伸缩性、可靠性,同时改善用户访问时间,通常采用多数据副本机制,并且需要解决数据副本放置问题。为此,提出了一种用于云存储系统的智能多数据副本放置机制。该机制基于p-中心模型,以最小化访问代价为优化目标,基于遗传算法（genetic algorithm,GA）确定优化的数据副本放置方案,基于生物地理学优化（biogeography-based optimization,BBO）算法确定用户访问请求对数据副本的优化分配。基于CloudSim进行了仿真实现和性能评价,结果表明,云存储智能多数据副本放置机制是可行和有效的。     

面向电耗与网络同步代价优化的数据副本放置研究

在数据中心放置海量数据时,每个数据常有多个副本,服务提供商需要支付巨额电费以运行存储这些数据副本的服务器。同时,为保证多个数据副本的一致性,放置在不同数据中心的副本需要通过数据中心之间的网络进行同步,从而引发高额的网络传输费用。为此,以最小化多副本数据放置代价为目标,建立数据放置问题模型,并提出一种基于数据组和数据中心划分的数据放置算法DDDP。将数据划分为多个数据组,按用户访问数据的延迟要求将数据中心划分成数据中心子集,并将每个数据组中的数据放置到能满足访问延迟要求且能最小化放置代价的数据中心子集中。仿真结果表明,相比NPR算法,DDDP算法能有效降低数据中心存储数据时的放置代价。     

基于图形处理器的并行方体计算

方体(cube)计算是数据仓库和联机分析处理(Online analytical processing,OLAP)领域的核心问题,如何提高方体计算性能获得了学术界和工业界的广泛关注,但目前大部分方体算法都没有考虑最新的处理器架构.近年来,处理器从单一计算核心进化为多个或许多个计算核心,如多核CPU、图形处理器(Graphic Processing Units, GPU)等.为了充分利用现代处理器的多核资源,该文提出了基于GPU的并行方体算法GPU-Cubing,算法采用自底向上、广度优先的划分策略,每次并行完成一个cuboid的计算并输出;在计算cuboid过程中多个分区同步处理,分区内多线程并行.GPU-Cubing算法适合GPU体系结构,并行度高.与BUC算法相比,基于真实数据集的完全方体计算可以获得一个数量级以上的加速比,冰山方体获得至少2倍以上的加速.     

SMDPA:基于访问频率的多维数据空间放置算法

针对一般数据访问模式,文中引入了“相似性”概念,提出了并行数据库中基于频率和相似性的多维数据空间放置的算法－ＳＭＤＰＡ算法。经过性能模拟发现ＳＭＤＰＡ算法在一般访问模式下依然能得到良好的平衡和并发性能。     

普适计算中基于上下文信息的缓存管理算法

普适计算的一个常见的难题是断连操作,而移动设备在断连状态下对数据进行操作又是必要的.为了支持断连操作,需要在移动客户端上进行数据缓存.数据收集的目的是在断连前把用户将来可能访问的数据预先存储到本地缓存,因此收集过程的结果将对断连操作的性能产生重大影响.目前针对断连操作的数据收集算法,对缓存命中都有一定效果,为了进一步提高缓存命中率,本文根据上下文信息进行数据收集算法;然后在访问数据时同步建立数据之间的关联,并在数据关联的基础上自动选择要收集的数据集;最后将结果按缓存驻留时间和访问次数进行缓存替换.模拟试验结果表明,此算法对于存储容量小的手持移动设备可以有效地提高断连操作时的缓存命中率,可以更好的支持移动设备的断连操作.     

Web日志挖掘中数据预处理技术的研究

在Web日志挖掘中数据预处理是整个挖掘过程的基础,由于客户端缓存的存在,在已往的预处理过程中都是通过路径补充技术得到用户完整的访问路径之后,才能进行事务识别.提出了一种只需根据网站的拓扑结构,不需要使用路径补充技术,由用户访问序列直接生成事务的算法.     

基于小波变换及矢量量化的隐像术

提出了一种新的图像保密系统（称为隐像术）,它把有关秘密图像的信息加密隐藏在另一可以开传送的普通图像中,不易引起窃听者的注意,达到了保护秘密图像的目的。试验结果表明,恢复出的秘密图像的PSNR值可达22．83dB,证明了隐像术有着令人满意的恢复质量。隐像术的优点是：用可公开传送的普通图像隐藏秘密图像,不易为窃听者所察觉;有效地压缩了所需保密和数据,一幅可公开传送的普通图像中可隐藏数幅秘密图像;秘密图像的信息是用DES算法加密的,确保了整个系统的安全性。     

个性化学习系统的聚类技术

基于日志的Web使用挖掘，利用用户访问页面的相关性提出用户兴趣度，并应用于远程教育中数据准备和页面的推荐过程．讨论教学过程中按需学习和因才施教的可行性，介绍聚类算法在预测推荐页面中的设计与应用．实验运行结果表明，该算法是可行和有效的．     

.NET平台下自适应缓存对象替换算法

缓存是提高Web应用程序性能的一个重要手段..NET平台下提供了数据缓存与页面缓存技术,在已经实现的缓存对象的基础上,设计了一种缓存对象的自适应替换算法.算法使用了基于缓存对象的价值与被访问频率的综合优先级策略,提出了相应的缓存对象被替换规则.算法充分考虑了缓存对象之间的依赖关系对优先级的影响.从对象命中率与系统的整体响应时间两个方面测试了算法的性能,测试表明所提出算法相对于最小价值算法、最少使用频率算法有较大的改进.     

开放式用户模型服务平台的设计与实现

为了构建一个公共的共享数据的用户模型平台,给各个接入该平台的网站提供更全面、更准确的用户信息,平台提供了数据接口和算法接口用于与第三方网站的交互,重点研究了如何解决来自不同数据源的用户数据的冲突,从而形成统一的用户模型的问题,最终实现了算法和模型以及数据的共享。实验结果表明,该平台更能准确、全面地构建用户模型。     

基于挖掘具有时态限制数据语义的实时事务调度算法

在实时数据库中,事务对时态数据对象的访问在很多领域的应用日益广泛。目前实时数据库中的事务调度算法大多仅考虑数据的逻辑一致性,而忽略了满足时态的一致性。论文提出了新的实时数据库中具有时态限制的事务调度算法PSBA(PredictionandSimilarity-BasedAlgorithm)。首先提出了临时数据截止期的概念,以定理的形式证明了低成本地预测算法的可行性,尽可能早地终止或推迟无法满足时态一致性要求的事务的执行,节省了计算资源以供其它事务执行。继而通过挖掘数据语义,利用数据相似性,结合预测算法,进一步提高了调度性能。与目前所知的有效算法比较,该算法在性能指标上(事务失败率、浪费的CPU时间)明显优于这些算法。     

Hierarchical structure to winged-edge structure: a conversion algorithm

The winged-edge data structure is advantageous for traversing the topological graph of the boundary representation of a solid object. This paper presents an algorithm for converting hierarchical boundary representations into representations in the winged-edge data structure. As a result of the conversion, the adjacency relationships of geometric entities embedded in hierarchical boundary representations,-which may be evaluated through boundary evaluation on solid objects defined via Boolean set-operations, can be easily and efficiently accessed.