移动环境下支持实时事务处理的数据预取

随着移动通信技术的迅速发展,人们提出了新的应用要求:在移动环境下处理实时事务.而移动通信带宽有限性引起较大的数据访问延迟,有时甚至由于网络传输的断接使得事务得不到所需要的数据,数据预取能够很好地解决这个问题.已有的移动环境下数据预取没有考虑到数据的流行性和事务的时间特性.该文分析影响实时事务数据预取的因素,首先考虑数据易变性、活跃性等因素,获得高价值预取数据集合;然后考虑访问预取数据的事务优先级、数据流行性等因素,构造预取数据的选择函数,通过该函数在前面选取的集合中筛选出对满足实时事务截止期更有价值的数据对象进行预取.实验表明,该数据预取策略能降低移动实时事务满足截止期的比率,更好地支持移动实时事务处理.     

数据库查询优化中的智能预取技术

提出了一种新的用于关系数据库查询缓冲和预取的方法.首先将数据查询语句抽象成由四元组组成的查询模板,同时保存了查询语句的实际参数.基于这些模板和参数,提出了两种智能预取算法以适应两类不同的数据查询需求.第一个算法基于蚁群规则,该算法能够用于预测将来具有最高可能性的查询.经过监控某个特定应用对于数据库所发生的大量查询,实际的模板数要远远小于发生的查询数.当通过考虑查询模板和跟踪历史查询记录来预测未来可能发生的查询时,提出了第二类算法.该算法基于惯性规则,它使用BP网络来跟踪用户的查询历史.相对于前面的算法,该算法更适合多应用共存的场合.在模拟实验中发现对于单个应用而言,查询具有很高的模板依赖性,而对于多应用场合,惯性规则具有更好的适应性.     

PostgreSQL数据库预取算法研究

减少磁盘的存取时间是提高数据库性能的关键.本文讨论了PostgreSQL数据库顺序存取的特性,提出了一种PostgreSQL中顺序预取数据块的算法,预取的数据块数目可根据当前存取块之前的顺序存取情况作自适应调整.实验结果表明,该算法能有效地提高磁盘块的平均存取速度.     

WebGIS中带图业务数据的缓存和预取机制研究

目前在WebGIS中地图缓存已得到深入的关注和研究,随着WebGIS客户端性能的逐渐增强,如图片音频等越来越丰富的内容也能被展示出来;由于服务端磁盘读取和网络传输两大瓶颈,一定程度上延长了用户访问这些资源的等待时间;以某高速公路管理系统为背景系统,采用了在服务端和客户端各加一组业务数据缓存、客户端启动后预先读取服务端缓存的方式,提高了带图片的业务数据的访问性能;同时根据该WebGIS中业务数据特有的地理位置关系,在分析用户访问轨迹后,客户端预测用户可能访问的下一条数据并预取,进一步提高了缓存性能。     

流媒体代理缓存和预取方法的研究

代理缓存可以降低用户的启动延迟，减轻网络流量和服务器的负载，且在Web中也已广泛使用。但由于流媒体和非流媒体(文本，图像)有着显著的区别，目前，支持流媒体的代理缓存技术还面临着许多挑战。文中针对流媒体的数据量大和高带宽需求等特性，对支持流媒体的代理缓存和预取方法进行了总结。调研、分类、比较了目前已有的一些缓存算法和预取算法的优缺点，为下一步的研究提供启发和借鉴作用，同时指出将来的研究方向和热点问题。     

Linux预取算法分析与研究

LinuX作为一个多任务、分时、通用的开源操作系统,越来越广泛地应用于各种商业和企业的服务器。为了提高系统的性能,LinuX采用预取技术将应用程序所需的数据提前加载到缓存中,减少应用程序的I／O等待时间。然而由于服务器系统负载的多样化,导致了预取算法遇到越来越多的挑战。该文主要从分析Linux-2．6．29张涛rc2内核源代码人手,对Linux预取算法的体系结构与内部机制进行了深入分析与研究,并提出了一些改进预取算法的方法．对于进一步提高Linux系统服务器的性能以及LinuX的推广与使用具有重要的意义。     

Web对象可预取性研究

目前的Web预取模型一般是基于预测算法来提前取得Web对象,缺乏对Web对象可预取性的研究.若在预取Web对象之前考虑该对象的可预取性,将减少不必要的预取,不仅可以提高预取算法的命中率,也可以减少网络流量和系统负载.详细讨论了Web对象的可预取性概念及相应的度量方法,并推导出在预取缓存交互的情况下,基于网络资源和系统负载计算预取阈值的公式,可用于Web对象的可预取性判断,指导预取控制,使得预取技术更加有效.     

VoD系统的数据预取及缓冲区动态分配策略

给出了一种基于用户数据消费率的动态数据预取和缓冲区分配策略，并通过构建数据读取函数Ｄａｔａｒｅｎｄ（），实现数据的读取和标准ＶＣＲ控制功能。     

非线性规律访存操作的数据预取技术

编译器在静态分析方式下很难对程序的非线性规律访存操作进行正确的数据预取.但采用profiling技术可以得到程序运行时候的访存规律,利用这些信息可以精确地插入数据预取指令.基于stride profiling技术,提出了新的信息收集类型stride iterative,更精确地反映程序执行时访存指令的实际行为,并结合别名分析的结果调整对同一cache行的数据预取,得到比普通数据预取更好的预取性能.安腾2上运行CPU2000的12个整型测试例子平均有8.54%的性能提升,其中mcf性能提升达到了77.87%.     

一种基于模板的数据预取和缓存算法

针对专题型应用中普遍存在的大数据查询的频繁性和模式固定性特点,提出一种基于模板的数据预取和缓存算法,用于加快数据查询响应速度并减轻服务器端负载压力。通过构建数据查询模板,在触发器被激发时调用模板以构建预取数据,提出基于模板的数据预取方法和基于触发器的预取算法;考虑缓存空间中一些大数据的存在对查询响应速度的优化性,建立缓存对象模型并提出改进的Hybrid算法。以东方红湿地环境监测平台为例进行算法实验与分析,实验结果表明,在不同的缓存百分比下,较之典型的缓存算法,改进的Hybrid算法在访问延迟率上均有改进,且在大数据量查询时表现出了优越的应用效果。     

基于二进制编码的Apriori增量更新算法研究

针对经典Apriori算法在迭代过程中频繁扫描数据库,且动态数据更新后需要重新处理数据的不足,提出一种基于二进制编码的增量更新改进CBEF-Apriori算法。该算法的核心思想是将添加增量后的项集、事务转换成二进制编码,从而将计算项集支持度转化为项集与事务数据库的二进制编码位运算过程。改进算法筛选原数据库生成的频繁项集与增量数据库新生成的候选项集,有效减少了候选项集的规模,提高算法效率的同时更符合现实需要。实验结果表明,相比于经典Apriori算法和CBE-Apriori算法,改进算法在挖掘出正确频繁项集的数量不降低的情况下,明显提升了计算效率,在小数据规模下相比经典Apriori算法最高提升3.6倍,相比CBE-Apriori算法最高提升1.4倍。在较大数据规模下相比经典Apriori算法最高提升10.41倍,相比CBE-Apriori算法最高提升11.53倍。     

一种基于数据压缩的Apriori算法

随着物联网技术的飞速发展,数据采集手段迅速增加,对海量数据分析与处理的需求也愈加强烈。关联规则挖掘算法通过数据之间的关联分析,挖掘出数据之间的隐含关系,进而获得了大量应用。在众多的关联规则算法中,传统的Apriori算法虽然得到了大量应用,但是因为该算法产生大量的候选集,而且需要多次对数据库进行扫描,导致该算法的运行效率大大降低。为了克服Apriori算法的以上缺点,通过数据压缩的方法减少了数据库扫描次数的同时,对生成的候选集进行了多次验证,大大减少了无效候选集的数量。大量的数据挖掘实验证明提出的改进算法可以在正确挖掘数据集关联规则的同时,大大提高了算法的运行效率。     

Sleepers and workaholics: Caching strategies in mobile environments (Extended version)

In the mobile wireless computing environment of the future, a large number of users, equipped with low-powered palmtop machines, will query databases over wireless communication channels. Palmtop-based units will often be disconnected for prolonged periods of time, due to battery power saving measures; palmtops also will frequently relocate between different cells, and will connect to different data servers at different times. Caching of frequently accessed data items will be an important technique that will reduce contention on the narrow-bandwidth, wireless channel. However, cache individualization strategies will be severely affected by the disconnection and mobility of the clients. The server may no longer know which clients are currently residing under its cell, and which of them are currently on. We propose a taxonomy of different cache invalidation strategies, and study the impact of clients' disconnection times on their performance. We study ways to improve further the efficiency of the invalidation techniques described. We also describe how our techniques can be implemented over different network environments.     

基于频繁项集挖掘算法的改进与研究

关联规则挖掘是数据挖掘领域中重要的研究内容,频繁项集挖掘又是关联规则挖掘中的关键问题之一。针对已有的频繁项集挖掘算法存在的问题,通过对Apriori算法的分析,提出了Inter-Apriori频繁项集挖掘算法。该算法使用交集策略减少扫描数据库的次数,从而使算法达到较高的效率。实验结果表明,Inter-Apriori算法是Apriori算法效率的2～4倍。     

针对移动计算环境改进的T-Tree缓存设计

在移动计算环境下,缓存策略可以有效地减少客户端和骨干网络服务器之间的通信量,从而提高分布式计算数据的访问效率,但这对数据的及时更新也提出了较高的要求.应用传统的T树结构处理频繁更新的缓存数据时,其结构不断的平衡调整会造成系统性能恶化.提出并设计了一种改进的T树缓存结构,针对不同缓存数据的行为特征进行空间划分,构建有针对性地缓存,从而为提高分布式系统的整体性能提供了有效途径,为保证分布式计算数据的一致性提出了一种新的思路.     

移动计算环境中基于广播的数据缓存策略

在研究了数据广播频率的变化对缓存策略的影响之后,提出以移动客户机（Mobile Client,MC）从广播中读取数据的平均响应时间为标准,来决定是否缓存该数据项。其优点是可以避免每次访问这些数据项等待较长时间,同时也可降低移动客户机缓存管理的代价,提高其工作性能。     

一种改进的Apriori算法

关联规则挖掘是数据挖掘研究的重要内容之一。通过对关联规则挖掘算法的详细分析,提出了一种基于有向关联图的频繁项集挖掘算法,该方法仅需扫描数据库一次,避免了Apriori算法繁琐的连接和删除步骤,从而提高了搜索速度。     

Uncertain context data management in dynamic mobile environments

Building systems that acquire, process and reason with context data is a major challenge. Model updates and modifications are required for the mobile context-aware systems. Additionally, the nature of the sensor-based systems implies that the data required for the reasoning is not always available nor it is certain. Finally, the amount of context data can be significant and can grow fast, constantly being processed and interpreted under soft real-time constraints. Such characteristics make it a case for a challenging big data application. In this paper we argue, that mobile context-aware systems require specific methods to process big data related to context, at the same time being able to handle uncertainty and dynamics of this data. We identify and define main requirements and challenges for developing such systems. Then we discuss how these challenges were effectively addressed in the KnowMe project. In our solution, the acquisition of context data is made with the use of the AWARE platform. We extended it with techniques that can minimise the power consumption as well as conserve storage on a mobile device. The data can then be used to build rule models that can express user preferences and habits. We handle the missing or ambiguous data with number of uncertainty management techniques. Reasoning with rule models is provided by a rule engine developed for mobile platforms. Finally, we demonstrate how our tools can be used to visualise the stored data and simulate the operation of the system in a testing environment.     

加权关联规则的改进算法

论文讨论了加权关联规则问题,针对布尔类型的加权关联规则问题提出一种改进算法。该算法首先利用普通的关联规则算法产生频繁集,然后在该频繁集的基础上产生加权频繁集。同时,给出了最优的最小支持度设定方法,保证了普通关联规则算法所产生的频繁集为加权频繁集的超集。该算法有较高的效率,并且能够有效利用已有的关联规则算法。     

Qos-aware mobile service optimization in multi-access mobile edge computing environments

With the rapid development of mobile Internet technologies and various new service services such as virtual reality (VR) and augmented reality (AR), users’ demand for network quality of service (QoS) is getting higher and higher. To solve the problems of high load and low latency in-network services, this paper proposes a data caching strategy based on a multi-access mobile edge computing environment. Based on the MEC collaborative caching framework, an SDN controller is introduced into the MEC collaborative caching framework, a joint cache optimization mechanism based on data caching and computational migration is constructed, and the user-perceived time-lengthening problem in the data caching strategy is solved by a joint optimization algorithm based on an improved heuristic genetic algorithm and simulated annealing. Meanwhile, this paper proposes a multi-base station collaboration-based service optimization strategy to solve the problem of collaboration of computation and storage resources due to multiple mobile terminals and multiple smart base stations. For the problem that the application service demand in MEC server changes due to time, space, requests and other privacy, an application service optimization algorithm based on the Markov chain of service popularity is constructed, and a deep deterministic strategy (DDP) based on deep reinforcement learning is also used to minimize the average delay of computation tasks in the cluster while ensuring the energy consumption of MEC server, which improves the accuracy of application service cache updates in the system as well as reducing the complexity of service updates. The experimental results show that the proposed data caching algorithm weighs the cache space of user devices, the average transfer latency of acquiring data resources is effectively reduced, and the proposed service optimization algorithm can improve the quality of user experience.