数据流上加权共享滑动窗口的连接查询处理算法

在数据流应用中,系统经常需要处理大量的滑动窗口连续查询,采用共享滑动窗口技术可以有效节省存储空间,提高系统整体的查询处理能力。但是共享滑动窗口技术会增大单个查询的响应延迟,降低单个查询的服务质量。针对这个问题,论文提出了加权共享滑动窗口的概念,并提出了三种优化的连接执行算法,优先响应重要的滑动窗口查询,从而提高了系统整体的服务质量。理论分析和实验结果表明论文提出的方法是行之有效的。     

基于滑动窗口的数据流连续J-A查询的处理方法

数据流滑动窗口连接聚集连续查询(简记J-A查询)是经常使用的一类查询.这类查询的直观处理方法是创建查询操作树,以流水线的方式计算查询结果.这种方法需要在主存中保存滑动窗口连接的结果,查询处理的主存空间开销为O(α×β),其中(,(为参加连接两个滑动窗口的大小.在数据流的查询处理中,内存是最重要的计算资源.提出了两种滑动窗口J-A连续查询处理算法--IC算法和TC算法,使得查询处理的空间开销降为Ο(α+β).理论分析和实验结果表明,所提出的算法具有更高的效率.     

数据流上基于扩展窗口模型的连接维护算法

随着数据流查询处理在越来越多的领域得到应用,现有的窗口模型和处理方法已无法满足复杂的需求,需要进行模型的改进和操作的优化.提出了一种扩展的窗口模型来表达更丰富的语义,并针对该模型利用元组位置信息对连接操作的批处理过程和结果维护进行了查询的优化.在此基础上,针对用户实时需求提出一种动态Hop调整策略.实验表明,该方法在时间和空间都获得了较好的性能.     

一种数据流上基于滑动窗口的点连接查询处理算法

连接是数据库研究中至关重要的一环,在没有边界、连续的数据流模型中,由于存储有限和实时性需求,连接算法主要基于滑动窗口作近似处理.主要研究数据流上一种特殊的连接,命名为点连接.点连接是指对于任意r∈R(称为主流),有唯一的s∈S(称为副流)与之对应,其中s.a=r.a且s.time最接近r.time(time称为时间特征).因此,流R与流S上的数据属于n∶1的关系.而在真实的分布式环境下,因为网络等原因,流数据到达的时间和顺序往往不一致,导致连接成功率下降.提出一种新的连接查询处理算法,能够在复杂的网络环境下获取更多的连接输出.实验模拟了2种网络环境,分别在数据有序到达和数据乱序到达2种情况下对算法验证,证明此算法比已有算法更优.     

分布式数据流连接查询算法

分布式处理是数据流管理系统发展的必然趋势。文章研究了分布式数据流的连接查询，提出DM3Join算法，它由2部分组成：一是通过分解并发的连接请求，合并相同的连接谓词，形成分布式查询操作算子；二是数据流在各分布式代理(Agent)中流转实现部分连接，并在查询引擎处组合成最终结果。DM3Join算法采用了一种类似路由表的结构执行窗口连接，由于可以共享中间结果，算法只需扫描数据1遍。分析和实验证明，该连接算法是高效的。     

数据流上多滑动窗口聚集查询的优化算法

在数据流的查询处理中,聚集查询是一种常用的查询类型.系统经常需要在同一个数据源上处理多个聚集查询,而单独地执行每个查询会导致严重的可扩展性问题和性能问题,因此实现相似查询之间的资源共享变得至关重要.针对多个具有不同时间窗口的聚集查询,本文提出了一种优化的窗口聚集算法OPWA(Optimized Paired Window Aggregation).先根据各时间窗口参数对聚集查询进行分组,使得相似查询可以同步调度;再采用paired技术对数据流进行分割.一方面减少了时间切片的数目,降低了空间的需求;另一方面同步地执行相似查询,减少了系统的计算开销.实验表明OPWA具有较好的性能.     

一种基于滑动窗口的数据流相似性查询算法

相似性查询是一种非常重要的数据挖掘应用。由于数据流具有无限、高速等特性,传统的查询算法不能直接应用于数据流。提出了一种基于小波滑动窗口的多数据流相似性查询算法。算法首先将滑动窗口划分成若干等宽基本窗口,然后对每个基本窗口内的数据进行小波分解与系数约简,从而形成小波摘要窗口。执行相似性查询时,直接基于小波摘要进行计算,而无需数据重构。由于利用了小波分解的线性处理优点,算法具有较低的时间复杂度。最后,基于实际数据对算法进行了实验,实验结果证明了算法的有效性。     

基于滑动窗口的数据流连接聚集查询降载策略

基于单个数据流的滑动窗口聚集查询降载技术和数据流连接技术,提出滑动窗口模型下的数据流连接聚集查询降载策略,给出判断系统是否过载的负载方程和使过载系统恢复到轻载状态的降载算法,使降载后的查询结果同时拥有较小的相对误差和最大的元组输出率。实验结果表明,该降载策略具有较好的可行性和适应性。     

基于数据流处理模型的多查询优化算法

针对现今数据处理日益复杂、数据量剧增的情况,本文提出使用数据流处理模型。该模型主要使用于需要实时在线处理并及时反馈结果的数据处理。在此模型的基础上,本文提出一种新的多查询优化算法——INCO算法。该算法计算简单,而且不牵涉其他查询。实验证明,该算法在连接查询方面有明显优势。     

基于滑动窗口的数据流压缩技术及连续查询处理方法

基于滑动窗口的连续查询处理是数据流研究领域的一个热点问题．已有的研究工作均假设滑动窗口内的数据能够全部保存在主存中,若滑动窗口内的数据量超过了可用主存空间,已有的查询处理方法则无法正常工作．提出两种数据流上的滑动窗口压缩技术,有效地降低了滑动窗口的存储空间需求．同时,给出了基于压缩滑动窗口的连续查询处理算法,理论分析和实验结果表明,这些算法具有很好的性能,能够满足数据流连续查询处理的实时性要求．     

RISQ:一种高效处理概率数据流上Skyline查询的算法

多维空间的Skyline分析在多标准决策领域有着广泛的应用。以往的工作仅关注确定数据集或数据流上的Skyline处理,而概率数据流上的Skyline查询未被研究过。基于“可能世界”的语义,提出了一种以R#树为索引的高效处理概率数据流上Sky-line查询的算法RISQ（R#-tree indexed Skyline query）。通过预淘汰机制和最小化概率补偿等策略来提高算法的性能。     

一种新的基于属性相关性的数据流特征选择算法的研究

高维数据流包含大量的无关信息和冗余信息,这些信息可能极大地降低学习算法的性能。利用属性相关性可以有效地去除数据流中的不相关属性和冗余属性,提高学习算法的效率。分析现有的属性相关性计算方法在应用中的局限性,提出基于曲线拟合的属性相关性特征选择算法FSCFFR(Feature Selection based on Curve-Fitting Feature Relevance)。理论分析和实验表明,FSCFFR在特征选择过程中具有较高的实时性和有效性。     

分布式密度和中心点数据流聚类算法的研究

分析分布式数据流聚类算法的基本框架结构,针对CluStream算法对非球形聚类效果不佳提出一种基于密度和中心点的分布式数据流聚类算法DDCS-Clustering(Distributed Density and Centers Stream Clustering)。该算法应用密度、中心点与衰减时间窗口,在分布式环境下对数据流进行聚类。实验结果表明,DDCS-Clustering算法具有较高的聚类质量与较低的通信代价。     

序列分段算法在磁阻效应数据处理中的应用

对磁阻效应作用原理和磁阻元件的应用进行了介绍,并利用序列分段算法对磁阻效应实验数据分析处理的方法进行了设计和验证。     

基于字符串匹配的通用数据压缩算法

本文主要介绍基于字符串匹配的数据压缩算法原理，该算法从多方面时著名ＬＺ７７算法进行了改进，我们的算法所用到的工作缓冲区是一个循环历史表，摈弃了输入符号超前缓冲区；结果，匹配过程是边接收输入边进行，无需等待一组输入数据填满超前缓冲区才开始，同时，最大争配长度不再受超前缓冲区大小的限制，而且，不再需要做大量的平移工作缓立足点冲区的操作，另外，还涉及一些其他方面的改进，包括改等长压缩码为变长码和引入匹配     

面向数据流的一个高效用项集挖掘算法

近年来,在数据流中进行高效用项集挖掘成为一个重要的研究课题。已存在的算法在挖掘过程中产生大量的候选项集,使用户很难从大量候选模式中筛选出有用的信息。针对这种情况,提出一个数据流高效用项集挖掘算法HUIDE(High-Utility Itemsets Over Data Streams)。算法首先综合考虑数据的信息特征,提出一种有效的效用度量方法。然后采用基于时间的滑动窗口技术更加准确地描述数据分布,构建一种树结构HUI-tree(High Utility Itemsets tree)。最后遍历构建的树结构HUI-tree挖掘高效用项集。在人工和真实数据流上的实验结果表明该算法通过扫描一次数据库获取挖掘结果,减少了候选项集的产生及时间和空间的消耗。该算法在数据流中能够有效地挖掘高效用项集。     

基于XML数据的可变表格排版设计与实现

着重于讨论可变表格基本结构,包括行、列、单元格结构。在对银行用户数据分析的基础上,描述了用于排版内容的树形结构。进而阐述了表格重复信息结构对二层嵌套结构可变数据排版的支持。最后通过数据替换引擎模块将印前排版设计和后端输出紧密结合起来。     

一种基于离散混沌系统的密钥流设计算法

本文设计了一种基于离散混沌系统的密钥流发生器算法．通过把简单混沌系统 与线性系统、分段线性状态反馈函数所形成的混沌系统在阈值化后进行异或运算，使得输出 的密钥流为不可预测性的伪随机序列．分析和仿真结果表明，本算法能有效地抵抗对系统的 预测攻击及统计分析，能够达到密码学上对密钥流的要求．该算法可作为流密码体制中的密 钥流发生器．     

基于FAT32的数据恢复系统的设计

恶意删除或数据误删现象时常发生,数据恢复的成败关系到信息的安全.根据基于FAT32系统的删除文件的四种情形,设计基于FAT32的数据恢复算法.系统依据被删除文件的创建时间与该分区或该分区下某一目录中现存文件的创建时间的比较结果来定位被删除文件,读取该文件信息,恢复被删除文件.系统具有简单、易用、灵活、高效等特点.     

基于XML的异构数据源查询系统设计

XML语言因其具有与平台无关、易于扩展、数据描述性(语义性)强等特点,目前己经成为数据交换的标准,基于XML的数据查询技术研究成为当前研究的一个热点.在对异构数据集成关键技术的分析和研究的基础上,设计基于XML的异构数据源查询系统,为用户提供一个统一的数据集成平台以及优质、快速的信息资源共享服务,从数据集成的层面解决当前普遍存在的"信息孤岛"问题.