一种基于缓存的并发ETL数据流程处理框架

ETL(Extraction-Transformation-Loader)是企业内部和企业间信息资源交换和共享的关键技术。随着企业数据量的剧增,如何提高数据处理能力和执行效率成为ETL需要解决的难题之一。提出一个基于缓存的并发ETL数据流程处理框架,该框架使用基于组件分类的缓存复用技术来降低内存消耗和数据拷贝次数;同时使用一种并发的数据处理流程调度执行策略,该策略具有任务、流水线、数据处理多粒度并行的特点。该方法已在网驰平台ONCE DQ实现并得到验证。     

基于JPEG的固定背景视频压缩算法研究

为了对固定背景视频进行压缩并获得较高的压缩比,在JPEG静止图像压缩标准的基础上提出了一种新的应用于固定背景视频压缩的算法.对第一帧图像进行JPEG格式的压缩并保存量化后的离散余弦变换系数,对第一帧后的每一帧图像,在进行离散余弦变换和量化后,先同存储器内的第一帧图像的离散余弦变换系数进行异或运算再进行熵编码.通过使用该算法和H.264视频压缩标准对同一段固定背景视频进行压缩并比较压缩后的数据量,表明了该算法具有较高的压缩比.     

煤矿井下低比特率数字扩音电话系统设计

针对目前煤矿井下模拟扩音电话系统抗干扰能力弱,传输距离短、功耗高、难以和井下通信系统融合等问题提出了低比特率数字扩音电话系统的设计方案.系统基于AMBE压缩编码算法,使用AMBE-1000语音编码解码芯片,以C8051F310为控制核心.详细介绍了关键模块的硬件电路、软件流程图及工作原理.应用结果表明,该系统稳定、可靠、传输距离远,满足了煤矿井下环境的要求.     

XML 数据流上Top-K 关键字查询处理

利用关键字可以在模式未知的情况下对XML数据进行查询.在当前的XML数据流上的关键字查询处理中,打分函数往往不能都满足各种用户不同的需求.提出了一种基于skyline的XML数据流上的Top-K关键字查询.对于这种查询,不需要考虑影响结果与查询相关性的复杂因素,只需利用skyline挑选与查询最相关的结果.提出了两种XML数据流上的有效的基于skyline的Top-K关键查询处理算法,包括对单查询和多查询的处理算法.通过扩展实验对两种算法的有效性和可扩展性进行了验证.经过实验验证,所提出的查询处理算法的效率几乎不受关键字个数、查询结果数量、查询数量等参数的影响,运行时间和文档大小大致呈线性关系.     

n-of-N 数据流模型上高效概率Skyline 计算

研究概率数据流上的q-skyline计算问题.与只支持滑动窗口数据流模型的已有方法相比,所提出的方法能够支持更为通用的n-of-N数据流模型.采用将q-skyline查询转换为区间树上刺入查询的方法支持n-of-N数据流模型.提出PnNM算法维护支持n-of-N数据流模型所需的相关数据结构,高效处理了不确定对象候选集合更新和区间更新等维护工作;提出PnNCont算法实现连续查询处理.理论分析和实验结果表明,算法能够有效地支持概率数据流n-of-N模型上的q-skyline查询处理.     

一种利用并行复算实现的OpenMP 容错机制

基于并行复算的故障恢复技术,将故障恢复的计算任务分配至未发生故障的结点上并行执行,从而显著缩短复算时间,有效降低故障恢复开销,提高并行程序容错性能.基于该故障恢复技术,提出了一种针对OpenMP并行程序的容错机制PR-OMP,有效解决了分段复算、复算负载重分布等问题;此外,还扩展了传统编译数据流分析技术,提出了针对OpenMP并行程序的数据流分析技术,并基于该技术计算状态保存开销进行优化.设计实现了用于支持PR-OMP的编译工具GiFT-OMP,并通过实验证明了PR-OMP机制及其支持工具的有效性,评估并分析了其性能和可扩展性.     

基于启发式搜索的IP数据流分类方法的研究

基于应用层载荷特征的IP流分类技术的准确性较高,但是,当特征库庞大时遍历匹配特征库需要消耗大量的时间.鉴于此,提出一种将应用层载荷特征和启发式搜索相结合的IP数据流分类方法.通过从各种应用产生的数据包之间提取共同特征并以此共同特征建立启发式规则,根据启发式规则将特征库划分为多个特征子集,在数据包匹配过程中只需要根据启发式规则搜索匹配特定的特征子集,从而大大减少了对无关特征的匹配过程,使待匹配的特征子集具有更强的针对性、使得时间性能得到提高.对于部分应用采用以DNS为引导的方法来对数据包进行分类,该方法部分消除了基于载荷无法对加密数据进行识别的弊端.本文用C语言实现了该算法,并与开源软件l7-filter算法进行了对比实验.实验结果表明:在离线状态下,本文提出的方法的分类速度是l7-filter分类速度的6-10倍,总体识别准确性达到98%以上.     

突发数据传输模式下片上网络的QoS保证

针对在突发数据(Bursty)传输模式下,片上网络如何提高其传输服务质量(QoS)的问题,提出在虚拟通道(Virtual Channel,VC)中划出专门的空间用来传输突发数据流.在对网络拓扑结构中的平均延时,理想平均吞吐量和能量消耗进行了理论评估的基础上,运用NIRGAM软件仿真平台,在对虚拟通道(Virtual Channel,VC)中的75％或50％用来传输突发数据流(Bursty)的两种不同的情况下,对其各项参数进行仿真和比较.实验结果显示,此方法可有效的提高片上网络的传输服务质量(QoS).     

基于优化编码的LFSR重播种测试压缩方案

大规模高密度集成电路测试中存在测试数据量大、测试功耗高等问题.提出了一种先通过编码优化测试集,再使用线性反馈移位寄存器(linear feedback shift register,LFSR)重播种的内建自测试方案.该方案通过自动测试模式生成工具得到被测电路的确定测试集,再压缩为种子集存储在片上ROM中.压缩测试集的过程中,首先以降低测试功耗为目标,用少量确定位编码测试集中的部分测试立方,来增强解码后测试模式相邻位之间的一致性;然后以提高压缩率同时降低LFSR级数为目标,将测试立方编码为确定位含量更少的分段相容码(CBC),最后将以CBC编码的测试立方集压缩为LFSR种子集.实验证明所提出的方案在不影响故障覆盖率的前提下大量降低了测试功耗,并且具有更高的测试数据压缩率.     

基于高斯模型的不确定数据流Skyline查询方法

由于数据的动态性及不确定性等特征,使得不确定数据流上Skyline查询研究面临挑战.不确定对象一般采用多元概率密度函数(PDF)表示,现有的不确定数据流Skyline查询方法均采用离散型随机变量建模.然而不确定数据流中的对象可能是连续变化的,离散模型对连续性随机变量难以适用.针对连续PDF建模的不确定数据流Skyline查询进行了研究,提出了基于高斯模型的不确定数据流Skyline查询方法(SGMU),该方法包含2个过程:1)动态高斯建模算法(DGM):对滑动窗口采样并建立高斯模型,将原始的数据流转化为不确定对象PDF的参数流;2)提出了基于高斯树的查询算法(GTS)以建立空间索引结构和执行Skyline查询.实验结果表明,SGMU算法不仅能够对连续型不确定对象进行有效建模以辅助Skyline查询,而且能够有效地减少查询对象个数,提高Skyline查询效率.