An Efficient Scalable Runtime System for Macro Data Flow Processing Using S-Net

S-Net is a declarative coordination language and component technology aimed at radically facilitating software engineering for modern parallel compute systems by near-complete separation of concerns between application (component) engineering and concurrency orchestration. S-Net builds on the concept of stream processing to structure networks of communicating asynchronous components implemented in a conventional (sequential) language. In this paper we present the design, implementation and evaluation of a new and innovative runtime system for S-Net streaming networks. The Front runtime system outperforms the existing implementations of S-Net by orders of magnitude for stress-test benchmarks, significantly reduces runtimes of fully-fledged parallel applications with compute-intensive components and achieves good scalability on our 48-core test system.     

基于WEB视频流的远程异步授课系统

网络远程异步授课系统是结合基于Web的视频点播技术、信息发布与服务技术、网络多媒体技术和大型的网络数据库技术,提出的新型的网络授课系统,它具有教学不受时间、地域的限制,交互性好,应用面广,推广成本低,更新速度快,易于管理和维护等优点。该文详细讨论了异步授课系统的设计方法及功能的实现技术。     

带Order子句的XQuery在XML流上的查询实现

随着XML的广泛应用,使得作为XML文档查询语言的XQuery成为人们研究的热点问题.将复杂XQuery在XML数据流上的查询应用于服务器/客户端模式来满足高效、实时查询的要求,所实现的XQuery查询原型系统XSIEQ支持嵌套、order子句的多关键字排序等.一次典型的XQuery查询过程可分为XPath查询、查询后处理两个阶段,本文着重描述查询后处理过程,最后给出了XSIEQ和Qizx在查询后处理时间性能上的对比及分析.     

流式处理的异步图处理框架

大图数据的处理与分析是近年来的热点研究问题,分布式图计算是目前处理大图数据的主流技术,但是存在诸多无法避免的问题,比如分布式计算的负载均衡和分布式实现的调试和优化仍然非常困难。另一方面,近几年的研究表明,通过设计合理的数据结构和处理模型,在单个PC上基于大容量磁盘的大图计算往往可以获得与分布式图计算相当的处理性能。文献[14]显示,GraphChi在单机上的处理性能与Spark在50台节点上处理性能相差无几。本文结合累加迭代计算和单机并行处理技术,提出流式处理的异步计算模型ASP。它实现了对磁盘的完全顺序访问,允许流式的顺序载入结构数据的同时进行异步更新计算。基于ASP模型,我们提出了一种流式处理的异步图处理框架S-Maiter,实现了高效率的基于外存的单机大图处理,通过I/O线程优化、内存资源监控、shard级优先级调度等优化技术,大大提高了系统处理大图数据的性能。实验结果表明,在处理大图数据（1300万顶点,5亿连边）时,仅仅需要1台PC机计算资源的S-Maiter与在16台PC上运行的分布式Maiter的性能几乎相当。并且S-Maiter比另外一个流行的单机大图处理系统GraphChi快1.5倍。     

分布式流处理技术综述

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向.     

异步数据流中关键目标提取及分类研究

事件相机因其生物视觉的启发渊源,打破了计算机视觉领域的常规数据获取方式,直击计算机视觉领域中RGB图像的痛点,带来了二维图像传感器无法比拟的优势,引起了广大研究者的密切关注.事件相机带来去除冗余信息、快速感知能力、高动态范围的感光能力和低功耗特性等优势的同时,其异步的事件数据无法直接应用于现有的计算机视觉处理模式.因此,利用基于关键事件点的分类方法对事件相机的数据流进行分类.该方法检测带有重要信息的角点事件,并只对角点事件进行特征提取.在保留事件重要特征和凝练提取事件流特征的同时,有效地减少了对其他事件的运算量.对预设手势进行识别,以此验证该方法的有效性,实现了97.86%的准确率.     

基于区域聚类的查询流处理

提出一种处理区域查询流的新方法.选择并保存一些处理后的查询,将其进行区域聚类,构成较大的区域并检索和保存其元组.对新的查询,尽量使用内存中的元组,以减少对数据库I/O操作次数,进而加快查询速度.该方法对低维和高维数据都有效,实验证明该方法与朴素方法相比,其性能更高.     

XML数据流上的有序XPath查询处理

XML数据流上的查询处理是最近研究工作的一个热点,如何高效地处理XML数据流上的XPath查询是其中的核心问题.之前的相关工作主要考虑了无序XPath查询处理的情况,而在股票信息监控、新闻信息订阅等很多的XML数据流应用中常常需要对有序XPath查询进行有效的支持.对于有序XPath查询的处理,之前的方法需要将查询进行分解,然后通过连接将分解后的子查询得到的中间结果合并.针对有序XPath查询自身的特点,提出了在查询树上引入顺序和位置标记,记录查询结点之间的顺序关系,并在此基础上提出了一种创新的XML数据流上的XPath查询处理算法OrderedXP.相比之前的工作,OrderedXP能够大量地减少缓存的中间结果数目,而且不需要分解原来的查询,避免了额外的连接操作.详细的实验数据验证了OrderedXP能够显著地提高有序XPath查询在XML数据流上的执行效率.     

图形处理器的流执行模型

图形处理器极高的流计算能力使其成为实现实时流应用的有效方案。该文抽象出图形处理器的流执行模型,描述图形处理器流处理机制的执行过程,在图形处理器上实现了二维离散余弦变换。实验结果表明,图形处理器对标清格式的视频压缩编码效率可达70 fps。     

A Task Allocation Method for Stream Processing with Recovery Latency Constraint

Stream processing applications continuously process large amounts of online streaming data in real time or near real time. They have strict latency constraints. However, the continuous processing makes them vulnerable to any failures, and the recoveries may slow down the entire processing pipeline and break latency constraints. The upstream backup scheme is one of the most widely applied fault-tolerant schemes for stream processing systems. It introduces complex backup dependencies to tasks, which increases the difficulty of controlling recovery latencies. Moreover, when dependent tasks are located on the same processor, they fail at the same time in processor-level failures, bringing extra recovery latencies that increase the impacts of failures. This paper studies the relationship between the task allocation and the recovery latency of a stream processing application. We present a correlated failure effect model to describe the recovery latency of a stream topology in processor-level failures under a task allocation plan. We introduce a recovery-latency aware task allocation problem (RTAP) that seeks task allocation plans for stream topologies that will achieve guaranteed recovery latencies. We discuss the difference between RTAP and classic task allocation problems and present a heuristic algorithm with a computational complexity of O(n log² n) to solve the problem. Extensive experiments were conducted to verify the correctness and effectiveness of our approach. It improves the resource usage by 15%–20% on average.     

基于区域聚类的查询流处理

提出一种处理区域查询流的新方法。选择并保存一些处理后的查询,将其进行区域聚类,构成较大的区域并检索和保存其元组。对新的查询,尽量使用内存中的元组,以减少对数据库I/O操作次数,进而加快查询速度。该方法对低维和高维数据都有效,实验证明该方法与朴素方法相比,其性能更高。     

Asynchronous Heterogeneous Mechanism for Hyper-Distributed Hyper-Parallel Al Processing

1IntroductionThehyper-distributedhyper--parallelartificialintelligence(Al)approachisexpectedtobeabletoovercomemanyformidabledifficultiesarisingintheclassicalsequelltialsymboliclogicandtheordinaryneuralnetworks.Theconcurrentpropagationofcompetitivewaveshasbeenusedinhyper--distributedhyper-parallelheuristicsearchingsuccessfully[1--3].In[1]and[2],however,therearemanyrestrictionsimposedonthewavepropagation,knownasthesynchronoushomogeneouspropagationortheasynchronoussuperimpositionofpartialsynchron…     

面向流式处理系统的对象管理方法

在车联网的应用实践中,人们将分析车辆数据的任务运行在流式计算系统中。在运行分析中发现,这些任务具有运行周期长,处理延迟低,任务有状态等需求和特点,并且计算过程中需要在内存中保存大量计算参数和中间状态等数据对象,其中大量的数据对象并不活跃,任由其占用内存造成了系统资源的浪费。针对该问题开展研究,给出了流式任务的数据对象管理方法,优化了内存的使用。为流式数据对象建立生命周期模型,采用应用驱动、数据驱动的模型参数确定方法为流式数据对象设置合适的过期参数,设计车联网测试用例,验证该生命周期管理方法的有效性。实验结果表明,该方法在用户可接受的处理延迟范围内,能够有效地减少流式系统中不活跃对象的数目,达到了优化内存,降低资源开销的目的。     

CEStream:一种复杂事件流处理语言

复杂事件处理是支持大数据处理的流式计算平台的核心技术之一。CEStream语言作为一种新型的事件流处理语言,支持分布式环境下的复杂事件处理。该语言以XML等层次化数据为数据模型,为复杂事件检测提供了一种正规树模式匹配功能,并且支持结构连接和正规式匹配。同时,针对分布式的多个事件流,其能够将各个事件源模式匹配的结果按照时间顺序再一次进行正规式模式匹配,满足多源组合型复杂事件的检测需求,具有较强的事件处理能力。为了实现CEStream语言,研制了一个基于流数据处理集群和远端查询代理的执行引擎系统。该系统通过远程查询代理实现基于正规树模式的事件检测,通过流处理集群完成多源组合型复杂事件处理。实验表明,该系统实现了CEStream语言,有效地限制了各个节点之间的通信量,充分利用了集群的计算能力,整体性能能够满足应用需求。     

基于扩展ASP的RDF流处理系统

对传感器产生的语义数据流执行复杂推理的能力, 最近已成为语义网社区中的重要研究领域, 而目前大多数RDF流处理系统是以SPARQL (W3C标准RDF查询语言)为基础实现的, 但这些引擎在捕获复杂的用户需求和处理复杂的推理任务方面存在局限性. 针对此问题, 本文结合并扩展了回答集编程(Answer Set Programing, ASP)技术用于对RDF流进行连续的处理. 为了验证本方法的有效性, 首先以智能家居本体为实验对象, 并分析传感器设备间的共有特性及复杂事件以构建本体库; 然后基于本体库产生实例对象, 并通过中间件产生RDF数据流; 接下来通过扩展ASP, 充分利用其表达和推理能力以减少推理时间, 并设计了RDF 流的窗口划分策略等, 然后根据用户的请求, 选择性地进行静态知识库加载等; 最后通过实验与Sparkwave和Laser进行对比, 证明了该方法在延迟和内存上的性能优势.     

XQuery在XML流上查询的结构化连接

通过分析XQuery查询与XPath查询的区别与联系,定义了扩展的基本XSIEQ机E-XSIEQ,它是一种被索引化、基于栈的自动机。提出用变量表来收集XPath查询结果,并将这些中间结果组织成原子表集合,结果构造时能够根据原子表元组之间的上下文关系,对原子表集合快速地进行连接。描述了XQuery查询过程中的结构化连接算法,给出了结果构造的时间性能分析。     

脑血流信号的采集与处理

脑血流信号可提供人体血管的弹性度，血流量等指标，文章给出了对脑血流信号进行提取及对脑血流信号进行处理的方法。给出了系统的硬件和软件框图。     

数据流中一种适应性查询处理机制

针对数据流中连续查询特征,本文提出一种适应性的查询处理机制,它不但能在有限时间内最大可能地输出结果元组,也可对有限的元组以最快时限输出。而此查询处理机制主要依托于基于输出速率的代价模型,此模型将不断变化的流速、谓词选择率、操作符处理时间作为代价函数变量,将输出速率作为代价模型的函数值。因此此代价模型可适应环境以及数据流本身不断变化的因素,并可作为查询计划动态选择的标准。实验证明此适应性查询处理机制最终能有效地提高输出速率、增加查询吞吐量、减少时间延迟,降低查询间内存占有量。     

分布式流处理系统的容错性能基准测试

随着对数据处理的实时性要求越来越高,分布式流处理系统应运而生。但是在分布式的集群规模下,各种软硬件原因导致的故障很难避免的。现有的相关基准测试主要关注于分布式流处理系统的处理性能,很少对该类系统处理故障的容错性能进行评测,以至于关键应用在系统选型的时候特别艰难。针对分布式流处理系统的容错性能,本文设计并实现了一套灵活的基准测试框架。最后,本文在开源数据流处理系统ApacheStorm和ApacheFlink进行了容错性能的基准测试,验证定义的测试基准的正确性和有效性,实验结果也表明Flink的容错性能相对较好。