支持高并发数据流处理的MapReduce中间结果缓存

针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的key/value中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种基于概率的B树构造算法和多路查询算法,利用读写开销估算和缓冲区信息改造了外存文件读写策略和内外存替换算法,进一步优化了中间结果的高并发读写性能.算法分析和实验证明了该缓存的有效性.     

一种基于消息的异步服务访问框架

服务访问是采用面向服务架构（SOA）的项目在具体实施过程中的关键问题之一。根据SOA在信息整合领域的应用需求，针对SOA架构下三类服务访问问题，即异步服务访问、综合服务访问和可靠服务访问．提出了一种基于消息的异步服务访问框架，阐述了该框架的基本架构、核心组件及工作模式。同时．结合该框架在科技信息资源共享服务平台项目中的具体应用，讨论了该框架的使用效果。     

一种面向车辆实时数据并行处理的任务调度算法

车辆实时监管正面临着不断增长的大规模车辆监测数据的实时处理需求,需要采用分布式的并行计算架构来提升大规模车辆监测数据处理的性能,支撑多样化的车辆监测数据处理任务,应对支撑环境的伸缩性需求。在这种架构下,对系统中不同计算节点间的车辆监测数据处理任务的调度提出了更高的要求。针对这一要求,并结合流式到达及历史积累的车辆监测数据的持续化处理需求以及大规模车辆监测数据实时处理中内存敏感的特征,提出一种基于路由表的并行任务调度算法。该算法基于车辆监测数据时空属性以及各计算节点的内存信息建立路由表,并以路由表的形式来进行任务的并行划分和分配调度,从而使得各计算节点达到负载均衡的状态。实验表明该算法能够使计算节点间的负载差异缩小到12%以内。此外,该算法在某市车辆监管实时系统中的实际应用也证明了其有效性。     

事件驱动的微服务调用链路数据动态采集方法

微服务调用链路数据是微服务应用系统日常运行中产生的一类重要数据,它以链路形式记录了微服务应用中一次用户请求对应的一系列服务调用信息。由于系统的分布性,微服务调用链路数据产生在不同的微服务部署节点,当前对这些分布数据的采集一般采用全量采集和采样采集两种方法。全量采集会产生较大数据传输和数据存储等成本,而采样采集则可能会漏掉关键的链路数据。因此,提出一种基于事件驱动和流水线采样的微服务调用链路数据动态采集方法,并基于开源软件Zipkin设计实现了一个微服务调用链路数据动态采集系统。该系统首先对不同节点符合预定义事件特征的链路数据进行流水线采样,即数据采集服务端只在某节点产生事件定义的数据时对所有节点采集同一链路数据;同时,针对不同节点的数据产生速率不一致问题,采用基于时间窗口的多线程流式数据处理和数据同步技术实现不同节点的数据采集和传递;最后,针对各节点链路数据到达服务端先后顺序不一的问题,通过时序对齐方式进行全链路数据的同步和汇总。在公开的微服务调用链路数据集上的实验结果表明,相较于全量采集和采样采集方法,所提方法对于包含异常、慢响应等特定事件的链路数据具有采集准确性高、效率好的效果。     

基于残差修正GM(1,1)模型的车流量预测

车流量预测是城市智能交通系统研究中的热难点问题之一,精确的车流量预测能有效地支持智能交通系统的发展,减少拥堵。同时车流量预测的精确度密切关系着居民的出行质量。然而车流量受诸多因素的不同程度的影响,具有一定程度的随机性、灰色性和不确定性,从城市交叉路口得到的车流量监控数据也具有一定程度的缺失和偏差,简单、准确且高效地预测车流量成为一个挑战。基于交叉路口采集到的车牌识别数据,通过对比经典GM(1,1)得到的预测值与真实值计算出残差,用残差去修正计算模型进而得到修正GM (1,1)模型,再用得到的修正模型迭代处理同一数据集,最后,数值稳定收敛且精度高于未修正模型的结果。     

一种支持业务用户编程的服务虚拟化技术--VINCA聚合服务机制

提出一种支持业务用户编程的服务虚拟化技术——VINCA聚合服务机制，其核心是VINCA聚合服务模型．该模型从业务与IT两个层面出发并“中间相遇”来实现服务资源的虚拟化，从而屏蔽具体服务资源的使用复杂性，使得业务用户更易于直接将业务需求映射到虚拟化的服务资源，为业务用户编程提供支持．定义了VINCA聚合服务的生命周期模型及使用方式，以明确地指导VINCA聚合服务的构造及使用过程．介绍了VINCA聚合服务支撑系统架构，并结合奥运综合信息服务系统的应用场景展示了VINCA聚合服务机制的效果．     

一种Web服务环境下的事务保障框架

Web服务环境下的业务流程需要事务机制来保障其运行的可靠性和结果的一致性。本文分析了Web服务环境下事务的特点及挑战性问题,介绍了针对这些问题进行的相关工作。在综合这些工作的基础上提出了一个事务保障参考框架,并通过一个应用实例展现该框架如何支持业务流程的可靠运行。     

基于CAFISE Framework的高适应性面向服务软件开发

在企业及电子政务应用中,由资源分布异构及需求动态变化而产生的问题越来越严重,如何让应用快速适应这些变化一直是人们关注的一个研究难题.首先给出了一个面向服务的支持业务端编程的适应性软件结构框架CAFISE(convergent approach for information system evolution)Framework,然后给出了基于该框架的面向服务的适应性软件开发方法.CAFISE Framework对异构资源的服务化、业务化及开放动态的面向服务软件体系结构提供了较好的支持.基于该结构框架的开发方法,从对影响软件的环境要素分析入手,通过质量属性驱动的体系结构分析,重点针对应用要适应的变化进行结构设计,最终通过以体系结构为基础的业务端编程,实现面向服务应用的即时开发与演化.在实际项目中的使用及实验证明:用该框架和方法开发的面向服务应用,能够较好地适应异构资源的动态变化及用户业务变更,能以较低的代价实现企业及电子政务面向服务应用的持续演化.     

一种车辆移动对象相似轨迹查询算法

车辆移动对象的相似轨迹查询问题是当前移动对象数据管理研究中的一个热点,可以应用在车辆缉查防控、出行规律分析及城市道路规划等诸多领域.当前,随着车辆移动对象监测手段的不断丰富,车辆移动对象数据逐渐表现出流式不间断产生、数据量急剧增大的特征.现有的移动对象相似轨迹查询方法在面对具有上述特征的车辆移动对象数据时在查询正确性和查询效率方面暴露出诸多问题.论文针对这种大规模车辆移动对象数据流下的相似轨迹查询问题,提出一种基于双阈值支持度的车辆移动对象相似轨迹查询算法,该算法通过对车辆移动对象数据的预处理来减少查询中涉及的移动对象数据量,以提高移动对象相似轨迹查询的效率,同时保证查询正确性.实验表明,该文提出的算法,在保障正确查询相似轨迹的前提下,效率比传统相似轨迹查询算法提高很多.