一种基于消息的异步服务访问框架

服务访问是采用面向服务架构（SOA）的项目在具体实施过程中的关键问题之一。根据SOA在信息整合领域的应用需求，针对SOA架构下三类服务访问问题，即异步服务访问、综合服务访问和可靠服务访问．提出了一种基于消息的异步服务访问框架，阐述了该框架的基本架构、核心组件及工作模式。同时．结合该框架在科技信息资源共享服务平台项目中的具体应用，讨论了该框架的使用效果。     

一种支持业务用户编程的服务虚拟化技术--VINCA聚合服务机制

提出一种支持业务用户编程的服务虚拟化技术——VINCA聚合服务机制，其核心是VINCA聚合服务模型．该模型从业务与IT两个层面出发并“中间相遇”来实现服务资源的虚拟化，从而屏蔽具体服务资源的使用复杂性，使得业务用户更易于直接将业务需求映射到虚拟化的服务资源，为业务用户编程提供支持．定义了VINCA聚合服务的生命周期模型及使用方式，以明确地指导VINCA聚合服务的构造及使用过程．介绍了VINCA聚合服务支撑系统架构，并结合奥运综合信息服务系统的应用场景展示了VINCA聚合服务机制的效果．     

事件驱动的微服务调用链路数据动态采集方法

微服务调用链路数据是微服务应用系统日常运行中产生的一类重要数据,它以链路形式记录了微服务应用中一次用户请求对应的一系列服务调用信息。由于系统的分布性,微服务调用链路数据产生在不同的微服务部署节点,当前对这些分布数据的采集一般采用全量采集和采样采集两种方法。全量采集会产生较大数据传输和数据存储等成本,而采样采集则可能会漏掉关键的链路数据。因此,提出一种基于事件驱动和流水线采样的微服务调用链路数据动态采集方法,并基于开源软件Zipkin设计实现了一个微服务调用链路数据动态采集系统。该系统首先对不同节点符合预定义事件特征的链路数据进行流水线采样,即数据采集服务端只在某节点产生事件定义的数据时对所有节点采集同一链路数据;同时,针对不同节点的数据产生速率不一致问题,采用基于时间窗口的多线程流式数据处理和数据同步技术实现不同节点的数据采集和传递;最后,针对各节点链路数据到达服务端先后顺序不一的问题,通过时序对齐方式进行全链路数据的同步和汇总。在公开的微服务调用链路数据集上的实验结果表明,相较于全量采集和采样采集方法,所提方法对于包含异常、慢响应等特定事件的链路数据具有采集准确性高、效率好的效果。     

一种面向车辆实时数据并行处理的任务调度算法

车辆实时监管正面临着不断增长的大规模车辆监测数据的实时处理需求,需要采用分布式的并行计算架构来提升大规模车辆监测数据处理的性能,支撑多样化的车辆监测数据处理任务,应对支撑环境的伸缩性需求。在这种架构下,对系统中不同计算节点间的车辆监测数据处理任务的调度提出了更高的要求。针对这一要求,并结合流式到达及历史积累的车辆监测数据的持续化处理需求以及大规模车辆监测数据实时处理中内存敏感的特征,提出一种基于路由表的并行任务调度算法。该算法基于车辆监测数据时空属性以及各计算节点的内存信息建立路由表,并以路由表的形式来进行任务的并行划分和分配调度,从而使得各计算节点达到负载均衡的状态。实验表明该算法能够使计算节点间的负载差异缩小到12%以内。此外,该算法在某市车辆监管实时系统中的实际应用也证明了其有效性。     

基于残差修正GM(1,1)模型的车流量预测

车流量预测是城市智能交通系统研究中的热难点问题之一,精确的车流量预测能有效地支持智能交通系统的发展,减少拥堵。同时车流量预测的精确度密切关系着居民的出行质量。然而车流量受诸多因素的不同程度的影响,具有一定程度的随机性、灰色性和不确定性,从城市交叉路口得到的车流量监控数据也具有一定程度的缺失和偏差,简单、准确且高效地预测车流量成为一个挑战。基于交叉路口采集到的车牌识别数据,通过对比经典GM(1,1)得到的预测值与真实值计算出残差,用残差去修正计算模型进而得到修正GM (1,1)模型,再用得到的修正模型迭代处理同一数据集,最后,数值稳定收敛且精度高于未修正模型的结果。     

支持高并发数据流处理的MapReduce中间结果缓存

针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的key/value中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种基于概率的B树构造算法和多路查询算法,利用读写开销估算和缓冲区信息改造了外存文件读写策略和内外存替换算法,进一步优化了中间结果的高并发读写性能.算法分析和实验证明了该缓存的有效性.     

基于服务关联网络的服务依赖关系识别

在跨领域、跨区域、跨网络广泛互联的大服务环境下,为实现组合服务的分布部署和并行执行,如何识别并发现服务之间存在的依赖关系、支撑组合服务的合理划分是亟待解决的问题.提出一种基于服务关联网络的服务依赖关系识别方法,首先利用有向图刻画服务关联网络模型,探索了一种通过已有组合服务分析服务控制流和数据流并构建服务关联网络的方法.利用图遍历、社区发现及关联规则挖掘等算法识别并抽取服务之间的数据依赖及控制依赖关系,生成服务依赖图,通过服务依赖图实现服务依赖关系的识别.通过实验验证了方法的可行性和有效性,并通过与经典算法的对比分析验证了方法的执行效率.     

一种Web服务环境下的事务保障框架

Web服务环境下的业务流程需要事务机制来保障其运行的可靠性和结果的一致性。本文分析了Web服务环境下事务的特点及挑战性问题,介绍了针对这些问题进行的相关工作。在综合这些工作的基础上提出了一个事务保障参考框架,并通过一个应用实例展现该框架如何支持业务流程的可靠运行。     

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.