基于流式计算的遥感卫星数据快视处理方法

随着高分辨率遥感卫星数据获取能力和地面数传接收能力的提高，现有遥感卫星快视处理系统的处理负载增大，实时性要求越来越难以满足。针对这些问题，采用流式计算思想提出了一种新的遥感卫星数据快视处理系统设计方法。在分析遥感卫星数据快视处理数据流特点的基础上，应用Storm框架对现有系统进行并行优化，设计遥感数据流处理任务拓扑结构，同时利用消息队列中间件Kafka改进处理单元间数据交换和数据缓存方式。实验表明，该系统在数据吞吐率和可靠性方面测试效果良好。     

TCP Offload系统的设计与实现

网络带宽的迅速发展使主机协议处理开销成为系统整体性能的瓶颈。为了提高网络应用的性能、降低主机系统的资源占用，该文采用网卡子系统分担主机的网络包收发和TCP协议处理，设计实现了一个TCP offload系统，分析了一般TCP offload系统在性能和实施的困难，给出系统设计的基本原则，介绍了系统在通信接口、资源管理、事件管理和用户接口等方面的实现。系统测试结果表明，网卡能处理高速的网络应用，在一些情况下甚至达到线速。     

基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。     

空间科学卫星数据快速处理方法

针对卫星获取的大规模数据进行快速数据处理一直是空间信息处理系统建设中的关键。面对空间科学卫星全天候观测、探测载荷类型多、处理算法多样带来的数据处理难题,现有基于CCSDS标准格式的数据分析方法,难以满足目前在轨的多颗空间科学卫星数据处理系统在正确性和时效性方面的要求。针对空间科学卫星探测数据处理特点,提出了一种空间科学数据快速处理方法,设计两层联合索引结构,将空间科学大数据处理问题转化为索引表和源包数据单元的处理问题,提高了数据处理效率;采用科学工作流技术设计了数据驱动和业务驱动协同的处理框架,支持多样化的空间科学卫星数据处理流程,各类载荷数据处理任务并行调度。实验结果表明,这种方法处理速度可扩展,内存使用较少,已应用于空间科学卫星地面系统中,取得了良好的效果。     

基于智能网卡的网络数据获取平台优化技术*

利用智能网卡作为其网络数据报文捕获平台,并在其上完成部分TCP/IP 协议卸载,以在尽量减少主机资源占用的前提下提高海量网络流实时处理系统的处理能力.为了充分挖掘系统潜能,对智能网卡的网络驱动进行深入研究,并作了各种优化和系统测试.测试表明优化效果显著,在主机CPU占用为零的前提下,报文捕获性能达到线速(148.8×104 pps).     

曙光4000A中网格路由器的实现

网格技术的发展带来了机群系统体系结构和使用环境的变化，这些变化在系统上引入了一些新的问题，包括安全、可控、高效的服务接入和细粒度的访问控制．传统的服务接入系统中，有些在身份认证强度上、有些在访问控制和服务分发的粒度上不能满足网格环境下使用高性能计算机的需求．讨论了一种服务接入部件——网格路由器，力图解决这些问题．     

多重索引加时间戳校正的科学卫星源包排序法

卫星载荷数据源包的排序还原是地面数据处理流程中的重要环节,其正确性和完备性直接影响基于数据开展的科学研究.在对国际现行CCSDS标准下的卫星数据组织和星地数传机制可能给地面数据处理带来的数据异常情形与源包排序挑战进行剖析的基础上,提出了"多重索引+时间戳校正"的源包排序方法,不仅能够解决由于空间科学卫星数据采集频率极快而导致的地面源包排重和拼接难题,而且在帧计数、源包计数、时间码等关键索引信息发生异常的情况下,仍然能够给出正确的结果,在我国空间科学卫星任务实践中大幅提升了源包排序处理的正确率,同时有效地提升了处理效率.     

一种海量数据流应用并行优化模型

计算进入了多核时代,处理器的发展不再由更快的主频带动,而是依靠增加片上的多个核心.但是,对于高性能应用来说,多核平台的并行处理由于缺少适合的并行程序开发工具还处于初始阶段,对应用的优化需要对底层线程结构的深入了解和正确使用.从海量数据流应用的特点出发,提出了三级流水多线程模型,它的线程同步机制没有竞争,并且实现了不同特征数据流的差别服务.然后,在遥感图像处理和骨干网网络入侵检测系设计中,应用了海量数据流应用模型,并在多个多核平台下对骨干网网络入侵检测系统进行了性能评价.对SPARC T1平台上的线程映射方法进行研究,测试了不同映射方法的性能,并归纳出应用在体系结构方面的特征;采用Sun SPARC T1架构8核32线程服务器和曙光x86架构8处理器16核服务器对系统吞吐率进行了测试,实验结果都表现了良好的可扩展性;使用真实骨干网络流量记录文件回放产生的模拟流量,对比测试了模型应用前后数据流的服务时间,改进系统的响应时间获得了显著的提高;针对系统连接数大、负载重和处理多样性的特点,采用基于探针流的采样算法准确测试了在精确预测IP网段策略下系统的服务质量,同时也测试了增加服务质量优化后系统的延迟开销,实验结果表明,系统在引入较少延迟下提高了数据流的服务质量.     

多核平台上B-NIDS的优化

计算进入了多核时代,处理器的发展不再由更快的主频带动,而是依靠增加片上的多个核心.但是,对于高性能应用来说,多核平台的并行处理由于缺少适合的并行程序开发工具还处于初始阶段.一个串行B-NIDS的优化需要对底层线程结构的深入了解和正确使用.发现了现有并行系统基于细粒度锁同步机制的瓶颈,根据应用的数据流特点提出了没有竞争的同步机制.然后,提出了改进系统三级流水的多线程结构,并实现了不同特征流的差别服务.在性能评价中,改进系统在8核32线程服务器上从资源占用、吞吐率及响应时间3个方面都表现出了更好的性能.