海量数据同步的处理技巧与实战

数据时代的到来,给银行应用通过文件同步数据带来了挑战,文件的增大导致处理时间过长.针对此问题,介绍了海量数据的常见处理技巧,基于案例测试单记录同步、批量同步、多线程单记录同步、多线程批量同步4种方案,并对不同大小文件的用时进行了统计和分析,为银行提供了技术路线,以帮助实现应用间快速数据同步.     

格点QCD基础求解器及其异构计算实现的性能优化

格点量子色动力学(格点QCD)是研究夸克、胶子等微观粒子间相互作用的重要理论和方法. 通过将时空离散化为四维结构网格, 并将量子色动力学的基本场量定义在网格上, 让研究人员可以使用数值模拟方法, 从第一性原理出发研究强子间相互作用和性质, 但这个过程中的计算量极大, 需要进行大规模并行计算. 格点QCD计算的核心基础为格点QCD求解器, 是程序运行主要的计算热点模块. 本文研究在国产异构计算平台下格点QCD求解器的实现与优化, 提出一套格点QCD求解器的设计实现, 实现了BiCGSTAB求解器, 显著降低了迭代次数; 通过对奇偶预处理技术, 降低了所求问题的计算规模; 针对国产异构加速卡的特点, 优化了Dslash模块的访存操作. 实验测试表明, 相比优化前的求解器获得了约30倍的加速比, 为国产异构超算下格点QCD软件性能优化提供了有益的参考价值.     

基于多线程和管道的协议数据驱动的框架模型设计

在基于装备的显控软件开发过程中，一般包含各种界面显示功能，通信数据收发功能，数据处理与转换功能，数据提交与分发功能。这些功能都是相互独立的部分，相互之间是异步工作的，这就需要他们之间能够相互勾连互通，相互之间能够通过内部协议数据进行驱动。功能技术实现需要借助于多线程和阻塞式读取管道协议数据的方式来实现数据驱动整个程序进行高效且实时地运转，这就大大提高了显控软件的实时性，有效地避免了界面反应迟钝和卡死的现象，也极大地提高了除界面以外其他功能独立于界面运转的实时性和对装备中显控软件以外其他与显控软件通信连接的部分应激反应的实时性。