基于EAI的银行卡跨行交易系统的设计与实现

通过分析EAI的原理、结合实际情况和发展趋势,基于中间件协同处理架构设计了一种符合国际标准的银行卡跨行交易核心系统架构。介绍了交易系统的设计原理和框架,针对系统实现的不同层次,详细论述了完整的银行卡跨行交易的设计和实现。该支付系统可以实现系统要求的高可用性和高效率,在交易中实施多等级保密性和完整性安全政策,同时还考虑了基于该框架的交易系统的扩展性和实用性。     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

面向在线交易日志的用户购买行为可视化分析

在线交易日志,即用户通过电商平台购买商品产生的交易记录,包括用户、商品、交易及商家的相关信息,反映了用户的购买行为.现有的可视化方法未能充分结合在线交易日志的时序、层次、地理、多维等特征,实现对用户购买行为的多角度分析.对此,本文结合交易日志的多个特征,提出了基于径向布局的复合时序可视化方法和融合空间信息的时间轴可视化方法,设计了颜色极值映射方法和规律映射方法,并基于上述方法,设计并实现了面向在线交易日志的用户购买行为可视化分析系统UPB-VIS,从而完成了单个用户和用户群体购买行为的全方位分析.最后,通过在京东商城在线交易日志数据集上的实验证明了系统的易用性和相关可视化方法的有效性.     

TP有没有未来？

8月31日,中国银联卡跨行交易系统运行整整一年了。高达13500笔/秒的事务处理能力,也让中国银联技术高层管理人员放下心来。这笔交易的“功臣”就是BEA事务交易器(TP)—Tuxedo。开放架构是趋势2002年初,肩负着中国银行卡跨行交易、指定中国银行卡规范的历史使命—中国银联筹备建立新系统。当时规划的目标在于,以统一的门户入口提供相应功能。当时,银联面临的最大困惑是系统架构是基于开放系统还是大机架构—银行界普遍认为,只有大机才能满足银行高数据量稳定运行的要求,全球没有一家金融机构完全采用开放系统架构。但是,选择基于大机的系…     

网络日志管理分析系统构建技术研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,如何对日志进行有效的管理和分析是日志系统的重要课题.当前,对日志进行远程集中化管理和分析是普遍认同的有效手段.完整的日志系统包括日志源、日志服务器、日志存储和日志分析四个环节,其中日志服务器具有核心地位.首先介绍了常见的日志服务器系统、客户端软件及前端分析系统,详细说明了功能特性.最后分析了日志系统的部署架构和基本处理流程.     

基于OSGi的分布式系统集中日志管理方案

目前分布式业务应用的日志多存储在各分布式服务器节点本地日志文件中,没有集中存储和管理,导致业务系统问题定位速度慢,解决问题效率低.本文提供一种基于OSGi的分布式日志收集与分析技术方案.该方案单独设计了集中的日志存储服务器用于存储日志,并提供一套通用日志模型,业务应用分布式节点向该设备发送基于该模型的日志数据,日志存储服务器接收到各节点的日志数据后进行统一存储和界面化分析展示,帮助开发人员快速定位和分析问题.该方案以OSGi插件形式部署到应用系统,应用卸载该插件后则以原有方式存储日志.应用结果表明,采用该日志管理方案对1000并发下记录日志的业务应用访问性能平均提升2秒,并且没有日志数据丢失.开发人员反馈,错误日志更加一目了然,定位问题的时间明显短于普通的日志存储方式.     

证券交易系统中的日志复制

介绍上海证券交易所新一代交易系统中的日志复制和热备切换技术。首先介绍日志和复制的概念与特性,提出基于内存的事务日志模型。其次介绍实现模型的数据结构、功能模块和主机部署情况,描述正常日志复制的机制和主机热备切换的机制。之后介绍在算法优化和操作系统特性方面的性能优化工作。对证券交易系统日志复制方面的建模和主机热备切换机制的设计为其它领域企业级高性能高可用性系统的架构设计提供了参考。     

基于事件聚集的AAA系统日志分析

AAA系统涉及的设备类型众多,其日志格式互不相同,即使是同一类设备,其日志格式也会因软件版本、网络层次和故障类型等因素而各不相同,从而导致通过分析日志数据分析系统故障非常复杂.首先提出了一种日志模板自动提取机制(ATE,Auto Template Extraction),用于将各类日志数据格式化.然后设计了一种基于故障事件对格式化日志数据进行聚集的方法(EBCoLD,Event Based Cluster of Log Data),用于分析各类故障事件(数据库宕机等)与日志数据的关系,进而获取与某一事件相关的日志集合,用于故障检测、定位和分析.最后依据从某电信运营商获取的真实AAA系统日志数据,通过仿真实验验证了ATE机制和EBCoLD方法的有效性.     

上海邮政银联卡率先上线

上海邮政局新的银联卡系统已成功上线,这是全国邮政系统按照银联标准改造以来的第一个上线的邮政银联卡系统。据统计,目前上海绿卡的发卡量超过350万张,绿卡跨行日交易量近1.5万笔,绿卡的异地交易超过7千笔。新的银联标准于2001年上半年开始实施,并根据人民银行颁发的银行卡联网联合业务和技术规范,建设全国统一的银行卡跨行交换网络,发行和使用带有“银联”     

基于串口通信的单片机日志系统设计

在软件开发阶段和运行阶段,日志对于故障定位具有非常重要的作用。在单片机系统中,由于单片机的资源有限,很少有日志功能。在研究单片机与基于Linux的串口进行通信基础上,设计开发了基于串口通信的单片机日志系统。     

事务处理日志与数据的安全恢复

事务日志是数据库系统实现完全数据恢复的必要条件，文中深入分析了事务处理日志用于数据库恢复的作用机理，并提出了事务日志的安全配置原则。本文的技术思想与方法对DBA的日常数据维护具有重要的指导意义。     

船载系统日志自动分析软件的设计与实现

船载中心计算机系统的系统日志和测控软件日志记录了大量的系统故障与软件异常信息,如何及时、全面地分析系统日志、软件日志,发现系统运行故障,并及时予以处理、解决,是系统运维人员的一项重要工作;针对当前船载中心计算机系统日志分析现状及存在的问题,系统日志和测控软件日志自动分析软件给出了解决的思路和方法,提出并介绍其实现的技术要点和效果;测试结果表明日志自动分析软件有效地提升了人员工作分析效率,在快速分析故障问题和批量进行系统日志维护方面具有较好应用.     

FD-LSTM:基于大规模系统日志的故障分析模型

可靠性研究是高性能计算领域的经典问题,随着制程技术与集成工艺的不断发展,当前全系统规模呈指数级快速增长,给可靠性研究尤其是故障分析带来巨大挑战.收集了自主高性能计算系统投产后工作故障日志信息203510247条,时间自2016年1月28日至2016年12月6日.首先使用K-M eans聚类方法对故障进行分类,并分析故障...     

一种高效的闪存数据库故障恢复方法MMR

故障发生后,迅速而有效的恢复对闪存数据库而言是至关重要的。目前,相关研究者已提出了一些基于闪存数据库的故障恢复方法,但是这些方法都存在一些不足,如事务提交代价高、系统运行开销大等。文中针对闪存的特征,结合存储管理中基于日志更新方法的页内日志,讨论闪存数据库的恢复处理及其实现机制。通过记录内存日志实现事务故障恢复,建立镜像目录实现系统故障恢复。最后,通过实验验证了MMR在恢复时间和写操作数上都比传统的方法低。     

多节点系统异常日志流量模式检测方法

随着国家高性能计算环境各个节点产生日志数量的不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求.提出一种异常日志流量模式的定义方法：同一节点相同时间片内日志类型的有序排列代表了一种日志流量模式,并以该方法为出发点,实现了一个异常日志流量模式检测方法,用来自动挖掘异常日志流量模式.该方法从系统日志入手,根据日志内容的文本相似度进行自动分类.然后将相同时间片内日志各个类型出现的次数作为输入特征,基于主成分分析的异常检测方法对该输入进行异常检测,得到大量异常的日志类型序列.之后,使用基于最长公共子序列的距离度量对这些序列进行层次聚类,并将聚类结果进行自适应K项集算法,以得出不同异常日志流量模式的序列代表.将国家高性能计算环境半年产生的日志根据不同时间段（早、晚、夜）使用上述方法进行分析,得出了不同时间段的异常日志流量模式和相互关系.该方法也可以推广到其他分布式系统的系统日志中.     

Oracle用户SQL会话还原方法研究

针对Oracle8i/9i系统自带的审计功能无法获取用户操作语句的问题,研究分析了Oracle数据库的事务日志文件,提出一种结合事务日志和审计日志还原用户访问数据库会话过程的方法。该方法使用LogMiner分析事务日志文件,通过匹配事务日志和审计日志中共有的关键字段,确定对应的数据库操作语句,从而还原出任意用户从登录到退出的完整会话过程。会话还原结果可用来执行数据库操作的审计,保护数据库安全。     

数据库恶意事务恢复日志系统

恶意事务攻击成功后的数据恢复机制要求日志文件必须同时记录写操作信息和读操作信息。为此,提出一种数据库恶意事务恢复日志策略,并基于该策略设计日志系统。在日志系统中,结构化查询语言(SQL)语句过滤可保护日志文件的安全,拒绝终端客户对日志文件的非法操作;敏感信息设置从行级和列级2个方面设置日志记录必须满足的约束条件,可有效控制日志文件的规模;写日志产生器通过使用触发器的临时表完成对写操作的记录;读日志产生器通过重构SQL语句产生临时表,再访问临时表完成对读操作的记录。实验结果表明,该系统可有效记录数据库读写操作,但同时会降低整体系统的效率。     

基于日志的数据恢复及其在Oracle中的实现

在信息系统的工程实践中，数据库出现故障后的数据恢复是一项复杂的技术问题。从事务处理和事务日志的角度阐述了数据恢复的基本方法，并特别指出了实现完全数据恢复的技术途径和实施策略，同时结合Oracle数据库系统解剖了一个典型的数据恢复范例。研究结果表明，利用事务日志可以实现无数据丢失的完全恢复。