ADO技术在监控系统数据存储中的应用

在监控系统中需要对监控参数进行存储,传统的监控系统是以文件的形式存储数据。文章利用最新的ADO技术在监控系统运行中创建数据库,并将数据以Access的形式进行存储。     

煤矿企业纯软件方式的双机热备系统研究

针对煤矿监控系统双机热备标准方案中硬件设备昂贵、维护成本较高的问题,设计了一种纯软件方式的双机热备系统。该系统利用文件差异备份以及MYSQL增量备份相结合的方式将数据保存到主、备机中,即采用RSYNC文件同步算法对文件进行备份,利用MYSQL数据库的Binary Log机制开启日志记录文件,将在一个时间间隔内发生修改的数据信息导出到增量备份文件中,并将增量备份文件发送到备机中,备机将修改数据导入数据库,从而达到数据库同步操作的目的。同样地,在主机出现故障后,在备机中修改的数据以同样的方式同步到主机中。该双机热备系统已投入实际应用,满足了煤矿监控系统中数据实时性与数据完整性的要求。     

基于Erasure Code的分布式文件存储系统

在局域网环境下,实现一种基于Erasure Code的分布式文件存储系统。该系统由元数据服务器和多个文件存储节点组成,通过对元数据与文件数据分离存储以提高文件访问效率,将Erasure Code有效冗余存储技术应用于文件编解码以增强可靠性,采用MD5消息摘要技术保证文件完整性。对30 MB~600 MB大小的文件测试结果表明,该系统具有更高的可靠性、安全性以及资源利用率。     

基于数据冗余的HBase合并机制研究

HBase列式数据库的所有操作均以追加数据方式写入,导致其合并机制占用资源过多,影响系统读性能。为解决该问题,提出一种基于数据冗余的合并机制,将列族下文件删除数据占比达到设定阈值的文件进行合并,以减少无用数据在系统中的占用空间。实验结果表明,与HBase原有仅考虑文件大小、个数和时间间隔的合并机制相比,改进的合并机制可提高HBase系统查询效率以及Major合并性能。     

非结构化数据的存储问题

如何存储应用系统中需要处理的非结构化数据,包括文本、图像、音频、视频、PDF、电子表格等,是常常困扰系统设计人员的一个问题。非结构化数据的存储通常有两种方式,一种方式是将这些数据以文件的方式存储在文件系统中,同时将指向文件的链接或路径存储在数据     

Windows系统中数据的直接输出方法

一、前言 在Windows系统中,若要将一个文件中的数据传输给打印机,一般的方法为将该文件采用拖放功能,利用鼠标将该文件的图标拖到打印机的图标上,系统将会直接调用和该文件扩展名相关联的应用程序,利用该应用程序的打印功能将文件中的数据采用Windows设备描述表的方式转换为打印机能识别的数据放到打印队列中,这种方式要求该种格式的文件在Windows系统中一定要有与它相关联的应用程序来完成这种转换工作,并且输送给打印机的数据已经不是原来文件中的原始数据。在很多情况下我们希望文件中的数据要在不被修改的情况下直接传输给打印机(即文件中的数据和打印机实际接收到的数据一致),不管传输的是文本文件还时控制代码都不能被改变。要实现该方式,可以通过暂时退到DOS状态下的方式来勉强实     

面向城轨线网的海量小文件存储方法

城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海量小文件存储方法,将具有相关性的城轨小文件合并成大文件进行聚合写操作;根据FastDFS返回的大文件索引、小文件存储起始偏移量和小文件长度建立全局索引,利用Redis存储小文件名和全局索引的键值对;采用数据预取机制,预取创建时间相邻的数据。实验结果表明,相较于FastDFS系统,FastDFS-Redis系统的小文件读写吞吐量分别提高了9.35%和4.45%,达到明显改善城轨线网海量小文件的访问效率的目的。     

建立X86服务器集中备份系统

原有X86服务器的系统备份和数据备份均以直连带机或使用磁带库等设备采用文件级备份技术进行,备份架构较为分散,不易进行集中管理和控制,且对于文件数据量大、文件结构复杂的数据,备份作业时间超长,无法满足生产业务对备份时间的要求。通过建立服务器集中备份系统,能够将备份策略及相关配置下发到各备份节点并集中收集备份数据,实现了所有X86架构服务器备份作业的集中管理与监控。同时该系统可通过块级文件备份技术对目标服务器的所有逻辑盘创建映像文件,代替原有文件级备份方式,大幅提升了对大规模数据的备份性能。     

一种可扩展的格式化文件内容检查方法

许多业务应用系统将数据以约定格式存放在文件中,通过文件传输实现远距离业务数据传送和处理。通过分析该类业务应用系统存在的安全威胁,本文首次提出了一种可扩展的格式化文件内容检查方法,设计并实现了格式化文件内容检查的原型系统FFC-CIS。FFC-CIS使用正则表达式构造内容格式模板,在业务系统的数据处理之前实现文件内容的安全检查,很好地消除了数据文件被恶意篡改、非法文件传递等安全威胁。为了使内容格式模板的构建快速而便捷,本文还给出了一个基于字符串近似匹配技术的内容格式模板自动生成方法。     

基于XML的数据交换中间件的研究与实现

使用XML分别表示数据的结构信息和值信息,通过对数据结构文件和用户定义的规则文件进行分析生成映射文件,从而解决数据冲突.在此基础上,设计实现了一个基于XML的数据交换中间件(XDEM)系统.系统将数据交换处理流程与处理方法相分离,用户可以定制开发不同的处理插件,以满足交换过程的动态配置.这些极大地增强了系统的适应性和扩展性.     

Distributed Software System Design Representation Using Modified Petri Nets

A model for representing and analyzing the design of a distributed software system is presented. The model is based on a modified form of Petri net, and enables one to represent both the structure and the behavior of a distributed software system at a desired level of design. Behavioral properties of the design representation can be verified by translating the modified Petri net into an equivalent ordinary Petri net and then analyzing that resulting Petri net. The model emphasizes the unified representation of control and data flows, partially ordered software components, hierarchical component structure, abstract data types, data objects, local control, and distributed system state. At any design level, the distributed software system is viewed as a collection of software components. Software components are externally described in terms of their input and output control states, abstract data types, data objects, and a set of control and data transfer specifications. They are interconnected through the shared control states and through the shared data objects. A system component can be viewed internally as a collection of subcomponents, local control states, local abstract data types, and local data objects.     

一种监控系统的链路跟踪型日志数据的存储设计

随着软件系统越来越复杂化和分布化,为系统提供具有完善功能的监控服务显得越来越重要.APM （Application Performance Management）系统通过采集软件系统运行时的各项指标数据来分析软件的运行状态,例如CPU、内存使用率、垃圾回收的耗时、QPS等指标,此外APM系统也会在软件运行中生成各种日志数据.通常来说,它能提供的监控数据分为三种：指标统计数据、链路跟踪（tracing）数据以及离散事件记录,这些数据有助于系统或者服务的维护人员理解运行状态,从而确保系统或者服务的稳定运行.本文基于开源的APM监控系统——CAT系统,提出了一种针对tracing类型数据的存储设计方案,通过内存块批量写入的方式提升存储效率,并设计了两级索引以提高查询效率.从线上的真实运行数据来看,本文提出的方案在写入性能和查询性能方面均有着较好的表现.     

一种机动式指挥自动化系统的实时数据交换软件设计

 机动式指挥自动化系统需与多类型节点对接,要适应不同节点的状态变化,可应用于各种不同环境。实时数据交换是机动式指挥自动化系统信息共享与高效利用的关键技术,但由于该系统使用系统互联设备中不同的硬件平台、网络平台以及数据库等,造成了使用中多种模式并存、数据无法交换等问题。以某设备测量试验任务为背景,在需求分析的基础上,基于动态多线程和组播技术,设计一种应用于机动式指挥自动化系统的实时数据交换软件,该软件可实现多种体制下的协议转换与数据记录,支持设备状态的实时显示,并可按需完成原始数据的变速重演,支持数据分析,取得了良好的试验效果。     

基于同步Slave FIFO技术的高速USB数传系统设计

给出一种基于"USB2.0Slave接口芯片+FPGA"架构的高速USB数传系统设计方案。系统以CY7C68013A为USB协议桥、FPGA为逻辑控制单元,优化设计有限状态机实现同步Slave FIFO接口协议,构建了USB数据高速传输通道,保证了数据传输、处理过程中的可靠性、实时性和高效性;优化了芯片固件加载方式,实现了系统在线自动升级加载功能。经实测,系统的数据传输处理能力平均可达320Mb/s,接近USB2.0协议规定的极限速率,固件可在1.2s内完成自动加载,使系统具备了快速升级能力。     

Using spreadsheet to teach on-line statistical process control

This paper gives the design considerations for on-line statistical process control (SPC) using spreadsheet software. The system combines a data acquisition system, data translation board, spreadsheet package, and a microcomputer. The objective of this paper is to demonstrate, by means of examples, how a microcomputer spreadsheet software and a data translation board can be used to teach on-line SPC as an alternative to the expensive commercial SPC software. Moreover, in the training and education environment, computer simulated data can be used for different case studies. Experience in using this approach to teach on-line SPC will be described.     

浅谈基于Web环境的系统软件数据安全

在信息化时代,种类丰富和功能日益强大的系统软件能够满足人们个性化、全方位的需求,但是系统软件的极大丰富,使其安全性面临着极大的威胁和挑战。数据安全问题直接影响着软件的性能以及软件用户的信息安全。本文简要分析了基于Web环境的系统软件所面临的几个安全问题,对系统的数据安全进行了较深入的需求分析,并探讨系统软件数据安全的具体防护策略。应用数据加密技术和理论能够更好地保证数据的安全性。     

An integrated data base management system for engineering applications based on an extended relational model

Engineering analysis and design of complex systems require the use of large software components. Development, maintenance, and extension of such a software system needs modern design and implementation techniques. Usually a large amount of data is generated. Flow of data is also quite complex, adding further complications in maintenance and extension of the software. A sophisticated data base management system (DBMS) is needed to support data handling during the run-time environment as well as for the integration of various software components. Design and development of such a DBMS needs new concepts and ideas such that efficiency of calculations is not sarcrificed. Degradation in efficiency due to the use of a DBMS can hinder large-scale applications. The paper describes a generalized relational model to handle large matrices and tables that are encountered in numerous engineering applications. A DBMS based on the model is designed and implemented. The system supports run-time data management as well as data sharing among software components. A preliminary evaluation of the system against some existing ones reveals the new concept and design to be quite appropriate for engineering applications. The system is very efficient and compact. Some details of design and performance of the system are given and discussed.     

虚拟仪器设计中多线程技术的应用

以数据采集卡作为通用硬件平台,以VC作为上位软件开发工具,设计的多路数据采集系统,保证了数据采集的功能性,简化了硬件系统设计,还充分发挥PC机的软硬件资源,具有友好的人机交互界面.Windows的多线程技术可以实现并行处理,利用多线程技术,可以将数据采集和数据处理分开进行,保证了数据采集的实时性和良好的交互性,避免了数据丢失和CPU资源的浪费.     

软件体系结构脆性分析与验证

软件系统因具有节点众多、节点间联系复杂、随时间演化、自组织临界等特性可将其视为复杂系统。在软件安全领域,对软件体系结构的分析一直是研究的重点。软件体系结构具有自身的脆性,这体现在软件系统的运行过程会出现由于内部组件失效或外部攻击而导致的级联故障乃至系统崩溃。首次将软件系统视为复杂系统,对软件体系结构的脆性进行相关分析,并结合"数据抽象和面向对象"风格的软件体系结构,通过蚁群算法及GROD算法指出该体系结构脆性的最大崩溃路径及脆性源。这将对软件安全领域系统的设计、监控等方面的研究提供理论及实践方面的指导意义。     

嵌入式系统中TFT液晶软硬件设计

给出S3C2410嵌入式系统上TFT-LCD的工作原理、硬件结构和软件设计。TFT-LCD作为该嵌入式系统的显示设备,在L inux下的驱动程序采用帧缓冲设备来处理与LCD控制器有关的底层命令,程序读取显示缓冲区的数据就可以完成对应用程序图形模式下图形的绘制。通过对系统中软硬件的设计,达到使TFT液晶能够正常显示的目的。详细的软件与硬件设计,可以对嵌入式系统的开发及移植起到一定的指导做用。