一种基于B/S结构的OLAP服务体系结构的研究

论述了当前基于C/S结构的OLAP系统的不足,提出了一种基于B/S结构的OLAP系统.该系统读取OLAP建摸工具生成的语义对象存储文件,向用户屏蔽了各种分析数据源的差异,可以以普通关系数据库、数据仓库和数据立方体为分析数据源,通过浏览器向用户展示分析结果,同时可以对分析结果进行各种分析操作.     

一个基于三元组存储的列式OLAP查询执行引擎

大数据与传统的数据仓库技术相结合产生了大数据实时分析处理需要（volume+velocity）,它要求大数据背景下的数据仓库不能过多地依赖物化、索引等高存储代价的优化技术,而要提高实时处理能力来应对大数据分析中数据量大、查询分析复杂等特点.这些查询分析操作一般表现为在事实表和维表之间连接操作的基础上对结果集上进行分组聚集等操作.因此,表连接和分组聚集操作是ROLAP（relational OLAP）性能的两个重要决定因素.研究了新硬件平台下针对大规模数据的OLAP查询的性能,设计新的列存储OLAP查询执行引擎CDDTA-MMDB（columnar direct dimensional tuple access-main memory databasequeryexecutionengine,直接维表元组访问的内存数据库查询执行引擎）.基于三元组的物化策略,使得CDDTA-MMDB能够减少内存列存储模型上表连接操作访问基表和中间数据结构的次数.首先,CDDTA-MMDB将查询分解为作用在维表和事实表上的子查询,如果只涉及过滤操作,子查询将生成<代理键,布尔值>二元组;否则,子查询生成<代理键,关键字,值>三元组.然后,只需一趟扫描事实表,利用事实表的外键映射函数直接定位相应三元组或者二元组,完成相应的过滤、连接或聚集操作.CDDTA-MMDB充分考虑了内存列存储数据库的设计原则,尽量减少随机内存访问.实验结果表明：CDDTA-MMDB是高效的,与具代表性的列存储数据库相比,比MonetDB 5.5快2.5倍,比C-store的invisible join快5倍;并且,CDDTA-MMDB在多核处理器上具有线性加速比.     

一种基于B／S结构的OLAP服务体系结构的研究

论述了当前基于C／S结构的OLAP系统的不足，提出了一种基于B／S结构的OLAP系统。该系统读取OLAP建摸工具生成的语义对象存储文件，向用户屏蔽了各种分析数据源的差异，可以以普通关系数据库、数据仓库和数据立方体为分析数据源，通过浏览器向用户展示分析结果，同时可以对分析结果进行各种分析操作。     

一种面向地震数据的两级索引

地震数据处理中的数据读取具有块小量大的特点,常规磁盘所用的数据读取方式,其处理速度缓慢。设计了一种基于Fast DFS的分布式地震数据存取系统。该系统将数据分块存储在硬盘上,在Fast DFS中建立基于炮号和道号的两级索引结构,并选取Trie树作为一级索引,AVL树或红黑树作为二级索引,提高了系统读取速度。实验结果表明,该地震数据存取系统减少了相应的查询响应时间,提高了系统存取性能。     

位图连接索引服务机制研究

位图连接索引是数据仓库中一种有效的优化表间连接操作性能的索引机制。在大内存分析处理应用场景下,位图连接索引不仅需要权衡索引的内存和CPU开销,还需要进一步考虑处理器平台所带来的性能收益和数据访问延迟。提出了基于服务的位图连接索引管理机制,其主要特点体现在三个方面：独立于数据库的自管理索引机制;基于存储空间约束的TOP K关键字位图连接索引机制;处理器敏感（processor-conscious）的位图连接索引技术。索引服务将索引从数据库中内置的数据结构变成数据库外的索引服务层,通过对用户查询负载的分析模块和索引服务管理模块改变传统的由数据库管理员人工管理索引的模式,同时借助于协处理器和内存云技术提高索引服务的性能和灵活性。实验测试结果表明,索引服务机制能够有效地提高索引存储和访问效率,在通用GPU的强大并行处理能力的支持下,位图连接索引服务的性能和数据库整体查询处理性能都得到了显著的提升。     

基于MapReduce模型的非结构化数据分布式存储方法

为了解决传统数据存储方法存在的内存消耗过大、读取效率低等多种问题,提出了基于MapReduce模型的非结构化数据分布式存储方法。设计了非结构化数据垂直分片与水平分片方案,并采用聚类算法对分片处理后的非结构化数据进行聚簇处理,在此基础上构建用于数据分布式存储的MapReduce模型,得到非结构化数据分布式存储结果。实验测试结果表明,与传统非结构化数据存储方法相比,研究方法的内存消耗更小、写入量更大、读取效率更高、访问频率动态调节性能好,由此证明该方法的存储性能更优越,实际应用效果更好。     

一种Hadoop小文件存储和读取的方法

HDFS(HadoopDistributedFileSystem)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用.然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理想.提出一种基于小文件合并的方法HIFM(HierarchyIndexFileMerging),综合考虑小文件之间的相关性和数据的目录结构,来辅助将小文件合并成大文件,并生成分层索引.采用集中存储和分布式存储相结合的方式管理索引文件,并实现索引文件预加载.此外,HIFM采用数据预取的机制,提高顺序访问小文件的效率.实验结果表明,HIFM方法能够有效提高小文件存储和读取效率,显著降低NameNode和DataNode的内存开销,适合应用在有一定目录结构的海量小文件存储的应用场合.     

基于Spark的实时视频分析系统

视频监控技术在交通管理、公共安全、智慧城市等方面有着广泛的应用前景,且向着智能识别、实时处理、大数据分析的方向发展. 本文针对大规模实时视频监控提出了新的解决方案. 基于Spark streaming流式计算、分布式存储及OLAP框架,使多路视频处理在可扩展性、容错性及数据多维聚合分析上具有明显的优势. 系统根据视频处理算法划分为单机处理与分布式处理. 并将视频图像处理与数据分析耦合,利用Kafka消息队列与Spark streaming完成对多路视频输出数据的进一步操作. 结合分布式存储方案,并利用OLAP框架实现对海量数据实时多维聚合分析与高效实时查询.     

面向多核CPU和GPU平台的数据库星形连接优化

针对联机分析处理（OLAP）中事实表与多个维表之间的星形连接执行代价较高的问题,提出了一种在先进的多核中央处理器（CPU）和图形处理器（GPU）上的星形连接优化方法。首先,对于多核CPU和GPU平台的星形连接中的物化代价问题,提出了基于向量索引的CPU和GPU平台上的向量化星形连接算法;然后,通过面向CPU cache和GPU shared memory大小的向量划分来提出基于向量粒度的星形连接操作,从而优化星形连接中向量索引的物化代价;最后,提出了基于压缩向量的星形连接算法,将定长向量索引压缩为变长的二元向量索引,从而在低选择率时提高cache内向量索引的存储访问效率。实验结果表明,在CPU平台上向量化星形连接算法相对于常规的行式或列式连接性能提升了40%以上,在GPU平台上向量化星形连接算法相对于常规星形连接算法性能提升超过了15%;与当前主流的内存数据库和GPU数据库相比,优化的星形连接算法性能相对于最优内存数据库Hyper性能提升了130%,相对于最优的GPU数据库OmniSci性能提升了80%。可见基于向量索引的向量化星形连接优化技术有效地提高了多表连接性能,与传统优化技术相比,基于向量索引的向量化处理提高了较小cache上的数据存储访问效率,压缩向量进一步提升了向量索引在cache内的访问效率。     

支持分布式存储删冗的相似文件元数据集合索引

分布式存储技术因其良好的可扩展性、高性价比在当前云存储系统和企业存储中心得到广泛应用.在分布式存储系统中进行内嵌删冗可以有效降低系统存储开销,提高数据存取效率,实现内嵌删冗的关键在于高性能和可扩展的元数据索引方法.该方法应确保删冗操作不影响存储性能.通过分析影响索引性能的关键因素,提出一种分布式相似文件元数据集合索引的构建方法.该方法使用位置敏感Hash函数,将具有相同数据片的相似文件元数据组成集合并建立索引,使一个文件所有数据片元数据检索只需要访问一次外存,有效提高元数据检索效率.并且所生成的索引具有良好可扩展性和很小的内存开销,适合在采用分布式存储结构的云存储系统或者企业存储系统中进行应用.     

锅炉—汽轮机系统的逆系统控制方法

针对非线性锅炉－汽轮机系统各变量间所存在的严重非线性强耦合特征,提出了对其控制的逆系统解耦控制方法,仿真结果表明,采用逆系统控制方法设计的锅炉－汽轮机系统,可在全负荷范围内克服其非线性和严重耦合性,优于其它基于局部工作点所设计的Hx等控制方法。     

应用型本科实验实践教学体系的研究

针对广东培正学院实验实践教学的现状,提出应用型本科实验实践教学体系应由目标体系、内容体系、条件体系、管理体系及评价体系5个子体系构成,详细分析每个子体系的主要内容,形成广东培正学院涵盖基本技能训练、专业综合技能实训、独立实验(实训)和社会实践4大模块组成的应用型实验实践教学体系。     

嵌入式系统定义探讨

对目前国内流行的嵌入式系统定义提出质疑,认为嵌入式系统不是"专用计算机系统",嵌入式系统不只"以计算机技术为基础".从嵌入式系统的发展起源、体系结构、功能特点、知识技术体系等方面进行了分析论证,从而进一步完善了嵌入式系统的定义.     

复杂自组织系统的研究综述

自组织系统是一类复杂系统,它通常驻留在开放的环境中,并且可以根据外部环境和内部状态的变化,通过系统成分之间的自主交互,对系统进行动态调整,从而更好地满足设计目标。近年来,随着计算机技术和Internet的不断发展,越来越多的计算机系统呈现出自组织的特征,有关自组织系统方面的研究变得非常活跃,受到学术界和工业界的广泛关注和重视。本文在深入分析自组织系统概念和特点的基础上,从理论模型、核心机制、关键技术、支撑平台四个方面对自组织系统的研究现状进行了综述和分析,介绍了其应用,讨论了自组织系统研究面临的问题和挑战,并展望了进一步研究方向。     

Distributed and autonomous sensing based on the immune network

A distributed and autonomous sensor network is proposed based on the informational features of the immune network: recognition of nonself by distributed and dynamically interacting units, recognition by a simple comparison with the units themselves, dynamic propagation of activation that would lead to system-level recognition, and memory embedded as stable equilibrium states in the dynamic network. The network is explained by an illustrative example of an eight-coin puzzle: a balance must be used only three times to identify one coin with a different weight from the other seven coins. Our network also uses a dynamic structure network rather than the fixed structures used in neural networks. Simulations show that nonself (the different coin in the eight-coin puzzle, the sensor/process fault in the monitoring example) will be identified by dynamically propagating activation through the network. This work was presented, in part, at the International Symposium on Artificial Life and Robotics, Oita, Japan, February 18–20, 1996     

微机监控技术 三

本文系统地讲述了以微型计算机为中心的微机监控系统的工作原理、系统组成和应用方面的有关技术。分为监控系统的功能和结构、硬件系统和软件系统三个部分。本文为第三部分。     

股票信息系统的组成与应用

对中国股票市场的信息系统做了一个总体概括和介绍。将整个股票信息系统分解为券商信息系统、交易撮合系统、盘后结算系统以及行情分析和信息发布等四个系统,并详细阐述了各信息系统之间的关系,分别给出各个信息系统的基本设计原理和架构。     

A tracking system with space virtual feedback

In this paper, a tracking system with space virtual feedback （SVF） is presented. The whole tracking system is closed by the space virtual feedback line that is the line of sight （LOS）, but the parts in the system, such as the tracking subsystem and the servo subsystem, are in the state of open-loop. Because the SVF tracking model is used, the correcting loops can be removed in this system architecture. So the tracking speed and accuracy of the system are greatly improved.     

卡车的TSK模糊控制

针对在保证一定精度的条件下,要求一次性完成卡车的倒车的情况,利用TSK (Takagi-Sugeno-Kang)模糊系统控制卡车,在TSK模糊控制器作用下让卡车从任意的初始位置一次性倒车到指定的位置。在卡车数学模型中,线性部分设计线性状态反馈控制器,非线性部分先求TSK模糊模型,然后设计基于TSK模糊模型的TSK模糊控制器。它是一个非线性控制器,可保证闭环系统的稳定性。仿真实验结果表明,所设计的TSK模糊控制器对卡车的倒车控制是非常有效的。     

THE CONCEPT OF STABILITIES OF GENERAL SYSTEMS

In this paper, the concepts of the stability and uniform stability of input-output systems introduced in Ref. 1 are generalized to the model of general systems. Several equivalent conditions are given. The relation between the concepts and that of continuity of mappings from a topological space into a general topological space is studied. In the last section, some mapping properties of stable systems and uniformly stable systems are studied. Some open questions are posed.