一种新的内存数据库快速日志恢复技术

恢复技术是保证内存数据库运行可靠的关键,传统的基于日志的恢复技术会对系统性能产生很大影响。本文提出内存数据库系统快速日志恢复技术,它控制日志的产生数量,使得在系统崩溃并重新启动时,能以最快的速度恢复到系统崩溃前的最近一致点上。     

实时数据库系统的内存数据库组织与故障恢复

本文给出一种在内存数据库中能有效节约内存空间的数据组织结构--内存数据库图(MMDBG),然后给出MMDBG的物理组织形式.并重点讨论了基于MMDBG的事务恢复和系统恢复算法,在最大程度上提高系统的响应时间和支持实时事务.     

空间实时内存数据库恢复机制研究与实现

为了满足空间应用对数据管理的实时性和可靠性的要求,针对Swallow空间实时内存数据库设计了一个内存数据库的恢复机制,结合日志驱动修改、影子页面、模糊检查点的思想实现了内存数据库数据和日志的快速备份以及在内存数据库出现事务故障和系统故障时的恢复策略.实验表明该策略保证了事务的并发度,并且在事务故障和系统故障时都有着较高的恢复效率.     

基于非易失性内存的持久化嵌入式内存数据库

随着近年来嵌入式应用的复杂化和多样化,工业界和学术界提出来用内存数据库满足嵌入式系统对数据处理性能不断提升的要求.然而,现有的内存数据库需要在磁盘或闪存等外存上持久化存储真实的数据库备份,并且以I/O操作的方式将数据库的更新操作同步回外存,有极大的性能开销.此外,这类数据库即便直接部署在新型非易失性内存（non-volatile memory,简称NVM)中,也因为缺乏内存中的持久化机制而不能脱离外存.针对现有内存数据库的不足,提出一套面向NVM的持久化内存数据库设计方案.该方案直接用数据库独立管理NVM,持久化存储NVM的空间信息以及内存数据库的元数据.依据该方案,在典型的内存数据库Redis的基础上实现了可在NVM上持久化的内存数据库.实验结果表明,该方案与既有Redis的持久化方案AOF相比,数据库的启动速度可提高2 400倍,关闭速度可提高5倍,set操作的速度可提高58倍,delete操作的速度可提升34倍.     

基于日志恢复技术的内存数据库快速恢复模型的研究

在研究已有恢复技术的基础上,提出了"快速恢复模型".该模型依据快速日志驱动检查点算法、重栽算法.以及模型架构上的支持,不仅能保证系统的可靠运行,同时能在系统崩溃时提供快速、高效的恢复系统的手段.通过实验证明,该方法相对于其他恢复方法,能控制日志的产生数量,使得在系统崩溃并重新启动时,能以最快的速度恢复到系统崩溃前的最近一致点上.     

嵌入式内存数据库恢复机制的设计与实现

根据嵌入式系统环境的特点及其恢复需要,提出一种基于逻辑日志的嵌入式内存数据库恢复子系统设计模式。该子系统采用一主两副的节点模式,保证了数据对象恢复时状态与逻辑日志写时状态的一致性。经过验证试验表明该子系统有效减少了日志信息量,缩短了系统的恢复时间,提高了系统的性能。     

嵌入式内存数据库的恢复及重装算法研究

在嵌入式内存数据库系统中,系统崩溃时数据库主拷贝存于易失性内存中,因此需要把数据库主拷贝从外存重装到内存。本文在嵌入式内存数据库恢复技术的基础上讨论了几种重装算法,提出了嵌入内存数据库的数据优先级重装算法,并进行了实验验证。结果表明,数据优先级重装算法比顺序重装算法性能高。     

NUMA架构下数据热度的内存数据库日志恢复技术

在内存数据库故障恢复技术中,命令日志是针对内存数据库设计的粗粒度的、轻量级的日志记录方式。但在非统一内存访问(non-uniform memory access,NUMA)体系架构下面向数据的数据库设计中利用命令日志进行故障恢复时,由于数据访问频率不均衡,导致负责高频数据恢复的CPU线程负载加重,而其他CPU相对空闲。针对这种工作负载不均衡所导致的恢复时间开销增大的情况,提出了NUMA体系架构下基于热度记录的内存数据库日志恢复算法。该算法中,每一条数据的访问次数作为该数据的热度记录下来。在并行恢复时,根据数据热度,将数据比较均衡地划分到各个节点的CPU线程执行恢复操作,以此来提高数据库的恢复速度。实验结果表明,该方案比NUMA架构下的常规恢复方案快,而且数据的热度越高,恢复速度的提升越明显,最高提升了19%。     

基于持久化内存的索引设计重新思考与优化

非易失性内存(non-volatile memory, NVM)是近几年来出现的一种新型存储介质.一方面,同传统的易失性内存一样,它有着低访问延迟、可字节寻址的特性;另一方面,与易失性内存不同的是,掉电后它存储的数据不会丢失,此外它还有着更高的密度以及更低的能耗开销.这些特性使得非易失性内存有望被大规模应用在未来的计算机系统中.非易失性内存的出现为构建高效的持久化索引提供了新的思路.由于非易失性硬件还处于研究阶段,因此大多数面向非易失性内存的索引研究工作基于模拟环境开展.在2019年4月英特尔发布了基于3D-XPoint技术的非易失性内存硬件apache pass (AEP),这使得研究人员可以基于真实的硬件环境去进行相关研究工作.首先评测了真实的非易失性内存器件,结果显示AEP的写延迟接近DRAM,而读延迟是DRAM的3~4倍.基于对硬件的实际评测结果,研究发现过去很多工作对非易失性内存的性能假设存在偏差,这使得过去的一些工作大多只针对写性能进行优化,并没有针对读性能进行优化.因此,重新审视了之前研究工作,针对过去的混合索引工作进行了读优化.此外,还提出了一种基于混合内存的异步缓存方法.实验结果表明,经过异步缓存方法优化后的混合索引读性能是优化前的1.8倍,此外,经过异步缓存优化后的持久化索引最多可以降低50%的读延迟.     

基于日志的数据库恢复技术的研究

本文详细论述了基于日志的数据库恢复技术，在对常规数据库恢复技术分析研究的基础上。通过引入检查点和数据缓冲技术进一步提高数据库恢复的效率。     

Evaluation of microparticle materials for enhancing the performance of fluorescence lifetime based optrodes

Fiber optic based sensors have many advantages over electrochemical sensors, and as a result have broad application for sensing in agriculture, basic biology, the environment, and medicine. An important component of a fiber optic sensor is the sensing element, usually a solid-state matrix containing the analyte specific fluorescent dye, immobilized on an optical fiber. The fluorescence output of the dye can be calibrated to analyte concentration based on intensity or lifetime. The membrane matrix immobilizes and entraps the fluorescent dye molecules by providing the mechanical support at the optrode tip. The present study used micro- and nanoparticles of TiO₂ and microparticles of different materials (BaSO₄, Cr, CuO, diamond, Au, PbO and ZnS) to investigate the phenomena underlying the role of accessory materials for optrode performance enhancement. We found that 2 μm particles amplified fluorescence intensity better than 10–150 nm particles. Materials with high refractive indexes performed better, provided that they have low absorbance across the visible region. Microparticles with either high refractive indices or high reflectance will amplify the fluorescence output, but microparticles with both properties enhance optrode performance at lower dye concentrations. The results of these experiments have allowed us to engineer membrane microparticle content to optimize a platinum-tetra-fluoro-phenyl-porphyrin (PtTFPP) O₂ optrode.     

Strategies and visualization tools for enhancing user auditing of spreadsheet models

Spreadsheets are very widely used at various levels of the organization. Studies have shown that errors do occur frequently during the development of spreadsheet models. Empirical studies of operational spreadsheet models show that a large percentage of them contain errors. However, the identification of errors is difficult and tedious, and errors have led to drastically wrong decisions. It is thus important to develop new strategies and auditing tools for detecting errors. A suite of new auditing visualization tools have been designed and implemented in Visual Basic for Application (VBA), as an add-in module for easy inclusion in any Excel 97 or Excel 2000 installation. Furthermore, four strategies are proposed for detecting errors. These range from an overview strategy to identify logical components of the spreadsheet model, to specific strategies targeted at specific types of error. Illustrations show how these strategies can be supported with the new visualization tools.     

Fuzzy association rule mining approaches for enhancing prediction performance

This paper presents an investigation into two fuzzy association rule mining models for enhancing prediction performance. The first model (the FCM–Apriori model) integrates Fuzzy C-Means (FCM) and the Apriori approach for road traffic performance prediction. FCM is used to define the membership functions of fuzzy sets and the Apriori approach is employed to identify the Fuzzy Association Rules (FARs). The proposed model extracts knowledge from a database for a Fuzzy Inference System (FIS) that can be used in prediction of a future value. The knowledge extraction process and the performance of the model are demonstrated through two case studies of road traffic data sets with different sizes. The experimental results show the merits and capability of the proposed KD model in FARs based knowledge extraction. The second model (the FCM–MSapriori model) integrates FCM and a Multiple Support Apriori (MSapriori) approach to extract the FARs. These FARs provide the knowledge base to be utilized within the FIS for prediction evaluation. Experimental results have shown that the FCM–MSapriori model predicted the future values effectively and outperformed the FCM–Apriori model and other models reported in the literature.     

一种适用于有线-无线混合网络的性能增强代理

为了改善传输控制协议(TCP)在无线网络中的传输性能,提高链路带宽利用率,提出一种适用于有线-无线混合网络环境的性能增强代理( PEP),并在此代理中采用新的流量控制算法.实验结果表明:与标准TCP协议相比,使用此PEP能够显著增加无线链路的带宽利用率,提高TCP在长时延环境下的传输性能.     

一种基于GMM-EM的非平衡数据的概率增强算法

非平衡数据的分类问题是机器学习领域的一个重要研究课题.在一个非平衡数据里,少数类的训练样本明显少于多数类,导致分类结果往往偏向多数类.针对非平衡数据分类问题,提出一种基于高斯混合模型-均值最大化方法(GMM-EM)的概率增强算法.首先,通过高斯混合模型(GMM)与均值最大化算法(EM)建立少数类数据的概率密度函数;其次,根据高概率密度的样本生成新样本的能力比低概率密度的样本更强的性质,建立一种基于少数类样本密度函数的过采样算法,该算法保证少数类数据集在平衡前后的概率分布的一致性,从数据集的统计性质使少数类达到平衡;最后,使用决策树分类器对已经达到平衡的数据集进行分类,并且利用评价指标对分类效果进行评判.通过从UCI和KEEL数据库选出的8组数据集的分类实验,表明了所提出算法比现有算法更有效.     

基于水下图像光学成像模型的清晰化算法

针对水下图像的纹理细节模糊、对比度低以及图像光照不均问题,通过分析水下图像的成像过程,提出一种水下图像清晰化算法。在小波域的低频子带上结合水下图像光学成像模型,先利用高斯模糊对介质散射光进行估计与去除,再采用基于局部复杂度的方法调整衰减因子,对衰减低频子图进行自适应增强;在高频子带上采用非线性变换的增强方法,进一步增强了高频信息并有效地抑制了噪声的放大。实验结果表明该算法对解决水下图像模糊和光照不均问题具有较好的效果,与基于小波变换的水下降质图像复原算法相比,具有较高的实时性。     

基于凸面体圆弧航路的无人机自主避障算法

为解决无人机飞行过程中障碍物规避问题,提出一种新的三维自主避障算法.首先,根据障碍物的若干信息利用标准凸面体对不规则障碍物进行数学建模,用一个或多个标准凸面体覆盖障碍物整体或关键部分;然后,根据障碍物模型设计圆弧规避航路算法,将避障问题转化为跟踪规避航路控制问题,并定义避障判定、避障方向判断和成功避障规则;最后,结合非...     

基于层次结构的工业无线网络时间同步协议*

为满足工业无线应用对时间同步的需求,根据工业无线的特点设计了基于层次结构的工业无线网络时间同步协议,并通过实验从实时性、可扩展性和稳定性验证了协议的有效性。     

基于HOD的无模型四旋翼RBF滑模控制

为了探索解决在无模型控制算法中如何对系统的未知模型和扰动进行准确估计,提出一种基于高阶微分器(HOD)的无模型RBF神经网络滑模控制器(HODRBFSMC).引入HOD估计系统模型的各阶状态变量,并将系统模型的未知项和外界干扰统一归为总扰动,通过RBF神经网络对总扰动进行估计,并根据Lyapunov定理证明所设计控制器的闭环稳定性.为验证控制器的有效性,所设计的控制器被应用于四旋翼飞行器的轨迹控制,解决其模型参数复杂且飞行过程中易受外界干扰的问题.仿真实验表明,所提出方法能够有效估计并补偿总扰动,其轨迹跟踪能力和抗干扰性能相比PID和高阶微分反馈控制(HODFC)具有一定的优越性,能够很好地满足四旋翼飞行器控制的需求.