基于抽样的Cube占用空间预测算法

在数据仓库的设计中实物化视图的选择有赖于对cube占用存储空间大小的预测,然而传统的基于数据均匀分布的抽样预测算法不能准确地估计cube的大小。文章介绍了一种利用抽样原理预测cube大小的算法,这种算法能够自适应不同程度的数据倾斜,特别适用于数据倾斜程度较大的情况。实验数据表明,该算法对传统的抽样预测算法有明显的改进效果。     

HTAP数据库关键技术综述

混合事务与分析处理(hybridtransactionalanalyticalprocessing,HTAP)技术是一种基于一站式架构同时处理事务请求与查询分析请求的技术. HTAP技术不仅消除了从关系型事务数据库到数据仓库的数据抽取、转换和加载过程,还支持实时地分析最新事务数据.然而,为了同时处理OLTP与OLAP, HTAP系统也需要在系统性能与数据分析新鲜度之间做出取舍,这主要是因为高并发、短时延的OLTP与带宽密集型、高时延的OLAP访问模式不同且互相干扰.目前,主流的HTAP数据库主要以行列共存的方式来支持混合事务与分析处理,但是由于该类数据库面向不同的业务场景,所以它们的存储架构与处理技术各有不同.首先,全面调研HTAP数据库,总结它们主要的应用场景与优缺点,并根据存储架构对它们进行分类、总结与对比.现有综述工作侧重于基于行/列单格式存储的HTAP数据库以及基于Spark的松耦合HTAP系统,而这里侧重于行列共存的实时HTAP数据库.特别地,凝炼了主流HTAP数据库关键技术,包括数据组织技术、数据同步技术、查询优化技术、资源调度技术这4个部分.同时总结分析了HTAP数据库构...     

一种基于Flash的区块地图编辑器实现

针对游戏地图编辑器的实现,结合flash软件技术,在地图的智能融合技术上给出了状态-帧对应的设计模式和整体性处理的算法,在软件交互方面实现了所见即所得,算法支持任意形状和大小的、可融合或不可融合的地图对象,地图构建方式灵活,可自定义扩展,简化了地图的对象设计和交互式地图编辑器的实现.     

一孔多层监测井中地下水分层监测系统开发

针对一孔多层监测井中的地下水动态监测, 研发了一种地下水分层自动监测、远程传输技术及仪 器, 重点解决了监测仪器多通道数据信息的在线监测与集中传输技术问题, 并采用多种措施解决了仪器的稳定性、可靠性、低功耗、密封防水等一系列关键技术问题。仪器可挂接多个传感器并进行集中数据的远 程传输, 在野外对仪器进测试应用, 系统运行状况良好。该系统为一孔多层监测井中多层位地下水位、水温在线监测提供了一套技术及设备, 实现地下水监测从传统的混合监测到分层监测。支撑示范区多层地下水数据精细分析、地下水演化规律深入研究、水文地质参数的真实获取, 大大提高了野外工作效率。     

数据预处理在保险理赔预测中的应用

数据挖掘技术在中国的应用尚不普及,一个重要的原因就是由于业务数据的不规范.通过使用数据预处理技术,可以使业务数据更加规范,保证各种数据挖掘算法取得良好的效果.以保险理赔预测为应用背景,介绍了如何结合专业知识进行数据清洗的方法,同时还提出了一种压缩大数据集的数据归约算法.     

基于分组序号的聚集算法

联机分析处理OLAP(online analytical processing)查询作为一种复杂查询,当使用SQL(structured query language)语句来表述时,通常都包含多表连接和分组聚集操作,因此提高多表连接和分组聚集计算的性能就成为ROLAP(relational OLAP)查询处理的关键问题.提出一种基于分组序号的聚集算法MuGA(group number based aggregation with multi-table join),该方法充分考虑数据仓库星型模式的特点,将聚集操作和新的多表连接算法MJoin(multi-table join)相结合,使用分组序号进行分组聚集计算,代替通常的排序或者哈希计算,从而有效地减少CPU运算以及磁盘存取的开销.算法的实验数据表明,提出的MuGA算法与传统的关系数据库聚集查询处理方法以及改进后的基于排序的聚集算法相比,性能都有显著提高.     

用于电力系统保护和测量中的新型电流和电压传感器

介绍了新型电压、电流传感器的优点及技术特点,论述了罗哥夫斯基(Rogowski)线圈电流传感器及电压分压器的基本原理及系统构成。给出了新型电流电压传感器的技术参数及进行的试验项目。     

高新技术在采油工程中的应用现状及展望

系统地分析了高新技术在采油工程中的应用现状,根据高新技术与采油工程技术的相关性分析,指出高新技术在采油工程中的应用发展趋势,提出采油工程应把借助高新技术的发展,不断创新对传统工艺的思维作为今后长远的发展之路。     

一种高速片内电流监控器实现

静态电流(IDDQ)测试的实现方法研究是IDDQ测试领域的重要内容之一,高速、高精度是共同追求的目标。通过分析测试向量改变时流过被测电路的电源电流变化情况,得出制约IDDQ测试速度的主要因素。基于此,采用CMOS0.5μm工艺参数、SPICE仿真工具和模拟集成电路设计规则,提出一种快速、高精度的BICS(片内电流监控器)的设计方案。设计中利用辅助的PMOS开关管和延迟电路,有效地解决测试速度问题。设计出的电路达到了100MHz的测试速率、1A测量精度、500mV的最大电源电压降、50μA以上的故障电流检测能力,可以满足一定的实际应用需要。     

纯XML数据库管理系统

本文主要介绍了可扩展标记语言(XML)和纯XML数据库管理系统(NXDBMS),给出了XML数据库(NXD)的概念,并分析了NXDBMS的体系结构。