基于数据仓库的海量搜索日志分析系统研究

针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题,提出了基于数据仓库的海量搜索日志分析系统架构.利用Hadoop分布式文件系统(HDFS)存储海量搜索日志,并对搜索日志进行清洗处理,采用impala对数据进行高速的处理,将处理后的统计结果导入到数据仓库中,使用Penta-hoBI对数据进行多维分析和统计报表.获取了关键词分析、查询频率、热词排行、查询词和时间分布、网站排名、用户统计等6个分析主题.分析结果对于搜索引擎的排序算法和系统优化都有一定的指导意义.     

基于JMS和MDB构建异步日志服务

日志服务是软件中的一个重要组成部分.同步的日志服务会带来额外的开销,而且不能有效地作为分布式日志服务.本文介绍如何使用JMS和MDB开发一个异步日志服务.其中使用JMS和MDB实现异步,使用JDBC来持久化数据.     

一个基于XML数据仓库系统的设计与实现

黄土高原数据仓库系统以分布式数据仓库为核心,包含多个异质数据源。系统采用中间件技术不仅提供多层次资源查询服务,并且还使用数据挖掘技术和信息检索技术对资源数据进行深加工,能够主动地为用户提供黄土高原生态环境咨询、评测、预测与决策支持服务。论文重点介绍了一种基于XML的统一模式查询语言———XUSQL,用以解决多数据源中多模式数据融合问题。XUSQL使得在数据仓库中的查询与数据源模式无关,把数据源和数据仓库隔离开,从而有利于构造分布式数据仓库,便于异质数据源之间数据融合以及数据源本身的结构调整。     

基于Hive的海量搜索日志分析系统研究

针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题, 提出了基于Hive的Web海量搜索日志分析机制。利用HQL语言以及Hadoop分布式文件系统(HDFS)和MapReduce编程模式对海量搜索日志进行分析处理, 对用户搜索行为进行了分析研究。对用户搜索行为中的查询热点主题、用户点击数和URL排名、查询会话的分析结果对于搜索引擎的排序算法和系统优化都有一定的指导意义。     

基于局部呼叫数据建模的相对相似用户分布式查询

在众多以手机呼叫记录（Call Detail Record,CDR）为数据源的分析研究和挖掘应用中,相似用户查询作为基础研究方法占据着重要地位。传统的查询算法多为集中式处理,然而CDR数据分布产生和存储的本质带来了相似用户分布式查询的问题。本文结合真实数据集,分析用户存储于各基站的局部数据与全局数据的关系,提出并实现基于局部呼叫数据建模的相对相似用户分布式查询方法（Rsu-DQ）,使用真实数据设计实验验证所提出方法的准确性和高效性。     

数据仓库跨版本透明查询系统的设计

针对传统数据仓库系统中多维模式进化历史的挥发性问题,提出用版本元数据来记录数据仓库进化过程中的每一种多维模式状态,给出版本元数据结构,设计了跨版本透明查询系统及相应的查询算法。查询分解算法将用户基于一种模式结构提出的查询请求分解为在各个数据仓库版本上计算的子查询,集成算法将子查询结果进行必要的汇总和转换。     

应用软件运行日志的收集与服务处理框架

随着现代计算机系统的规模和复杂性不断增大,其运行日志的数量也不断增多,但是由于日志数据的规模巨大、内容杂乱,用户查看日志数据具有一定的困难,因此对应用软件运行日志进行有效收集与处理具有重要意义。提出了一种应用软件运行日志的收集与服务处理框架,利用分布式收集策略对日志数据收集,定义了一种多层次数据存储结构对日志数据进行存储,并向用户提供日志数据查询服务。通过对某综合减灾系统的日志数据分析验证了提出的日志数据收集与服务处理框架的实用性,并与传统的日志收集分析软件ELK和Chukwa进行了对比。     

#br# 分级存储数据多维分析技术的研究与应用

多维数据分析是数据仓库系统需要具备的一个主要功能,它接受用户的多维数据查询请求,生成多维数据集,为建立数据挖掘模型提供基础数据。本文提出一种分级存储数据的多维分析方法,实现分布式多维数据的报表展现原型系统,解决分布式环境下数据的即时展现应用问题,为分布式数据的统计展现提供了多角度、多层次和直观性的分析手段。     

基于层次位图连接索引的数据仓库查询优化

在数据仓库的联机分析处理的查询处理中,经常会涉及到大量数据的复杂即席查询.用户通过提交联机分析处理查询对数据进行分析和决策支持,这通常需要较快的查询响应速度.因此,提高联机分析处理的查询性能就成为了数据仓库领域的关键问题.为了提高数据仓库的查询性能,结合维表层次结构的特点,提出一种将分段位图索引和位图连接索引有效结合的方法.实验证明,该方法节省了位图索引的储存空间,减少了I/O开销,有效地提高了数据仓库的查询效率.     

基于点击流数据仓库的用户行为分析

点击流数据揭示了网上消费者在网上的冲浪行为,这些数据记录了用户的行为信息.如何从海量日志数据中自动、智能地抽取隐藏于其中的知识,这是本文要研究的问题.介绍一种利用SQL Server 2005构建Web日志数据仓库的方案,先对点击流数据进行收集、预处理,并加载到数据仓库,然后通过Analysis Services深入分析网站用户的消费行为、兴趣偏好,挖掘有趣模式,获取更多有指导意义的商业信息.     

Differentiated management strategies on cloud computing data security driven by data value

ABSTRACT

Data security is a primary concern for the enterprise moving data to cloud. This study attempts to match the data of different values with the different security management strategies from the perspective of the enterprise user. With the help of core ideas on data value evaluation in information lifecycle management, this study extracts usage features and user features from the operating data of the enterprise information system, and applies K-means to cluster the data according to its value. A total of 39,348 records of logon log and 120 records of users from the information system of a ship-fitting manufacturer in China were collected for an empirical study. The functional modules of the manufacturer’s information system are divided into five classes according to their value, which is proven reasonable by the discriminant function obtained via discriminant analysis. The differentiated data security management strategies on cloud computing are formulated for a case study with five types of data to enhance the enterprise’s active cloud computing data security defense.     

基于数据仓库技术的工程数据管理系统的研究与实现

工程试验产生的数据组织分散、模式复杂而多变，从而要求工程数据管理系统能够统一管理数据，并具有良好的用户定义特征和数据扩展能力．本文描述了一个面向工程试验数据仓库体系结构的分析和设计，并实际应用到了试飞数据管理系统中，达到了预定的目标．同时提出了利用元对象实现不同模式数据集中管理和使用的方法．     

基于数据仓库的煤矿物资管理系统的设计与实现

介绍了数据仓库的基本概念和特性,把数据仓库的技术运用到煤矿物资供应系统中,把抽象的理论具体化,根据煤矿物资供应系统及其数据库的特点,分析了其决策的需求,提出了在煤矿物资供应业务数据基础上设计数据仓库系统的基本构架和技术特点。在此基础上,探讨了基于数据仓库的煤矿物资供应系统的实现,     

C／S方式下的计算机管理系统设计

充分发挥客户端开发环境及服务器端数据库的先进技术,设计和实现C／S体系结构下的管理信息系统,并利用虚拟数据仓库及关系联机分析处理（ROLAP）技术的用户完成智能决策分析提供科学依据。     

进销存管理系统的设计与实现

该系统主要对产品的入库,出库和库存进行管理,减少人工操作的麻烦和误差。能更好的提高企事业的管理模式,实现办公自动化。对系统分析、总体设计及详细设计进行了阐述,主要实现了以下功能:用户管理、入库操作、出库操作、数据导出和查询统计等。用户管理主要用于添加、修改和删除用户信息并进行权限管理;入库操作可以实现产品入库;出库操作用于实现产品出库;数据导出和查询统计用来实现数据查询并导出数据。     

高能物理网格数据管理关键技术研究

首先概要介绍高能物理网格的需求和发展,然后对其中数据管理的关键技术进行深入分析和探讨,包括名字服务、数据复制管理、数据传输、海量存储系统、用户访问接口等.最后,介绍一个用于高能物理网格数据管理的文件系统原型设计.     

基于数据仓库的Web日志挖掘技术研究

Web日志挖掘是目前Web挖掘研究的一个重点.针对Web日志挖掘中存在的问题,给出了基于数据仓库技术的Web日志挖掘方案,就数据预处理、数据立方体设计及数据挖掘技术的应用进行了较为深入的探讨.并以一个Web站点日志为例,详细阐述了Web日志数据预处理、Web日志立方体设计以及数据挖掘算法的实现过程,并实现了一个Web日志多维数据集,能够有效解决Web日志分析中的难题.     

田湾核电站基于Elasticsearch的创新型数据应用研究与实践

针对难以在海量数据中快速定位目标数据的问题,田湾核电站对Elasticsearch这一搜索引擎技术进行研究,通过微服务架构设计模式和前后端分离的开发技术建立起三项具体数据应用,解决了数据索引和数据定位的问题,提升了工作效率.IT智能客服机器人平台建立起具备自动应答功能的在线服务平台,在线提供高效的IT服务,提升IT服务...     

基于三维地球的多源空间科学数据可视化管理系统的设计与实现

如何高效地组织和管理日益增长的多源海量空间科学数据、提高数据的可用性和易用性,是空间科学目前需要重点解决的技术问题。在充分分析现有空间科学数据管理技术和数据特点的基础上,提出了一种有效的系统架构,研究并利用空间关系数据库及分布式数据库技术,实现了海量异构数据的高效存储、检索与定位;研究基于三维数字地球的多层次细节展示方法、三维数据剪裁、多线程并行加载等关键技术,提高了空间科学数据的集成可视化显示与应用效率。最后设计并集成了多源空间科学数据可视化组织与管理系统,在实际工程应用中验证了设计的合理性与有效性。