大规模查询日志分析模型构建机制

日志分析在用户搜索方面具有重要的意义,但是现代日志分析系统中具有多方面的问题,比如离线处理模式的处理时间较长,大量的数据没有办法进行处理.实现日志数据的分级归档,能够优化处理大数据.基于此,本文就提出了以Hadoop为基础的大数据日志分析模型,并且对其中的业务处理流程和功能架构实现全面的分析.实验结果表示,本文设计的大规模查询日志分析模型具有较强的扩展性、良好的数据处理能力,并且还具有有效性及可行性.     

基于微服务架构的日志系统

由于软件系统的规模日趋扩大和由此带来的复杂性,会产生大量的日志信息,这些日志需要存储以备查询和分析,而传统的关系数据库对日志存储、查询、分析的能力有限,因此,需要考虑一种大容量复杂场景的日志解决方案。本文介绍了一种基于微服务化架构的日志系统,在日志的收集、处理、存储、展示各个流程都使用微服务方式部署,支持动态扩容缩容、支持大规模日志的处理和存储,满足了复杂使用场景的日志需求。     

一种基于查询事件的域名服务器日志模型

提出了一种基于查询事件的日志模型,采用查询/应答日志匹配的方法完整的记录了一次查询事件,利用内存数据结构提高了海量数据写入的I/O效率;在日志分析过程中对日志文件建立二维哈希索引,利用布隆过滤器减少磁盘I/O次数,提高了分析效率.     

基于Spark Streaming的海量日志实时处理系统的设计

在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.     

安徽移动彩铃平台USDP日志查询系统

本文首先介绍了彩铃平台的组网结构和各网元的功能,然后对USDP日志查询系统的总体结构和程序开发步骤进行了详细的描述。     

Hive日志分析的大数据存储优化探讨

由于近些年我国信息化水平的提升,数据为我们工作与生活带来了不可估量的机制,怎样快速地转化大数据为可用信息,可以说是现阶段研究的重要课题。该研究基于Hive磁盘利用率与数据仓库查询性能的优化方式,有助于在专用场景中对Hive日志查询速率进行全面提升。该研究首先对Hadoop和大数据研究现状进行分析,其次探讨Hive日志分析的优化大数据存储策略,以期能够对大数据存储提供有效借鉴。     

基于C#的PowerCaster类型化自动播出系统日志查询设计

PowerCaster是一种基于C/S架构针对音乐类广播节目类型化播出设计的自动播出软件,与S1相比,Power-Caster可实现广播节目的类型化播出,即可以根据事先制定节目策略智能化排播出单.但在为节目生产提供便捷的同时,该系统生产厂家未对系统播出日志设计查询功能,不便于在系统发生故障时及时查询播出日志.针对这一问题,利用面向对象的高级编程语言C#对该系统日志查询功能进行了二次设计.     

基于用户日志的相关搜索模型研究

搜索技术的组成部分发展至今已经呈现多样化,在不同的使用环境它们各有特色,但都致力于为使用者提供更优质的使用体验。现代搜索技术希望从使用者的自然语言出发,为使用者发掘到最理想的目标答案。相关搜索是查询推荐技术在搜索引擎中最常见和成功的实现,传统相关搜索基于日志建立的模型是为了应付基于内容分析或初次检索模型的局限性。文中重新划分粒度,更加精确计算用户日志数据的相关性,为使用者提供更好的相关推荐。实验表明,文章结果在应用中有了较好的提高。     

现代电子科技信息查询技术新进展及其发展趋势

随着网络的快速发展,导致了电子信息源的迅速增长,电子科技信息查询技术也有了新的进展.文中重点论述了扩展查询和查询词重加权技术,包括:①基于用户反馈信息的查询技术;②局部文献分析查询技术;③全局文献分析查询技术.最后指出了未来查询技术的自然语言化、智能化、敏捷化和知识化发展趋势.     

信息检索结果多样化探索

研究了信息检索结果多样化的方法。首先实现了经典的检索结果重排序最大边缘相关(MMR)算法,进而设计了三种基于查询日志的子查询构造方法:单字向后扩展,双字向后扩展和双向子串扩展,并最终探讨了将这三种子查询构造方法分别与最大边缘相关算法相结合的使用策略。实验表明,采用上述方法实现的系统能明显提高信息检索结果的多样性。     

文件分布式组织的集中式P2P系统的研究

结合分布式结构化P2P系统的优点,提出了一种新的P2P拓扑结构,很好地解决了集中式P2P系统的问题,同时又保存了该系统的优点,是对集中式P2P系统的一次好的优化处理。     

一种基于Web日志用户浏览模式的数据挖掘

Web日志中包含了大量的用户浏览信息,如何有效地从其中挖掘出用户浏览兴趣模式是一个重要的研究课题.本文研究了Web日志挖掘的机理,在分析挖掘频繁遍历路径的问题特征和对其进行形式化描述的基础上,进一步提出了一种在Web日志中挖掘频繁遍历路径算法,该算法能够正确、快速地从Web日志中抽取频繁遍历路径.     

云环境下安全密文区间检索方案的新设计

针对目前密文区间检索多次断言存在信息泄露等问题,有单断言的密文区间检索方案(SRQSAE方案),并证明方案在唯密文攻击下的隐私安全性。对SRQSAE方案的安全性进行了分析,分析结果表明SRQSAE方案并不能隐藏搜索关键字的大小关系排序。通过在每次生成搜索索引或陷门消息时引入不同随机数的方法,提出了单断言的密文区间检索新方案。新方案对搜索关键字、区间的大小关系提供了很好的隐私保护;而且新方案在安全性提高的同时,并不以损失效率为代价。     

基于对象的空间数据库的方位查询算法

基于方位的空间关系在地理信息系统、图像识别、空间数据库等很多领域中是很重要的，经常被用作空间查询的选择条件。主要研究基于对象的方位查询处理算法，并提出了一种全新的基于模型的开放策略。以OSS为模型的查询算法通过提高传送效率来减少Ⅰ／O和CPU的设备开销，实验数据表明此算法在性能上超越从前的变换查询算法，更适合对复杂的数据集合进行处理。     

SQL查询语句优化研究

在关系数据库系统中,结构化查询语言（SQL）的查询效率一直是人们关注的焦点。首先分析了SQL优化的可行性,然后研究了SQL的优化原理,最后给出了几种SQL优化方法。     

能量高效的无线传感器网络时空查询处理算法

 在无线传感器网络环境中,用户经常提交的查询是时空查询,如“获得区域A在某个给定时间段内的感知数据”.由于传感器节点能量十分有限,因此,能量高效的时空查询处理是目前亟需解决的问题.首先指出了现有的时空查询处理算法能量消耗大的原因在于查询协调节点选择不合理.然后给出了理论上最优的查询协调节点的位置及其证明,并基于该理论提出了一类能量高效的传感器网络时空查询算法ECSTA.最后通过实验分析了节点密度和查询区域大小对算法能量消耗的影响.理论和实验结果表明ECSTA算法优于现有的STWin框架下的算法.     

SQLS: A Storm-Based Query Language System for Real-Time Stream Data Analysis

In this work,a Storm-based query language System (SQLS) is proposed for real-time data stream analysis.The system is compatible with Continuous query language (CQL) specification.It supports both continuous queries and one-time queries over streaming data,and meets the requirements of user experience (traditional SQL queries) and QoS (such as real-time and throughput).In order to better meet the requirement of throughput and enhance the processing efficiency,the load shedding algorithm and cache optimization are employed during the implementation of SQL-like operators.Finally,performance testing of the proposed SQLS has been conducted on standalone Storm platform and Storm clusters.Experimental resuits show that our system can not only meet the needs of users,but also extend the function of real-time streaming queries processing.     

通用查询模块设计和实现

针对信息系统中查询模块开发过程中的现存问题，提出了一种通用查询模式，结合郑大客户关系管理系统的开发实例，探讨了它的设计方法和实现的技术细节，提供了具体的数据存储和界面设计方案。     

一种语义层次分布式路由模型研究

对等网络是一种分布式网络技术,如何提高文件搜索效率是对等网络发展的关键所在,支持语义查询是更好提高搜索效率的途径之一。SWLDRM是Chord的改进模型,它使用DHT算法在节点上分配文件,适合精确查找,不支持语义查询。以SWLDRM为基础,通过语义空间将节点根据存储数据对象的兴趣聚集,构建语义层次分布式网络路由模型SLDRM,并将SLDRM与SWLDRM进行比较仿真实验,仿真实验结果表明SLDRM具有更好的搜索性能。