应对海量数据检索:分布式局部索引的架构

通过理论分析对全局和分布式索引架构进行了比较,分析了分布式全局索引架构所能够应对的数据规模的上界和分布式局部索引架构在特定数据规模下相应最优的机群规模等。可以证明,在海量数据背景条件下,由于需要求交集的查询结果数据量过大,会导致全局索引架构在查询结果求交集阶段处理时间过长,以致信息检索系统不能满足用户对系统响应时间的需求,因此局部索引架构会成为在面对海量数据时信息检索系统的必然选择。     

基于Lucene的分布式并行索引

索引技术是搜索引擎的核心技术之一,索引技术的好坏直接影响到搜索引擎的查准率以及对用户的响应速度。Lucene是一个优秀的全文检索引擎架构,采用高度优化的倒排索引结构并支持增量索引。但在实际应用Lucene时存在一个值得关注的问题：随着被索引文件的增多,索引时间成线性增长,导致建索引的过程会影响搜索体验;在搜索引擎应用中,当索引文件量达到一定等级时,搜索引擎就遇到性能瓶颈。在深入分析和研究Lucene索引机制的基础上,采用以内存为缓冲区建索引文件的分布式并行索引技术形成了一个可扩展的搜索引擎解决方案,极大地缓解了建索引给搜索带来的瓶颈问题。     

基于Lucene的分布式并行索引

索引技术是搜索引擎的核心技术之一,索引技术的好坏直接影响到搜索引擎的查准率以及对用户的响应速度.Lucene是一个优秀的全文检索引擎架构,采用高度优化的倒排索引结构并支持增量索引.但在实际应用Lucene时存在一个值得关注的问题:随着被索引文件的增多,索引时间成线性增长,导致建索引的过程会影响搜索体验;在搜索引擎应用中,当索引文件量达到一定等级时,搜索引擎就遇到性能瓶颈.在深入分析和研究Lucene索引机制的基础上,采用以内存为缓冲区建索引文件的分布式并行索引技术形成了一个可扩展的搜索引擎解决方案,极大地缓解了建索引给搜索带来的瓶颈问题.     

基于并发跳表的云数据处理双层索引架构研究

云数据处理在云计算基础设施中占有极其关键的地位。然而,当前的云存储系统绝大部分都采用基于分布式 Hash 的健‐值对模式来组织数据,在范围查询方面支持不理想、且动态实时性差,有必要构建云环境下辅助动态索引。通过总结、分析云环境中辅助双层索引机制,提出一种基于并发跳表的云数据处理双层索引架构。该架构采用两层体系结构,突破单台机器内存和硬盘的限制,从而扩展系统整体的索引范围。通过动态分裂算法解决局部服务器中的热点问题,保证索引结构整体的负载均衡。通过并发跳表来提高全局索引的承载性能,改善了全局索引的并发性,提高整体索引的吞吐率。实验结果表明,基于并发跳表的云数据处理双层索引架构能够有效支持单键查询和范围查询,具有较强的可扩展性和并发性,是一种高效的云存储辅助索引。     

一种新型面向商业领域搜索引擎的设计与实现

分析了商业领域搜索引擎与传统搜索引擎的区别.为满足商业需求,需要对传统的搜索引擎进行改进.设计了一种面向商业领域搜索引擎的系统架构,并着重对索引部分的设计与实现进行了详细的分析.     

基于策略爬行与混合索引的医药行业垂直搜索引擎的设计与实现

随着互联网应用的深入,越来越多的用户希望通过搜索引擎获得特定行业的相关信息,通用搜索引擎无法有效地满足相应需求。文中主要介绍医药行业垂直搜索引擎的设计与实现。设计基于智能搜索引擎的架构,采用了任务驱动的聚焦搜索、隐藏搜索技术;字词混合倒排索引及优化的字倒排索引、检索技术。提供了资源收集阶段的可控策略爬行,和高效的索引、检索功能。实现了针对医药行业的高专业度、高准确率、高效率的信息垂直搜索。     

基于策略爬行与混合索引的医药行业垂直搜索引擎的设计与实现

随着互联网应用的深入,越来越多的用户希望通过搜索引擎获得特定行业的相关信息,通用搜索引擎无法有效地满足相应需求。文中主要介绍医药行业垂直搜索引擎的设计与实现。设计基于智能搜索引擎的架构,采用了任务驱动的聚焦搜索、隐藏搜索技术;字词混合倒排索引及优化的字倒排索引、检索技术。提供了资源收集阶段的可控策略爬行,和高效的索引、检索功能。实现了针对医药行业的高专业度、高准确率、高效率的信息垂直搜索。     

搜索引擎倒排索引技术的改进

倒排文件是搜索引擎检索系统普遍采用的索引技术。在实验基础上，针对中文搜索引擎中索引的时效性和传统倒排索引在更新时的缺点，提出分组索引技术和一种追加索引的更新算法，可以有效提高搜索引擎的检索效率，同时不影响系统检索效果。     

法律搜索引擎索引系统同步模块的设计与实现

随着互联网的迅猛发展,信息爆炸出现在人们面前,如何快速、方便、有效地从信息的海洋中找到需要的信息逐渐成为越来越重要的问题,搜索引擎也应需而生.按照搜索引擎的"全、准、快、好"评测标准,目前的许多搜索引擎已经不能满足人们的需求,存在很多问题.针对这一问题,设计了一个应用于中英文法律信息检索的搜索引擎系统.搜索引擎系统的设计涉及多种关键技术,而索引是搜索引擎的核心,搜索引擎后台工作的目的就是要建立关键词和文档的索引.建立高效、快速、优化的索引结构会对搜索引擎的性能产生决定性的影响.通过对索引系统功能模块的分析,引入了索引系统的设计问题.围绕索引系统关键词同步和文档同步,提出了一种适用于中英文法律信息检索的搜索引擎索引系统同步模块的设计方法与PHP程序实现,并通过实验数据分析其优劣.     

基于KD树和R树的多维云数据索引

针对云存储系统大多基于键值对模型存储数据,多维查询需要对整个数据集进行完全扫描,查询效率较低的问题,提出了一种基于KD树和R树的多维索引结构(简称KD-R索引)。KD-R索引采用双层索引模式,在全局服务器建立基于KD树的多维全局索引,在局部数据节点构建R树多维本地索引。基于性能损耗模型,选取索引代价较小的R树节点发布到全局KD树,从而优化多维查询性能。实验结果表明：与全局分布式R树索引相比,KD-R索引能够有效提高多维范围查询性能,并且在出现服务器节点失效的情况下,KD-R索引同样具有高可用性。     

基于群决策的指标体系结构建立方法

为建立科学合理的武器装备论证指标体系,提出基于群决策的指标体系建立方法。采用分布同步和分布异步相结合的群决策组织方式,将指标体系建立过程分为指标体系结构研讨和指标体系取值2个部分,针对指标体系结构研讨提出主题生成函数和综合研讨方法。基于该方法开发的指标体系生成系统已在多项武器装备论证任务中得到应用。     

基于CAN总线的分布式消防报警系统

为避免大型建筑消防报警系统因主机故障而全部瘫痪的危险,研究了一种多主分布式消防报警系统.采用32位MCF5282微处理器和多种8位微控制器,基于CAN总线实现了对等分布式的消防报警系统设计.首先介绍系统的结构设计,给出了主控制器和系统节点的具体实现方法;采用一种公文式数据报通讯协议,解决了多主通讯存在的数据丢失问题;最后介绍了系统软件结构和设计思想.系统在信息传输的安全性、准确性、实时性等方面达到了较高的性能指标.     

基于GEAHP模糊综合评判的教学质量评价系统

提出一种群体可拓层次分析法确定评价指标的权重以解决指标权重不确定问题,用模糊综合评判法进行综合评价以解决评价数据模糊性问题。在此基础上,设计了教学质量评价系统的体系结构、功能模块、后台数据库系统,研究了系统实现的主要技术,解决了C/S和B/S混合模式下编程问题和数据库安全性问题。实例分析证明了评价系统的有效性。     

局域网安全态势感知系统的研究

针对局域网中存在的安全风险和统一威胁管理瓶颈问题,提出一种局域网安全态势感知系统,给出其体系结构,采用DEMATEL方法获取主要安全指标,利用模糊综合评价算法建立态势评估模型,在此基础上构建威胁评估模型,计算局域网的威胁程度。仿真结果证明,该系统能准确分析局域网的安全态势,增强网络安全性。     

基于SaaS模式的决策支持系统的研究

SaaS平台软件交付模式主要是把应用软件以服务的形式提供给用户,文中尝试探索了一种基于SaaS模式的决策支持系统的架构。主要方法是采用第三种成熟度模式来设计决策支持系统的架构,对于决策模型主要采用WebService来对服务决策模型进行封装。基于SaaS模式的决策支持系统就可以根据需求来绑定所需要的决策模型,通过实例来阐述模型绑定的关键步骤。分析了用户访问决策模型的具体流程,给出了使用决策模型的形式语言描述。     

通用电路板自动测试系统的软件结构及实现方法

自动测试系统(ATS)的发展趋势是通用化,通用化的关键是系统设计采用相关测试标准和开放式的软件结构;针对电路板测试软件通用化的功能需求,提出了测试程序集(TPS)的通用开发环境和执行环境的软件结构和实现方法,介绍了基于依赖性模型的故障诊断方法和测试方法库的概念;该软件的主要特点:1)采用开放式软件结构;2)通用测试方法库的使用和和简洁的测试树开发界面提高了TPS的开发效率;3)多媒体信息查询使故障检测和故障隔离更容易;目前,该通用ATS软件已成功应用于多个自动测试系统,不仅显著缩短了系统的开发时间,而且减少了软件的开发费用。     

多线程内存数据库服务器设计

文章介绍了一个多线程内存数据库服务器（MTMDS）,由于采用多线程技术,克服了多进程体系结构资源消耗多、进程调度开销大、难以实现大容量共享存储等主要缺陷。文中详细阐述了采用“移动平均反馈”事务预测法（MMFP）的实时数据库引擎（RDE）、动态内存管理（DMM）、用户数据索引及并发控制。     

SOA在电厂人力资源管理系统中的研究与应用

人力资源管理系统是一个综合的信息管理系统,在企业信息化中担负着重要的地位。该文通过对当前的主要的软件架构模式进行分析研究,同时结合电厂的实际情况以及将来的管理与维护考虑,选择SOA软件架构应用在电厂人力资源管理系统中。首先,对SOA架构技术进行深入分析与研究,了解其主要结构。其次,选取一种合适的实现方式。在该文中,对Web Service技术进行研究分析,了解其与SOA的联系。最后,针对电厂人力资源管理的实际状况,引入SOA架构技术,对各项功能进行服务化设计,设计总体的层次结构,给出了SOA在电厂人力资源管理系统中的实现方法。     

基于校园网环境的高校教务管理系统开发研究

运用面向对象技术对高校教务管理业务进行了全面深入的分析,结合业务环境的分布性及系统应用环境的分布性,运用C／S、B／S及对象web技术建立起基于校园网环境的高校教务管理信息系统的体系结构,并讨论了实现中的关键技术及实现方法。