海量题库中的特定数据搜索系统的设计与实现

在挖掘海量数据集过程中,传统海量数据检索方法无法适应海量题库中数据的快速增加趋势,不能在有限时间内获取高质量的挖掘结果。因此,采用Elastic Search分布式架构技术,设计并实现了海量题库中的特定数据快速搜索系统。该系统由用户界面、数据库连接模块、数据抽取模块、索引塑造检索以及索引检索和数据搜索模块等构成。详细介绍了数据抽取模块、索引塑造模块以及索引检索模块的设计和实现过程,3个模块共同实现海量题库中的特定数据快速搜索任务。实验结果表明,该系统的搜索平均响应时间、系统资源消耗以及索引检索性能三方面的性能较高,能够满足用户快速检索特定数据的需求。     

基于异构数据库的海量数据查询系统设计

多种快速发展的应用产生了海量的数据,使得数据结构多样化,导致在异构数据库系统中数据的存储和查询方式不统一。文章设计了基于分层思想的异构数据库的海量数据查询系统,提出查询分发策略并通过Map Reduce并行计算实现了海量查询子结果的汇聚,最后对该系统的有效性进行测试,结果表明:系统实现了统一数据格式的联机查询目标,性能表现良好,提升了查询的精度和效率。     

海量数据的一致性研究

实现海量数据管理的关键技术之一是数据复制,维护多节点副本间数据的一致性是提高分布式数据库的容错能力与性能的重要保证。文章在介绍数据一致性基本理论和比较分析各种数据一致性维护方法的基础上,对海量数据一致性维护过程中出现的更新传播模型、更新传播内容及解决更新冲突等进行分析,并提出了相应的解决办法。     

云计算环境下海量数据高效调度模型仿真

在云计算环境下海量数据调度的过程中,数据节点的利用存在较强的随机性.传统调度方法容易造成数据节点冲突,从而导致调度效率降低.提出基于数据节点冲突避免的云计算环境下海量数据高效调度方法.将整个调度任务划分成多个子任务,计算每个子任务任务量,根据目标数据在数据节点的传输情况,对数据节点的任务量进行计算,根据计算结果,建立优化的云计算环境下海量数据调度模型.实验结果表明,利用改进算法进行云计算环境下海量数据调度,能够有效提高调度的效率,避免了数据发生冲突的情况.     

海量数据存储技术

本文阐述多种海量数据存储技术及其特点,重点介绍数据存储系统中常见的各种存储介质特性及应用的存储模式,并在具体实例中详细分析海量数据存储系统的整体应用架构.     

海量教育多媒体数据高效分类存储技术研究

为了提高教育多媒体数据库的访问能力和信息检索能力,需要进行数据的分类高效存储技术设计,提出一种语义指向性C均值数据聚类的海量教育多媒体数据分类高效存储技术。首先进行教育媒体数据库的数据存储结构分析,计算数据存储的聚类中心和属性类别集分类控制阈值;然后采用语义指向性特征提取方法作为数据存储的信息素导引,对提取的语义指向性特征通过C均值聚类进行优化分类存储;最后进行仿真实验分析。结果表明,采用该方法进行海量教育多媒体数据的分类存储,能提高数据库的吞吐量,数据检索的召回率等指标。     

海量数据信息管理系统设计与实现

为了提高不同场景的绘制效率,对网络中海量数据信息进行可视化管理,设计一种基于三维虚拟的海量数据信息管理系统。系统分为三维图像处理模块、信息感知模块、数据交互模块、三维模型重构渲染模块和输出程序控制模块。采用视景仿真渲染工具Vega Prime进行海量数据信息管理系统的三维立体建模和视景分析,采用3ds MAX软件进行海量数据信息管理建模,结合自适应图形跟踪渲染方法实现网络中海量数据可视化三维图形绘制,提高对海量数据信息的跟踪能力,构建视景分析模型数据库,实现对海量数据信息进行实时管理。仿真结果表明,设计的系统具有很好的三维虚拟重构能力,提高了海量数据显示与交互操作的绘制效率。     

基于Hadoop平台的海量数据高效抽取方法及应用

本文从数据抽取过程的本质出发,论述了传统数据抽取过程与大数据平台数据抽取过程的异同,以基于Hadoop的大数据平台为例,结合传统的关系型数据库和非关系型数据库(No SQL)的特点,提出了一种从关系型数据库到大数据平台的高效数据抽取方法,实现了对数据源系统资源占用的最小化,并在电力公司用电大数据抽取中得到广泛应用。     

面向OLAP的高效海量数据存储技术研究与实现

文章在分析了OLAP大规模海量多维数据特点的基础上,针对当前一般规模关系数据库处理海量多维数据能力的不足,通过使用数据库分区技术和并行磁盘组技术,设计并实现了一种高效的、面向OLAP应用的数据存储管理结构。并针对传统查询优化器对于大规模海量数据统计信息更新不及时的问题,设计了一种基于分区技术的统计方法。实验证明,该设计可以对百TB级的多维海量文本数据进行有效的管理。     

海量数据如何管 ILM新机遇

2009年,中国的运营商正式进入全业务运营时代,将面临着更加庞大更加复杂的数据管理问题。全业务带来新挑战海量数据管理的问题一直是电信行业支撑系统需要解决的大问题,数据量增长非常之快,企业的存储成本也随着水涨船高。企业对数据海量存储的需求,催生了企业运用新技术实现分级管理海量数据的想法与实践,信息生命周期管理(ILM,Information Lifecycle Management)     

英语翻译计算机智能校对系统设计

基于短语和句法的英语翻译校对系统重视短语、句法的准确度校准,未能解决英语翻译语境连贯性差的问题,文中设计新的英语翻译计算机智能校对系统,搜索模块、英语翻译模块、英语翻译校准模块以及行为日志等构成系统的主体部分。利用搜索模块完成待校对词汇基本含义与学科内容搜索,通过行为日志掌握用户的行为数据,对系统实施优化;系统软件部分采用基于改进短语翻译模型的计算机智能校对方法,寻找替换待校对词汇的正确词汇,实现英语翻译的智能校对。实验结果表明,所设计系统令英语翻译结果精确度提高了27.7%,可以有效校对出英语翻译结果中语境不连贯的问题,与同类系统相比,文中系统具有高精确度、语境连贯的性能优势。     

海量弱关联图像数据的检测系统设计与实现

当前设计的图像数据检测系统大都依据特定关键词完成数据检测,对海量弱关联图像数据的检测效率和精度较低。为了解决这些问题,设计基于PMML规范的海量弱关联图像数据检测系统,其将数据检测算法同PMML标准融合,由表示层、应用服务层和数据资源层构成。其中应用服务层中的数据检测模块将形成的检测模型通过PMML文档输出,模型应用模块通过PMML模型采用自定义的数据检测查询语言CMQL完成语言检索,实现海量弱关联图像数据的有效检测。系统实现部分给出了PMML模型的创建和应用过程。实验结果表明,所设计检测系统具有较高的检测性能和较低的虚警率。     

基于多语言交互的英语翻译在线辅助系统设计

为了更好地方便世界各地人民之间的沟通交流,文中提出并设计了基于多语言交互的英语翻译在线辅助系统。基于融合多语言交互的英语翻译机制、英文翻译译后编辑与修改和知识数据库管理设计思想,构建了系统设计框架,包括系统收发单元、自动翻译单元、人工校正单元、任务管理单元和记忆库管理单元5部分,并对这5个功能单元性能做了具体分析;在此基础上,设计系统工作具体流程主要包括融合多语言交互的英语翻译服务流程和基于项目的多语言交互英语翻译服务流程设计,实现了多语言交互环境下的英语翻译在线辅助。实验结果表明,设计系统各功能单元运行通过率高达100%,且具有在线翻译速度、发音成功率和多种语言翻译成功率均较高的优点。     

基于Hadoop的光伏发电大数据分析系统设计

光伏发电系统的发电效率和光伏组件的材料、组件安装的倾斜角度及组件功率等因素有密切关系,为了科学地研究这些因素对发电量的实际影响,文中选择使用Hadoop大数据分析工具,它由HDFS分布式文件系统和MapReduce数据处理框架两大核心部件组成,通过它提供的强大的分布式数据处理能力,高效快捷地分析光伏发电系统运行中所产生的各种数据。实验表明该系统能够有效地完成光伏数据处理分析,从海量数据中挖掘到有用信息,对光伏发电发展提供重要助力。     

Low complexity codebook search method in massive MIMO system

In Massive MIMO systems for 5G networks,precoding technology is one of the key technologies.Aiming at user side codebook search method of the discrete Fourier transform (DFT) rotation codebook,a low complexity search algorithm was proposed.In this algorithm,all horizontal and vertical codebooks were grouped separately according to the characteristics that the precoding vectors with the same column of DFT rotation codebooks had the smallest chordal distance and the smaller chordal distance have the stronger correlation,and then the optimal horizontal and vertical codewords with maximum channel gain were obtained to form 3D precoding code-books.The simulation results indicate that the searching complexity of the proposed method is significantly reduced under conditions of insuring the system performance,moreover,this advantage becomes greater with the number of antennas increasing.     

基于云计算的海量大数据智能清洗系统设计

大数据资源是企业拥有的最重要的战略资源之一,也是管理层制定远景规划,提高市场竞争力的主要方式和途径,但大数据中会存在错误、冗余和不完整的数据,降低了大数据的总体质量。为此设计一种基于云计算的海量大数据智能清洗系统,改善现有大数据清洗系统在脏数据处理性能上的不足。分析了基于云计算的大数据智能清洗系统的总体框架和硬件构成,数据清洗系统的硬件部分由数据预处理模块、数据云聚类模块、数据识别模块和实体划分模块等部分组成;给出了智能大数据清洗系统的总体软件工作流程,并重点分析大数据空间聚类、相似度计算等关键的数据处理技术。验证结果表明,提出的基于云计算的海量大数据智能清洗系统设计的总体功能性较为完善,在系统性能测试方面也能够保持95%以上的数据查准率和召回率。     

一种多语言机制英语在线翻译辅助系统

文中通过对以词组为本的统计式机器翻译系统(Statistical machine translation system,SMT)进行词对应方法的优化和筛选来建立多语言机制的英语在线翻译辅助系统.通过M1模型来计算平行语料库中语言字与字之间可能的配对几率,以EM演算法求取未知资料状况下的参数最大值.通过设置条件值参数作为...