基于Hadoop的校园教育资源管理系统

针对传统海量数据存储和处理方法成本高、效率低、编写程序困难等缺点,该文搭建了基于Hadoop框架的云平台,设计和实现了基于Hadoop的校园教育资源管理系统。测试及实验结果表明,基于Hadoop的云平台在大数据和多用户并发访问环境下,系统运行稳定,数据处理快,能有效降低成本,较传统单机服务器具有明显优势,能够很好的在校园资源管理系统中得到应用。     

基于Hadoop的企业知识管理系统

基于Hadoop的知识管理系统可以增强企业海量知识存储与处理的能力,实现面向管理决策的知识发现.通过研究Hadoop平台及其特点,分析了基于Hadoop的知识管理系统的优势,构建了基于Hadoop的企业知识管理框架模型,并设计了基于Hadoop的知识管理系统的逻辑架构,最后利用基于MapReduce的协同过滤算法对知识推荐模块进行了详细设计.应用Hadoop等大数据技术及推荐系统技术构建知识管理系统既能实现知识管理的个性化和智能化,又能满足企业知识管理系统的扩展性和经济性的需求.     

一种基于Hadoop架构的网络安全事件分析方法

文章介绍了Hadoop分布式计算架构及其核心技术HDFS(Hadoop Distributed Filesystem)、MapReduce处理大数据的原理,分析了该技术适用于海量网络安全事件分析的优势和特点。提出了一种基于Hadoop架构的网络安全事件分析方法,并进行了实例分析,验证了该方法的可行性。     

汽车工业企业的Hadoop大数据平台设计

在万物互联大数据时代的海量数据处理中,如何大数据中挖掘出数据中的潜在信息价值并转化为决策依据的能力,特别是对于拥有高附加值数据的汽车企业,将是企业重要竞争力。开源Hadoop在大数据分析过程中,有着易扩展、成本低、吞吐量大等优势,Hadoop分布式平台已经成为绝大多数企业的首选。本文设计实现基于Hadoop开源技术为汽车工业中的企业进行大数据平台设计,实现高效率、高可扩展、高容错、低延时大数据平台,保证了平台的高容错性和灵活性。     

一个基于Hadoop的航迹解析模型设计

大数据时代的来临,给民航带来了空前的机遇和挑战。目前,Hadoop广泛应用于国内外的大数据处理。笔者基于国内空中交通管制航迹解析的需求,设计了一个基于Hadoop的大数据航迹解析模型,实现了海量航迹数据分布式计算的功能,解决了目前大量历史数据解析在集中处理模式下效率较低的问题。此模型的应用能够改善未来管制运行统计分析的性能和准确性。     

Hadoop大数据平台安全问题和解决方案的综述

大数据时代的到来,更强的计算机和更成熟的大数据平台工具让企业从海量数据中挖掘数据价值成为了可能,尤其是基于Hadoop的大数据平台,甚至利用廉价的商业硬件处理TB、PB级别的数据. 在最初Hadoop大数据平台落地建设的过程中,往往功能先行,而忽略了安全的管控策略,直到2009年Yahoo团队提出了基于Kerberos的身份验证方案,才带动了Hadoop大数据平台安全管控工作的全面开展. 本文介绍了Hadoop大数据平台的基本历程,描述了2009年之前Hadoop大数据平台存在的传统安全问题,并尝试着将目前行业内Hadoop生态系统组件的安全性和每个组件的安全解决方案做一次系统的梳理,希望为构建Hadoop大数据平台管控方案时提供参考意见,以便合理利用先进的安全管控方案保护好企业、用户的隐私数据.     

基于Hadoop的数据挖掘技术在测光红移上的研究

天文数据量以指数量级快速增长,使得天文数据挖掘面临前所未有的挑战。分布式集群技术和云计算平台的飞速发展,为海量数据处理和分析提供了新的研究思路和方法。其中基于内存计算的Hadoop分布式集群技术更是异军突起,并在迭代式机器学习和交互式数据挖掘应用等方面表现出明显的优势。基于最新释放的斯隆数字巡天测光数据集研究基于Hadoop平台的数据挖掘技术在海量天文巡天数据上的适用性和应用问题,为海量天文数据挖掘提供了新的手段和方法。     

一种基于Hadoop+CUDA实现相关器的方法

根据21CMA相关器的算法特点,在对比基于CPU并行的MPI集群、MPI+CUDA异构并行集群和Hadoop+CUDA异构并行集群的架构特点的基础上,提出了一种基于Hadoop+CUDA平台实现软相关器的方法。本方法利用GPU在计算FFT、向量乘和向量加等密集型计算模型的优势,设计相关器的并行模型,使其性能较前期在CPU并行的MPI集群实现的相关器有了大幅提升。同时,本文选择广泛应用于大数据处理平台的Hadoop软件架构,利用Hadoop Streaming工具实现非Java编写的程序在分布式系统中并行执行,非常便捷地获得了集群系统的线性加速比。Hadoop HDFS并行文件系统管理结果数据和过程日志更加灵活可靠,为后续的大数据分析提供了支撑环境。     

基于Hadoop的高校档案馆私有云存储平台的构建

针对高校档案馆面临档案信息资源出现的指数级增长和现有的存储平台不能适应档案数据增长的矛盾,构建一个基于Hadoop构建高校档案馆私有云存储平台,通过采用Linux集群技术、分布式文件系统和云计算框架,实现海量数据存储和高速数据处理。分析了该平台的网络拓扑结构、总体框架模型、平台的功能模块、平台安全特性和比较了私有云存储和传统存储模式。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

基于JSP分页技术的研究

电子商务应用中的数据量往往非常大,甚至会达到几十万到几千万条记录的规模,将如此大量的数据显示在一个页面里困难大、效率低。在这种情况下就需要采用分页显示技术将数据库中符合条件的数据逐页显示给用户。对JSP分页技术进行比较,在分析JSP分页技术特点的基础上,提出一种有效的分页解决方案,同时对分页技术的优化进行阐述。     

系统集成芯片综述

集成电路芯片工艺的发展已可使一个系统或一个子系统集成在一个芯片上 ,称为系统集成芯片。本文综述了系统集成芯片的硬件构造、超长指令 (VLIW )结构、芯片嵌入软件及软硬件协同设计方法。     

Hibernate技术在基于GIS数据库中的应用研究

空间信息的存储和处理问题是地理信息系统(GIS)的核心问题.对空间数据和属性数据的统一存储管理已成为必然趋势.本文通过对GIS中海量数据的存储方式进行研究,指出对象-关系型的数据库存储方式是空间数据库的发展方向.在此基础上讨论了Hibernate技术与GIS数据库的结合,使用Hibernate技术将关系数据库中空间数据和属性数据进行封装,屏蔽了数据库底层操作,使得程序员可以用面向对象的思想随意操纵数据库,在利用了关系数据库的快速检索、查询能力的同时也增强了数据的一致性和可移植性.     

基于VRML的网上虚拟教室漫游研究

以一个虚拟教室为例进行3D虚拟漫游的初步设计．这种方式不同于目前网上的虚拟教室。介绍在WWW上采用VKML实现虚拟教室漫游系统的特点、VRML的工作模式和造型机制,采用了基于几何图形的建模方法,探讨场景中交互设计实现的方法,提出碰撞检测技术的应用．实现网上发布和优化。     

基于CUDA的引导源目标定位快速算法研究

研究引导源的目标定位问题,为实现水下目标定位提供了一种新的途径。实际海洋环境中存在噪声,对定位精度的影响非常大,为了实现低信噪比条件下对目标的准确定位,提出了一种改进的邻域平均法对条纹图像进行降噪处理。同时,由于声场计算和图像处理需要非常大的计算量,实现会耗费较长的时间,提出了利用CUDA技术对GTL算法进行加速处理。处理结果表明,经降噪方法处理后,目标距离估计结果准确,误差较小;与传统CPU方法相比,CUDA技术能不改变精度,且使算法时间减少,为目标定位提供了依据。     

基于《伤寒论》的命名实体识别研究

研究《伤寒论》中命名实体的识别方法,助力张仲景《伤寒论》不同版本文本的深度挖掘,有助于传承中医文化.该文尝试构建ALBERT-BiLSTM-CRF模型,提取《伤寒论》中疾病、证候、症状、处方、药物等实体,并与BiLSTM-CRF模型和BERT-BiLSTM-CRF模型进行对比.五次实验ALBERT-BiLSTM-CRF模型三个评价指标准确率(P),召回率(R)和F1-测度值(F1-score)的平均值分别为85.37％,86.84％和86.02％,相较于BiLSTM-CRF模型和BERT-BiLSTM-CRF模型F1-score分别提升了6％和3％.实验表明相比BiLSTM-CRF和BERT-BiLSTM-CRF模型,ALBERT-BiLSTM-CRF模型在基于《伤寒论》的实体识别任务中效果最好,更适用于中文古籍的知识挖掘.     

Elastos中间件ContentProvider的设计与实现

E1astos是具有中国自主知识产权的面向服务的新型嵌入式网络操作系统。目前主要用嵌入式设备,多款基于Elastos的3G手机已经面世．一款基于Elastos的电子书也即将进入量产。本文提出了基于Elastos的Content Provider,这是一种易于使用和扩展的应用程序数据访问模式．解决了在需求多变的市场背景下,手机应用程序如何方便的访问数据的问题。     

Elastos中间件ContentProvider的设计与实现

Elastos是具有中国自主知识产权的面向服务的新型嵌入式网络操作系统。目前主要用嵌入式设备,多款基于Elastos的3G手机已经面世,一款基于Elastos的电子书也即将进入量产。本文提出了基于Elastos的ContentProvider,这是一种易于使用和扩展的应用程序数据访问模式,解决了在需求多变的市场背景下,手机应用程序如何方便的访问数据的问题。     

AADL模型的测试方法研究

近几年来,MDA开发方式的应用使得如何保证模型质量成为研究的热点.以基于模型的测试为研究对象,研究了对AADL模型进行模型测试的方法,并提出了结合马尔可夫链对AADL模型进行测试的框架以及实施方法.最后,通过示例进一步说明了该方法.     

剖析Windows的用户验证机制

随着Internet和电子商务的发展,信息安全越来越得到业界的重视,其中网络操作系统的安全更是系统安全的基础.本文从计算机安全性的角度出发,着重讨论了Windows针对不同的使用环境所提供的用户身份验证的机制.