基于Docker技术的大数据专业综合实训平台的设计与实现

利用Docker技术、Spring框架、Nginx以及AdminMongo、Redis-Manager等开源项目,经过整合设计建设一套适用于大数据技术等计算机相关专业的综合教学实训平台.该综合实训平台可以在只使用浏览器的情况下完成大数据专业相关课程的课堂教学、学生实训、练习考试、刷题竞赛、技能大赛训练、"1+X"考证练...     

基于Docker的虚拟化技术分析与探究

Docker技术属于一种容器虚拟技术,也是一种容器管理引擎。笔者主要围绕该技术进行讨论分析,旨在利用Docker虚拟技术实现标准化应用部署,将其运用到软件开发和测试环节,能取得较好应用效果。通过对该技术基本规范和应用特点进行研究,可凸出其资源控制和隔离功能,促进Docker技术良好发展。     

基于Hadoop集群的海量数据处理系统

近年来,随着各个领域中大规模、海量数据存储和处理需求的不断增加,集群作为一种廉价的可以提供强大计算能力的并行计算技术得到越来越广泛的应用,其具有大型机的超级计算能力和较低成本投入.从而成为各种高性能计算的主流方向,如科学计算与其他需要大规模并行计算的应用服务等.本文在分析现有分布式储存和计算等关键技术基础上,结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力,提出了一种基于Hadoop的海量数据处理模型.     

基于Hadoop集群的日志分析系统的设计与实现

当前Internet上存在着海量的日志数据,他们中蕴藏着大量可用的信息。对海量数据的存储和分析都是一个艰巨而复杂的任务,单一主机已经无法满足要求,使用分布式存储和分布式计算来分析数据已经成为了必然的趋势。分布式计算框架Hadoop已经日趋成熟,被广泛的应用于很多领域。该文描述了一个针对大日志分析的分布式集群的构建与实现过程。介绍了日志分析的现状,使用vmware虚拟机搭建了Hadoop集群和日志分析系统的构建方法,并对实验结果进行了分析。     

Hadoop分布式集群的自动化容器部署研究*

针对Hadoop集群部署方式过程繁琐复杂、耗时费力、运维难度大,并且不利于集群的快速扩展的问题,提出一种结合Docker容器化技术快速、简单、灵活部署集群的解决方案。该方案综合利用了Docker在应用分发和Ambari进行集群管理的优势,把Ambari及其运行环境和配置构建成Docker Image,并把多节点容器的运行和Hadoop的部署过程写成Shell脚本。只需一条命令,即可实现跨平台的任意节点Hadoop集群的自动化安装部署。实验证明,该方案简单可靠并极大的提高了集群部署的效率。这有利于科研和数据分析人员将更多精力用于其他相关工作。     

基于Docker容器技术的高考志愿填报系统设计与实现

为了解决高考志愿填报时出现的流量堵塞以及数据中心服务器的崩溃等问题,提出了基于Dock-er 容器技术的高考志愿填报系统设计与 实现.利用Docker容器技术对原有的高考志愿填报系统进行优化,设计了更加稳定和韧性的高考志愿填报系统.完善缓解或完全解决了目前高考志愿填报的各项问题.     

一种基于Docker容器的集群分段伸缩方法

针对现有的虚拟机集群伸缩方法响应慢、开销大的问题,提出一种基于Docker容器技术的虚拟机集群伸缩方法。在检测实时工作负载同时通过自回归模型对未来工作负载进行预测,最后使用排队论模型计算所需伸缩量。首先从虚拟机自身进行资源重分配,然后依据工作负载变化率选择Docker容器级别的伸缩或虚拟机级别的伸缩,直到请求响应时间在用户可接受范围之内为止。实验结果证明,在面对不同的工作负载变化情况时,该方法可以提供更快的响应速度和更低的开销。     

基于Hadoop集群的分布式入侵检测系统的设计与实现

设计并实现了一个基于Hadoop集群的分布式入侵检测系统(HDIDS)。该系统实现了数据采集的分布化,数据存储的分布化和数据分析的分布化。有效地克服单点失效问题以及数据处理能力的瓶颈问题。     

基于Docker的面向网络空间的漏洞靶场设计与实现

在网络空间安全研究、网络安全人才培养和攻防演练中,靶场对于理论原理与实践技术的结合起着重要作用.为解决资源有限的条件下靶场部署难度大、资源利用效率低的问题,基于Docker虚拟化技术,设计了一种可按需调配资源,构建用户靶机相互独立的漏洞测试靶场.实践测试表明,此系统可以通过构建虚拟网络空间,快速部署动态靶机,便于应用在...     

基于Hadoop社交网络分析平台的设计与实现

随着社交网络的快速发展,海量社交网络的数据挖掘成为一个重要课题;针对海量数据的社交网络分析方法进行研究,以Hadoop的分布式文件系统和Map/Reduce并行方法设计基于Hadoop的分布式数据挖掘框架,在此基础上,通过Map/Reduce的并行方法,将传统数据挖掘算法并行化,以谱聚类的并行为例,阐述转化的过程并对在大数据条件下所面临的内存不足的问题给出相应的算法优化;最后对3个不同量级的数据集进行实验,验证基于Hadoop的社交网络分析平台的框架的合理性和算法并行化的有效性。     

Hadoop集群服务监控预警系统的实现

介绍了一种用于Hadoop集群自动化监控、预警系统的实现。通过获取集群节点的内存、CPU、磁盘信息统计节点系统信息,同时统计集群各类Hadoop基础服务的基础信息,如服务的内存使用、存活状态等。系统对收集的信息做异常信息处理与告警,自动推送给系统运维,极大提高了运维的响应速度,缩短问题定位、解决周期。     

Docker技术在软件开发过程中的应用研究

Docker是一个构建在LXC之上的,基于进程容器(Processcontainer)的轻量级VM解决方案。从2013年Docker项目的出现至今,在容器技术中,Docker已经得到迅速的发展和应用[1]。本文针对Docker的技术优势和架构体系,分析了Docker镜像的特点以及Docker容器的创建技巧,并指出了Docker在当前软件开发应用中的重要性。     

基于Docker集群的弹性任务调度模型构建

针对Docker集群访问量具有随机性和不确定性的问题,在提出基于多指标灰色负载预测基础上,通过增加或减少应用容器的方式,实现集群任务的弹性调度,实现集群应用性能和负载均衡。实验结果表明,所提出的基于多指标灰色负载预测算法的弹性任务调度策略,可适应web应用的动态变化,保证高负载状态下应用可即时响应,低负载状态下集群的资源利用率最高。     

基于Hadoop平台的数据挖掘系统的分析与设计

文章在深入研究了基于Hadoop平台的数据挖掘技术、框架构建和SPRINT算法,然后以此为基础探讨了数据挖掘的要求,从而构建出了以Hadoop平台为基础的数据挖掘系统,在构建大数据集的过程中使用了MYSQL系统,并分析和测试了系统的效率.经实践和测试发现,该系统在经过了算法的改进后,数据处理的时间大大减少了,因此整体的系统效率得到了提升.     

基于Docker Swarm集群的调度策略优化算法

Swarm是一种对集群中Docker镜像和容器进行管理的工具,其在计算节点权值时可能会得到若干个相同权值的节点.现有的Swarm调度策略只是将这些节点随机分配,由于相同权值节点的资源负载情况并不相同,所以将会造成节点负载不均衡.针对上述问题,本文提出一种动态调度算法对Swarm调度策略进行优化.通过实验,证明增加动态调度算法能够使集群中节点负载更加均衡,同时提高集群的整体资源利用率.     

浅论Docker技术在微服务中的应用

微服务架构是目前许多大型云平台选择的应用系统架构。以Docker为代表的容器技术在微服务中得到了广泛的应用。Docker技术与微服务体系结构的结合极大地提高了信息系统的性能和效率。介绍和分析了微服务体系结构和Docker技术,讨论了Docker技术在微服务中的应用现状,总结了Docker技术的使用场景。