数据平台的设计和实现以及大赛中的应用

得益于大数据相关的开源软件蓬勃发展,中小企业和机构也可以进行大数据平台的搭建和应用。但是数据平台在实际应用中仍然有很多挑战,例如如何进行开放数据的共享和计算,并保证代码安全等。基于开源软件设计了一个数据平台架构来让用户一站式地共享数据和计算,同时跟踪和审核代码。根据此设计搭建了一个生产环境,并给出了基本的测试来验证平台的可用性。把平台开放给外界使用,成功地支持了上海开放数据创新应用大赛(Shanghai Open Data Apps,SODA)中的大量用户的数据共享和计算需求。     

私有云管理平台加速交付服务能力实践

云计算技术的发展使得私有云对于IaaS基础资源的灵活分配能力已经比较成熟,一定程度上满足了企业应用对于基础资源的快速响应需求。互联网时代,随着企业业务的不断发展,如何支撑应用系统平台软件的快速上线对私有云提出了更高的要求。为了实现云计算与企业业务需求的有效衔接,实现软件服务的自动化构建,本文基于私有云管理平台,融合企业DevOps敏捷开发理念,通过实践研究了一套软件服务快速交付的方法,通过效果验证,与传统部署方法相比,需求交付时间压缩到分钟级,一定程度上支撑了企业大数据快速发展,实现了平台软件服务需求的快速响应。     

基于NAS的私有云存储平台的设计与实现

随着大数据时代的到来与高速网络建设的快速推进,数据化网络资源共享已渗透到人们的日常工作、学习、生活当中。数据网络化储存、多人资源共享成为现代信息传播与保存的重要方式。但是,网络储存平台的安全性一直令使用者担忧。因此,各种各样的私有云储存平台孕育而生,为使用者提供相对独立的个人使用空间。经过长期的使用发现,传统的私有云存储平台虽然可以达到一定的安全性,但是,安全性只相对公共开放网盘而言。同时,存在多用户瞬时访问下协议拥堵、大数据交互节点回馈延迟高的问题。针对传统私有云的架构特点与问题产生原因,提出基于NAS的私有云存储平台的设计与实现方法。采用基于NAS的协议加密技术、多路访问优化单元、数据压缩单元对传统私有云存在的问题进行针对性解决。通过仿真实验证明,提出的基于NAS的私有云存储平台的设计与实现方法,具有数据储存安全性高、峰值状态下访问点网络畅通性好、数据网络传输交互率高、延迟小等优点。     

基于Hadoop的高校档案馆私有云存储平台的构建

针对高校档案馆面临档案信息资源出现的指数级增长和现有的存储平台不能适应档案数据增长的矛盾,构建一个基于Hadoop构建高校档案馆私有云存储平台,通过采用Linux集群技术、分布式文件系统和云计算框架,实现海量数据存储和高速数据处理。分析了该平台的网络拓扑结构、总体框架模型、平台的功能模块、平台安全特性和比较了私有云存储和传统存储模式。     

设计和实现私有云平台的拓扑管理系统

在如今生活中,随着人们生活水平质量的不断提高,人们在追求更好的生活品质过程中把生活中越来越多的事物应用在了私有云平台上.私有云平台可以在本质上发挥自身的优点对相应的资源进行整合,这样不仅仅提升了服务的质量,还在全方面上保障了事物应用过程中的安全性,使人们对应用的使用有良好的体验.在利用私有云平台进行管理的基础上,我们需要要对私有云管理系统进行设计开发和研究,这样才能在管理系统下,使私有云平台运行的更加稳定.     

基于递归随机搜索算法的Hadoop平台大数据软件系统研究

随着互联网时代的到来,互联网数据的产生和收集数量呈爆炸式发展。使用金融机构大数据抓取软件系统处理和存储相关数据成为许多商业机构和研究机构的常态化选择,金融机构大数据抓取软件系统可以简化使用者对于信息传输和信息计算的具体操作,便于提高使用者的使用效率和准确率。本文研究的金融机构大数据抓取软件系统通过Python和Java语言完成,主要包括:金融机构大数据抓取软件系统分析模块、金融机构大数据抓取软件系统优化模块、金融机构大数据抓取软件系统预测模块。在研究的过程当中本文采用了递归随机搜索算法、Java图形界面、Hadoop平台进行设计研究。经过测试,在选用服务器为Intel Atom D510时,金融机构大数据抓取软件系统优化模块在Hadoop集群上开展优化,系统任务执行时间变短,比原来的数据时间缩短了5%以上,优化有效。     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

基于Hadoop的大数据平台风险监测系统设计

以Hadoop平台为基础,开发设计了一种用于企业大数据平台风险监测的系统。该系统模型能够有效防止主机管理环境下的入侵监测保护系统遭受分布式拒绝服务攻击（Distributed Denial of Service attack,DDoS）,利用网络神经实现对检测对象的特征选择,并分类配置云服务器,能够检测大数据平台安全风险。     

基于私有云的混合型大数据匿名化加密仿真

针对目前混合型大数据匿名安全方法的用户查询相似度偏低,导致匿名数据可用性不理想的问题,提出基于私有云的混合型大数据匿名化加密方法.设计混合型大数据平台架构,将物理服务器和私有云主机的大数据平台相混合,以提高其可扩展性能.利用信息损失指标对混合数据实现泛化处理.构建用户查询项模型,通过散度进行查询项的相似度运算,相似程度...     

基于虚拟化技术的私有云APCS平台设计

为提高分布式管理信息系统的硬件资源利用率和运营维护管理效率,并为业务用户提供应用系统的按需使用服务,提出一种基于虚拟化技术的管理信息系统私有云APCS解决方案。通过云服务基础架构平台ACSIP建设,实现对底层硬件平台的整合利用,提高系统硬件资源利用率,保障业务应用系统的连续性,提供可动态配置的应用服务。使用云服务管理平台ACSMP建设,实现系统运行资源的动态分配管理、系统集中运维监控管理和安全管理。     

基于大数据、云平台和微服务的水文综合平台建设

随着社会对水文服务需求的不断提高,为解决水文信息化发展的同时出现的水文应用繁多,资源不共享,标准不统一等问题,江西省建设基于大数据、云平台和微服务的水文综合平台.解析水文综合平台实现水文业务数据的一数一源和业务协同集成的脉络,分别阐述大数据平台、云平台和微服务架构技术结合在数据层和平台层的支撑作用;同时在分析应用支撑、...     

基于气象大数据云平台的海南气象数据共享平台设计与实现

为打破“数据孤岛”，推动气象数据跨部门融合使用，充分发挥气象数据科学价值，针对海南省气象部门与外部门数据共享方式杂乱、共享水平低、管理滞后等问题，依托专线网络，从气象数据需求类型、数据格式出发，设计了一套气象数据跨部门的分发处理流程。在气象大数据云平台数据环境的基础上，整合各类数据资源，基于B/S架构、SSH框架，采用分布式存储技术、数据缓存技术，建立了跨部门跨行业的气象数据共享平台。目前，该平台已经投入业务使用, 为海南省气象数据跨部门跨行业使用提供稳定、高效的实时数据共享服务，取得了较好的应用效果。     

私有云平台服务能力检测方法

针对现阶段使用私有云评测方法缺失所导致搭建私有云供需不匹配的问题,提出了一种自适应、可扩展的私有云系统能力检测方法,可对基础设施即服务（IaaS）云计算系统能力进行评测。首先,通过私有云应用程序接口动态扩展虚拟机数量;然后,通过性能特征模型选取虚拟机所需配置的硬件信息和操作系统类别,并根据用户的需求差异使用不同的负载模型,形成相应的模拟运行环境;最后,使用云计算服务等级协议（SLA）作为测试标准来衡量私有云服务能力。使用所提方法对Openstack开源私有云平台的能力进行了评测,实验结果表明,所提方法可以准确得出私有云服务能力,结果和用户实测一致。该方法负载生成成本更低,测试效率更高。并将该方法与Openstack自带的组件Rally进行对比,拓展性和负载动态模拟有很大的改进。     

面向混合数据源的企业数据库私有云设计

针对混合数据源的采集、集成和应用问题,提出一种面向混合数据源的数据库私有云设计,针对混合数据源的不同结构化程度,将数据源分成结构化、半结构化和非结构化;针对混合数据源不同的不同时序特点,数据库私有云设计定时采集和实时采集两种采集方式;为了提高混合数据源的存取效率,数据库私有云将非结构化和半结构化数据存储在分布式文件系统...     

大数据技术研究

大数据技术是继物联网、云计算技术之后IT业界又一次技术浪潮。为了全面深入地理解大数据技术的内涵,从大数据的定义及4V特征、关键技术及主要应用领域等四个方面进行阐述。介绍了大数据的基本概念、特征,总结了大数据的热门应用领域并用典型案例进行佐证,重点剖析了云计算、Hadoop、数据备份等三大核心技术及关键策略,最后对大数据应用中滋生的信息安全隐患提出了相应的对策。     

云计算环境下基于数据关联度的海洋监测大数据布局策略

海洋监测数据是具有强数据关联的大数据,如何高效地进行数据布局,是制约其有效管理和应用的关键问题之一。在云计算环境下,针对海洋监测大数据的特点,提出了一种基于数据关联度的海洋监测大数据布局策略。在保证数据中心存储均衡的情况下,综合考虑了监测任务、监测点和监测数据之间的关联,建立了海洋监测点间的关联度、监测数据间的关联度和监测数据全局关联度,从三个角度对海洋监测大数据进行布局,使得同一数据中心内的数据具有较高的关联度。通过实验分析,该方法降低了用户访问海洋监测大数据的响应时间,为海洋监测大数据提供了一种有效的布局策略。     

风电场数据中心Hadoop云平台作业调度算法研究

风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。     

基于大数据的掌上医疗器械检索平台研究

为了提高掌上医疗器械的信息化检索和管理能力,提出基于大数据的掌上医疗器械检索方法,构建掌上医疗器械检索的大数据分布模型,采用有向图模型构建掌上医疗器械信息库的检索节点分布结构模型,在掌上医疗器械信息库库中进行语义关联规则分析,采用字符串的匹配技术,建立掌上医疗器械信息库检索的模糊决策模型,采用大数据融合方法实现掌上医疗器械检索的算法设计,结合自相关特征匹配方法实现掌上医疗器械信息库的语义特征提取,实现掌上医疗器械检索平台的优化设计。仿真结果表明,采用该方法进行掌上医疗器械检索的智能性较好,检索的查准性较高,时延较低。     

基于区块链技术的物流大数据可视化平台构建

针对传统物流大数据可视化平台缺少共享机制,可视化结果并不理想的问题,提出了基于区块链技术的物流大数据可视化平台构建方法。在区块链技术的基础上构建物流大数据管理平台,将大数据、云计算、移动互联网等新信息技术融入到平台构建中,在分层式的体系结构设计的基础上保证平台各个分层拥有适度的可扩展性与适应性。使用ML-T80型号电子标签,对货物所在位置进行实时跟踪,采用Symbol LS2208AP型号条码扫描器,实现手持模式和免提模式轻松地切换。根据用户展示端电路连接图,使用户在外界受到电磁干扰的情况下依旧能够直接查阅到想要的信息。规划服务范畴,设计数据管理功能、物流信息服务功能、物流资源交易功能和智能辅助决策功能模块。由实验结果可知,该平台共享周期短,最高共享效果可达到93%,以此实现物流大数据共享价值最大化。