共查询到19条相似文献,搜索用时 78 毫秒
1.
《计算机科学与探索》2018,(1):39-48
得益于大数据相关的开源软件蓬勃发展,中小企业和机构也可以进行大数据平台的搭建和应用。但是数据平台在实际应用中仍然有很多挑战,例如如何进行开放数据的共享和计算,并保证代码安全等。基于开源软件设计了一个数据平台架构来让用户一站式地共享数据和计算,同时跟踪和审核代码。根据此设计搭建了一个生产环境,并给出了基本的测试来验证平台的可用性。把平台开放给外界使用,成功地支持了上海开放数据创新应用大赛(Shanghai Open Data Apps,SODA)中的大量用户的数据共享和计算需求。 相似文献
2.
3.
刘绍刚 《计算机测量与控制》2017,25(4)
随着大数据时代的到来与高速网络建设的快速推进,数据化网络资源共享已渗透到人们的日常工作、学习、生活当中。数据网络化储存、多人资源共享成为现代信息传播与保存的重要方式。但是,网络储存平台的安全性一直令使用者担忧。因此,各种各样的私有云储存平台孕育而生,为使用者提供相对独立的个人使用空间。经过长期的使用发现,传统的私有云存储平台虽然可以达到一定的安全性,但是,安全性只相对公共开放网盘而言。同时,存在多用户瞬时访问下协议拥堵、大数据交互节点回馈延迟高的问题。针对传统私有云的架构特点与问题产生原因,提出基于NAS的私有云存储平台的设计与实现方法。采用基于NAS的协议加密技术、多路访问优化单元、数据压缩单元对传统私有云存在的问题进行针对性解决。通过仿真实验证明,提出的基于NAS的私有云存储平台的设计与实现方法,具有数据储存安全性高、峰值状态下访问点网络畅通性好、数据网络传输交互率高、延迟小等优点。 相似文献
4.
5.
在如今生活中,随着人们生活水平质量的不断提高,人们在追求更好的生活品质过程中把生活中越来越多的事物应用在了私有云平台上.私有云平台可以在本质上发挥自身的优点对相应的资源进行整合,这样不仅仅提升了服务的质量,还在全方面上保障了事物应用过程中的安全性,使人们对应用的使用有良好的体验.在利用私有云平台进行管理的基础上,我们需要要对私有云管理系统进行设计开发和研究,这样才能在管理系统下,使私有云平台运行的更加稳定. 相似文献
6.
随着互联网时代的到来,互联网数据的产生和收集数量呈爆炸式发展。使用金融机构大数据抓取软件系统处理和存储相关数据成为许多商业机构和研究机构的常态化选择,金融机构大数据抓取软件系统可以简化使用者对于信息传输和信息计算的具体操作,便于提高使用者的使用效率和准确率。本文研究的金融机构大数据抓取软件系统通过Python和Java语言完成,主要包括:金融机构大数据抓取软件系统分析模块、金融机构大数据抓取软件系统优化模块、金融机构大数据抓取软件系统预测模块。在研究的过程当中本文采用了递归随机搜索算法、Java图形界面、Hadoop平台进行设计研究。经过测试,在选用服务器为Intel Atom D510时,金融机构大数据抓取软件系统优化模块在Hadoop集群上开展优化,系统任务执行时间变短,比原来的数据时间缩短了5%以上,优化有效。 相似文献
7.
针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。 相似文献
8.
9.
针对目前混合型大数据匿名安全方法的用户查询相似度偏低,导致匿名数据可用性不理想的问题,提出基于私有云的混合型大数据匿名化加密方法.设计混合型大数据平台架构,将物理服务器和私有云主机的大数据平台相混合,以提高其可扩展性能.利用信息损失指标对混合数据实现泛化处理.构建用户查询项模型,通过散度进行查询项的相似度运算,相似程度... 相似文献
10.
11.
12.
为打破“数据孤岛”,推动气象数据跨部门融合使用,充分发挥气象数据科学价值,针对海南省气象部门与外部门数据共享方式杂乱、共享水平低、管理滞后等问题,依托专线网络,从气象数据需求类型、数据格式出发,设计了一套气象数据跨部门的分发处理流程。在气象大数据云平台数据环境的基础上,整合各类数据资源,基于B/S架构、SSH框架,采用分布式存储技术、数据缓存技术,建立了跨部门跨行业的气象数据共享平台。目前,该平台已经投入业务使用, 为海南省气象数据跨部门跨行业使用提供稳定、高效的实时数据共享服务,取得了较好的应用效果。 相似文献
13.
针对现阶段使用私有云评测方法缺失所导致搭建私有云供需不匹配的问题,提出了一种自适应、可扩展的私有云系统能力检测方法,可对基础设施即服务(IaaS)云计算系统能力进行评测。首先,通过私有云应用程序接口动态扩展虚拟机数量;然后,通过性能特征模型选取虚拟机所需配置的硬件信息和操作系统类别,并根据用户的需求差异使用不同的负载模型,形成相应的模拟运行环境;最后,使用云计算服务等级协议(SLA)作为测试标准来衡量私有云服务能力。使用所提方法对Openstack开源私有云平台的能力进行了评测,实验结果表明,所提方法可以准确得出私有云服务能力,结果和用户实测一致。该方法负载生成成本更低,测试效率更高。并将该方法与Openstack自带的组件Rally进行对比,拓展性和负载动态模拟有很大的改进。 相似文献
14.
15.
16.
云计算环境下基于数据关联度的海洋监测大数据布局策略 总被引:2,自引:0,他引:2
海洋监测数据是具有强数据关联的大数据,如何高效地进行数据布局,是制约其有效管理和应用的关键问题之一。在云计算环境下,针对海洋监测大数据的特点,提出了一种基于数据关联度的海洋监测大数据布局策略。在保证数据中心存储均衡的情况下,综合考虑了监测任务、监测点和监测数据之间的关联,建立了海洋监测点间的关联度、监测数据间的关联度和监测数据全局关联度,从三个角度对海洋监测大数据进行布局,使得同一数据中心内的数据具有较高的关联度。通过实验分析,该方法降低了用户访问海洋监测大数据的响应时间,为海洋监测大数据提供了一种有效的布局策略。 相似文献
17.
风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。 相似文献
18.
陈勇 《自动化与仪器仪表》2020,(3):171-174
为了提高掌上医疗器械的信息化检索和管理能力,提出基于大数据的掌上医疗器械检索方法,构建掌上医疗器械检索的大数据分布模型,采用有向图模型构建掌上医疗器械信息库的检索节点分布结构模型,在掌上医疗器械信息库库中进行语义关联规则分析,采用字符串的匹配技术,建立掌上医疗器械信息库检索的模糊决策模型,采用大数据融合方法实现掌上医疗器械检索的算法设计,结合自相关特征匹配方法实现掌上医疗器械信息库的语义特征提取,实现掌上医疗器械检索平台的优化设计。仿真结果表明,采用该方法进行掌上医疗器械检索的智能性较好,检索的查准性较高,时延较低。 相似文献
19.
针对传统物流大数据可视化平台缺少共享机制,可视化结果并不理想的问题,提出了基于区块链技术的物流大数据可视化平台构建方法。在区块链技术的基础上构建物流大数据管理平台,将大数据、云计算、移动互联网等新信息技术融入到平台构建中,在分层式的体系结构设计的基础上保证平台各个分层拥有适度的可扩展性与适应性。使用ML-T80型号电子标签,对货物所在位置进行实时跟踪,采用Symbol LS2208AP型号条码扫描器,实现手持模式和免提模式轻松地切换。根据用户展示端电路连接图,使用户在外界受到电磁干扰的情况下依旧能够直接查阅到想要的信息。规划服务范畴,设计数据管理功能、物流信息服务功能、物流资源交易功能和智能辅助决策功能模块。由实验结果可知,该平台共享周期短,最高共享效果可达到93%,以此实现物流大数据共享价值最大化。 相似文献