首页 | 本学科首页   官方微博 | 高级检索  
文章检索
  按 检索   检索词:      
出版年份:   被引次数:   他引次数: 提示:输入*表示无穷大
  收费全文   185篇
  国内免费   20篇
  完全免费   161篇
  自动化技术   366篇
  2018年   9篇
  2017年   25篇
  2016年   31篇
  2015年   71篇
  2014年   81篇
  2013年   60篇
  2012年   39篇
  2011年   29篇
  2010年   15篇
  2009年   5篇
  2007年   1篇
排序方式: 共有366条查询结果,搜索用时 31 毫秒
1.
随着空间遥感技术、对地观测技术的不断发展,一个以多时相、多分辨率、多传感器、多波段为特征的多层、立体、多角度、全方位和全天候遥感对地观测数据获取与处理体系正在形成。该体系必然会带来海量、多源的遥感数据。提出了采用目前商业上成功的云计算模型来实现一个高性能、高可扩展性、高可用的遥感处理服务,并结合原型系统,详细阐述了该处理系统的组成与关键技术。  相似文献
2.
云计算下的海量数据挖掘研究   总被引:4,自引:0,他引:4  
王鄂  李铭 《现代计算机》2009,(11):22-25,50
云计算的出现为愈来愈多的中小企业分析海量数据提供廉价的解决方案。在介绍基于云计算的Hadoop集群框架和数据挖掘技术中的SPRINT分类算法的基础上。详细描述SPRINT并行算法在Hadoop中的MapReduce编程模型上的执行流程.并利用分析出的决策树模型对输入数据进行分类。  相似文献
3.
大数据分析——RDBMS 与MapReduce 的竞争与共生   总被引:4,自引:0,他引:4       下载免费PDF全文
在科学研究、计算机仿真、互联网应用、电子商务等诸多应用领域,数据量正在以极快的速度增长,为了分析和利用这些庞大的数据资源,必须依赖有效的数据分析技术.传统的关系数据管理技术(并行数据库)经过了将近40年的发展,在扩展性方面遇到了巨大的障碍,无法胜任大数据分析的任务;而以MapReduce为代表的非关系数据管理和分析技术异军突起,以其良好的扩展性、容错性和大规模并行处理的优势,从互联网信息搜索领域开始,进而在数据分析的诸多领域和关系数据管理技术展开了竞争.关系数据管理技术阵营在丧失搜索这个阵地之后,开始考虑自身的局限性,不断借鉴MapReduce的优秀思想改造自身,而以MapReduce为代表的非关系数据管理技术阵营,从关系数据管理技术所积累的宝贵财富中挖掘可以借鉴的技术和方法,不断解决其性能问题.面向大数据的深度分析需求,新的架构模式正在涌现.关系数据管理技术和非关系数据管理技术在不断的竞争中互相取长补短,在新的大数据分析生态系统内找到自己的位置.  相似文献
4.
MapReduce框架下并行知识约简算法模型研究   总被引:4,自引:0,他引:4  
面向大规模数据进行知识约简是近年来粗糙集理论研究热点。经典的知识约简算法是一次性将小数据集装入单机主存中进行约简,无法处理海量数据。深入剖析了知识约简算法中的可并行性;设计并实现了数据和任务同时并行的Map和Reduce函数,用于计算不同候选属性集导出的等价类和属性重要性;构建了一种MapReduce框架下并行知识约简算法模型,用于计算基于正区域、基于差别矩阵或基于信息熵的知识约简算法的一个约简。在Hadoop平台上进行了相关实验,实验结果表明,该并行知识约简算法模型可以高效地处理海量数据集。  相似文献
5.
针对高速数据流的大规模数据实时处理方法   总被引:3,自引:0,他引:3  
以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.  相似文献
6.
HPMR在并行矩阵计算中的应用   总被引:3,自引:1,他引:2       下载免费PDF全文
为了解决传统并行编程难度大、效率低的问题,提出一种基于MapReduce模型的并行编程方法,在高性能MapReduce平台上实现矩阵并行LU分解。实验结果表明,相比传统并行编程模型,MapReduce模型并行程序可较好满足高性能数值计算需求,其编程简洁性和可读性能有效提升并行编程效率。  相似文献
7.
基于MapReduce 的大规模在线社交网络蠕虫仿真   总被引:3,自引:0,他引:3       下载免费PDF全文
和亮  冯登国  王蕊  苏璞睿  应凌云 《软件学报》2013,24(7):1666-1682
利用云计算中的核心技术MapReduce,提出了一种在线社交网络(online social network,简称OSN)蠕虫的仿真方法.为了提高仿真精度,首先提出利用节点属性可调节的OSN 有向图来描述蠕虫传播的各个过程.其次,利用运行在云环境中的多个Map 函数和Reduce 函数来实现对OSN 蠕虫传播各个过程的仿真.在真实的大规模数据集上的仿真实验结果表明,提出的仿真方法不仅具有较强的可扩展性,同时也为相关领域的研究提供了一定的帮助.  相似文献
8.
基于MapReduce的Canopy-Kmeans改进算法   总被引:2,自引:0,他引:2  
针对分布式Canopy-Kmeans算法中Canopy选取的随机性问题,采用"最小最大原则"对该算法进行了改进,避免了Cannopy选取的盲目性;采用MapReduce并行计算框架对算法进行了并行扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景。以海量互联网新闻信息聚类作为应用背景,对改进后的算法进行了实验分析。实验结果表明:该方法较随机挑选Canopy策略在分类准确率以及抗噪能力上都明显提高,而且在处理海量数据时表现出较大的性能优势。  相似文献
9.
基于MapReduce架构的文档相似度计算方法   总被引:2,自引:0,他引:2  
MapReduce是Google开发的在超大集群下进行海量数据运算的一种分布式编程模式。Google利用MapReduce编程模式,其搜索业务取得了巨大的成功。TF-IDF是计算词条权值的一种方法,常被搜索引擎应用,作为文件与用户查询之间相关程度的度量或评级,但是计算量特别大。本文将介绍使用MapReduce架构来解决TF-IDF实现中计算量大、速度慢的问题。  相似文献
10.
MapReduce:新型的分布式并行计算编程模型   总被引:2,自引:0,他引:2  
MapReduce是Google提出的分布式并行计算编程模型,用于大规模数据的并行处理。Ma-pReduce模型受函数式编程语言的启发,将大规模数据处理作业拆分成若干个可独立运行的Map任务,分配到不同的机器上去执行,生成某种格式的中间文件,再由若干个Reduce任务合并这些中间文件获得最后的输出文件。用户在使用MapReduce模型进行大规模数据处理时,可以将主要精力放在如何编写Map和Reduce函数上,其它并行计算中的复杂问题诸如分布式文件系统、工作调度、容错、机器间通信等都交给MapReduce系统处理,在很大程度上降低了整个编程难度。MapReduce日益成为云计算平台的主流编程模型。Apache Hadoop项目提供开源的MapReduce系统还有待进一步完善。  相似文献
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号