基于Hadoop的出租车服务策略

出租车服务策略是出租车司机群体智慧的体现,隐藏在大规模的出租车GPS轨迹数据中.基于大数据分析工具,针对出租车GPS轨迹数据进行服务策略挖掘,提取好的服务策略指导司机营运可以提高司机收入和营运效率.乘客搜索策略是出租车服务策略的主要内容,在对GPS轨迹数据进行清洗之后导入HDFS,首先提取司机个人轨迹,并对其收入进行量化,然后对乘客搜索策略建模,根据模型利用hadoop平台统计出司机对各种策略的使用情况,结果表明,收入较高的司机在乘客搜索策略选择上与收入一般的司机有显著差异.     

Hadoop平台的海量数据并行随机抽样

在“信息爆炸”的当今社会,海量数据对数据挖掘提出新的挑战。在数据挖掘转向云计算平台实现并行化的同时,研究并行化数据随机抽样进一步降低处理的数据规模。提出一种单次扫描即可实现清理脏数据并实现等概率抽样的mapreduce并行抽样算法。在hadoop平台上实现并与普通随机抽样方法进行比较,得出其时间效率非常高,是一种行之有效的方法。为以后数据挖掘中的抽样研究和推动数据挖掘在海量数据下的发展奠定良好基础。     

云环境下top-n推荐算法

Top-n推荐技术是近年来信息服务领域的一个研究重点和热点.针对云环境下的top-n推荐算法进行了深入研究,提出了适合top-n推荐的多层分布式存储架构MDSA(Multilayer Distributed Storage Architecture),并从降低网络传输代价出发,设计了基于MDSA架构的数据编码模式,进而利用map/reduce分布式编程模型来快速实现top-n推荐.此外,为了满足实际的需求,给出了三种top-n推荐的应用扩展.理论分析和实验结果表明,本文所提的方法具有有效性和实用性.     

全台网环境下的云视频素材转码系统的设计

在研究和分析广电系统对于视频素材转码实际需要的基础上,结合目前分布式计算和云计算技术的发展状况,提出了一种适合于目前广电系统视频素材共享的转码解决方案.系统在全台网的环境下,采用MapReduce的编程框架,以FFmpeg实现视频素材编码格式的转换,根据实际用户提出的转码请求,以视频分段策略实现视频在各个分布式客户端的格式转换,并采用视频格式自适应机制实现视频格式在各个不同的系统中转换和应用,在全台网环境内构建一个高效的、自适应的视频素材格式转换平台,使视频素材在电视台各个部门之间实现有效的共享.     

一种MapReduce实时调度算法设计及实现

MapReduce是云计算中重要的批数据处理框架,多任务共享MapReduce机群并满足任务实时性要求是调度算法急需解决的问题。提出两阶段实时调度算法,将调度划分为任务间调度和任务内调度。对于任务间调度,使用抽样法和经验值法确定子任务执行时间,利用该参数建立资源分配模型,动态确定任务优先级进行调度;对于子任务使用延迟调度策略进行调度,保证计算的本地性。实验结果显示,两阶段实时调度算法相比公平调度算法和FIFO算法,在保证吞吐量的同时能够满足任务实时性要求。     

基于Hadoop云计算平台的大规模图像检索方案

针对传统图像检索方法在处理海量图像数据时面临困扰的问题,提出了一种基于传统视觉词袋(BoVW)模型和MapReduce计算模型的大规模图像检索(MR-BoVW)方案。该方案充分利用了Hadoop云计算平台海量存储能力和强大的并行计算能力。为了更好地处理图像数据,首先引入一种改进的Hadoop图像数据处理方法,在此基础上分特征向量生成、特征聚类、图片的向量表示与倒排索引构建三个阶段MapReduce化。多组实验表明,MR-BoVW方案具有优良的加速比、扩展率以及数据伸缩率,效率均大于0.62,扩展率以及数据伸缩率曲线平缓,适于大规模图像检索。     

基于Hadoop平台的电子邮件分类

为了从大量的电子邮件中检测垃圾邮件,提出了一个基于Hadoop平台的电子邮件分类方法。不同于传统的基于内容的垃圾邮件检测,通过在Map Reduce框架上统计分析邮件收发记录,提取邮件账号的行为特征。然后使用Map Reduce框架并行的实现随机森林分类器,并基于带有行为特征的样本训练分类器和分类邮件。实验结果表明,基于Hadoop平台的电子邮件分类方法大大提高了大规模电子邮件的分类效率。     

海量车牌识别数据集上基于时空划分的旅行时间计算方法

城市路段旅行时间计算是智能交通领域的一个研究热点.车牌识别数据作为近年来新兴的一种针对城市道路行驶车辆的实时监测数据,具有持续生成且数据量大、时间空间相关等特性.为了利用车牌识别数据集进行高效、准确的旅行时间计算,给出了基于车牌识别数据集的旅行时间计算定义,在此基础上提出一种基于时空划分的流水线式并行计算模型,并给出了该模型基于实时MapReduce的实现.通过一组基于海量真实车牌识别数据集的实验表明,本文方法在亿级车牌识别数据集上的旅行时间计算性能方面相对于直接基于Hadoop的实现可以提高3倍以上,同时具有适合细粒度划分及受路网规模影响小的特点.     

基于文档数据库的全栈式地理空间数据传播模型*

针对基于关系型数据库的地理信息传播模型在互联网虚拟计算环境下的不足,提出了一种基于文档数据库的全栈式地理信息传播模型。该模型以多粒度地理特征的映射规约分析计算和文档数据库的多版本并发控制为框架,用统一的内建域指定语言作为传播媒介描述载体,结合数据的运行时元编程和地理服务的REST风格部署,实现地理空间数据的动态开放式传播,证明非结构化地理空间数据的传播模型能满足逻辑语义和物理存储双重易扩展性。     

基于Hadoop的校园教育资源管理系统

针对传统海量数据存储和处理方法成本高、效率低、编写程序困难等缺点,该文搭建了基于Hadoop框架的云平台,设计和实现了基于Hadoop的校园教育资源管理系统。测试及实验结果表明,基于Hadoop的云平台在大数据和多用户并发访问环境下,系统运行稳定,数据处理快,能有效降低成本,较传统单机服务器具有明显优势,能够很好的在校园资源管理系统中得到应用。