Spark大数据技术在电信行业中的应用探究

针对某电信公司的需求：建设网络基础,优化网络管理、企业管理,数据商业化,设计并搭建大数据平台。利用HDFS（分布式文件系统）存储数据,Spark计算引擎在内存计算中数据处理速度快,Yarn（通用资源管理系统）对Spark进行调度。对于电信运营商关心的数据检索速度进行测试和分析,验证大数据技术可以将数据检索时间控制在毫秒级,为电信行业利用海量流量数据信息进行企业优化管理、精准营销与市场拓展提供必要的数据支撑。     

基于Spark的用户上网WAP日志分析

在移动互联网时代,越来越活跃的用户手机上网行为带来了流量的迅猛发展.对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好的了解客户需求.传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择.文章主要以用户WAP日志为例,详细阐述如何利用大数据技术处理海量的非结构化数据,进而挖掘和分析用户上网行为.     

基于Hadoop平台的图书推荐服务Apriori优化算法

为了提高图书推荐服务的准确度,提出一种基于Hadoop平台的Apriori优化算法。首先在分布式Hadoop框架的基础上,采用DAG图对Hadoop平台下的并行Map Reduce实施步骤进行分析;然后对传统关联规则Apriori算法进行Map Reduce优化,减少数据库连接的次数,同时尽量生成更少的无用候选项目集,从而缩短任务处理时间。实验结果显示,相比传统LDA推荐算法,所提出的算法具有较高的准确度,能够为借阅者推荐最适合的书籍。     

基于Hadoop技术的数据查询平台建设

传统的关系型数据库架构在应对电信运营商海量的大数据处理时建设成本高昂,处理能力低下,已经无法满足在大数据场景模式下的新型业务需求。Hadoop云计算平台作为一种新型的大数据处理方案,充分利用其低价格和高性能的优势,可以满足海量数据存储及数据处理功能。文章在对Hadoop技术介绍的情况下,设计一套基于Hadoop架构的数据查询平台,实验证明,该平台能够有效提高数据处理效率,降低建设成本。     

基于ALS协同过滤算法的个性化推荐研究与应用

随着大数据和数据挖掘技术的不断发展和成熟,个性化推荐越来越发挥着重要作用。为了能够更有效地向用户推荐其感兴趣的产品,文章研究了在Spark平台架构基础上使用ALS协同过滤算法在个性化推荐系统中的应用,并对该系统作了性能和效果的评估。根据实验表明,基于Spark平台的ALS算法能有效地为用户推荐其所感兴趣的产品,从而达到个性化推荐的目的。     

基于Hadoop的校园导览大数据分析平台构建及应用

基于Serverless无服务器架构搭建的知晓云校园导览小程序,提出了一种Hadoop和Spark统一部署的校园导览大数据分析设计方案,并对构建该平台的关键技术和步骤进行说明。实践验证,相对以往单一Hadoop平台,文章所构建的混合平台具有计算资源按需伸缩、集群利用率高、避免数据跨集群迁移等优势,更适应企业实际使用。     

基于Spark大数据处理的电影推荐系统设计与实现

文章指出,该系统的开发设计是使用了互联网著名且优化过后的MovieLens数据集当作基础,以网络中某个电影评分网站的数据业务框架作为前提,其中包括离线推荐和实时推荐体系,总体采用了协同过滤算法和基于内容的推荐算法实现混合推荐的目的.实现了前端可视化页面、后台业务处理、算法的设计与实现、环境的安装与部署等多种操作方式.     

基于Hadoop架构的医疗大数据平台的应用

随着大数据技术在各行业中的应用和推广,建设医疗大数据平台成为加强医疗行业核心竞争力的重要手段。文中分析了医疗大数据特点、设计和研究了医疗大数据平台的应用实践,利用科学设置和布置集群、互联网和服务器等,最大程度地保证了医疗大数据平台环境的安全性和稳定性,希望能为相关工作人员提供一定的技术参考。     

Hadoop大数据计算平台搭建实践

无线电监测工作者在日常工作中积累了海量的监测数据文件,如何快速解析处理这些监测数据成为亟待解决的问题.本文首先介绍了 Hadoop大数据分析框架,其次详细介绍了 Hadoop大数据分析平台的分布式部署方法,最后对平台进行验证测试,为高效处理海量无线电监测数据奠定基础.     

基于Hadoop平台的岗位推荐系统设计

针对当前学生择业难而学校人才培养无法满足当前社会实际需求的问题,提出基于Hadoop平台的大数据就业岗位推荐系统。该系统利用爬虫技术爬取互联网招聘网站上的海量岗位信息,并对岗位信息进行整理、清洗、分析,HBase作为数据存储,将数据制作成图表,给用户直观体验;根据用户提供的用户技能为用户筛选出合适的岗位,实现岗位的精确推荐。     

基于Hadoop平台的海量数据高效抽取方法及应用

本文从数据抽取过程的本质出发,论述了传统数据抽取过程与大数据平台数据抽取过程的异同,以基于Hadoop的大数据平台为例,结合传统的关系型数据库和非关系型数据库(No SQL)的特点,提出了一种从关系型数据库到大数据平台的高效数据抽取方法,实现了对数据源系统资源占用的最小化,并在电力公司用电大数据抽取中得到广泛应用。     

基于Hadoop的石油大数据平台设计

在油气产业快速发展进程中,大数据平台的建立和完善发挥着重要作用.文中针对油田工作现场的相关数据本身具有数据规模大、每个个体数据之间关联性强、结构多样等特点,利用Hadoop这一技术对石油产业大数据平台进行设计和完善.新型大数据平台可以针对复杂多样的数据进行整合,并且每个层面的数据可以互相共享和联系.构建出的大数据平台经...     

基于信息汇聚平台的快数据应用设计与实现

用户行为信息中蕴含着巨大的价值,如何采集并加工用户行为信息,使之成为新的业务增长点,是运营商面临的重要课题.通过对信息汇聚、采集、加工等关键技术的研究,给出了基于信息汇聚平台的快数据应用的实现方案,能够通过用户开关机、位置变化、语音通话等行为触发用户关怀、企业名片、信息推送等业务,该方案已经广泛用于电信运营商的新兴业务领域,取得了显著的经济效益.     

浅谈基于Hadoop平台的大规模数据排序

据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析.     

基于Hadoop平台下SVM的图像识别技术

针对海量图像的识别技术进行研究,使用SVM算法作为图像识别模型,考虑到随着图像训练样本数据量逐步增大,训练样本呈现指数上升这一问题,在此对基于Hadoop云平台的并行运算SVM方法进行研究,缩短训练时间,加快图像识别效率。使用Corel图像库中图像进行实验研究,结果表明,常规单机SVM图像识别系统以及基于Hadoop平台SVM的图像识别系统的识别准确率相差不大。当Hadoop平台中拥有超过2个节点时,加速比明显上升,训练时间下降,Hadoop平台中使用SVM进行图像识别的效率优势体现出来。     

基于隐式数据和Apriori的协同过滤推荐算法

针对传统协同过滤推荐算法对目标客户进行个性化推荐时,因用户评价数据和物品属性等显式数据稀疏,造成推荐商品的准确率和质量相对较差的问题,本文基于隐式数据和Apriori算法对协同过滤推荐算法做出改进.首先,算法基于隐式数据中用户对商品的行为和用户对商品的评价,建立用户对商品的评分偏好模型,用以构建原始评分数据;其次,利用...     

基于Spark架构的艺术学慕课资源协同过滤推荐算法研究

传统资源协同过滤推荐算法MAE值偏高,因此提出基于Spark架构的艺术学慕课资源协同过滤推荐算法。采用分级响应形式,建立用户-资源评分关系模型,用户对资源的评分减掉该用户评分平均值,完成资源协同过滤相似度计算的优化,引入集成度高的Spark架构,预测用户对资源的评分并生成推荐列表,实现艺术学慕课资源的精准推荐。经过与两种传统算法的对比实验结果可知,研究的算法在不同比例训练集和测试集的情况下,MAE值均低于两种传统方法,说明基于Spark架构的艺术学慕课资源协同过滤推荐算法推荐精度更高,性能更好。