基于Spark的电信用户行为分析

随着大数据时代的带来,使用互联网的人数呈直线式增长,随之电信运营商的业务规模不断扩大,面对如此庞大的电信用户数据,准确分析与挖掘这些数据背后的价值成为了电信运营商的当务之急。本设计基于电信用户行为数据集,成功设计并实现了一个基于Spark的电信用户行为分析系统,为提升营销成功率做出贡献。本设计主要分为两个部分,第一部分利用Java语言编写Spark SQL应用程序对电信用户行为数据集进行分析,把数据分析得到的结果写入到MySQL数据库;第二部分通过Spring框架构建后台系统,前台界面使用ECharts对MySQL中的数据分析结果进行可视化展示,主要实现了用户区域分析及展示、用户渠道分析及展示和用户请求类型分析等多维度数据分析结果的可视化展示。     

激光诱导击穿光谱煤质在线分析技术现状与展望

煤质在线分析技术可为洗选煤、混配煤、燃烧优化等提供快速煤质特性数据，因而其为实现煤炭清洁高效利用的关键支撑技术。激光诱导击穿光谱(LIBS)具有全元素分析、原位实时测量、安全无辐射等优势，成为最具潜力的煤质在线分析技术之一。简要介绍LIBS技术的基本原理，阐述提高LIBS煤质分析定量化性能的方法及提升长期稳定性需注意的问题，剖析LIBS煤质在线分析常用测量与布置方式等并展望LIBS煤质在线分析的发展趋势。研究表明：LIBS煤质在线分析技术的可行性已得以验证并研制煤块测量、煤粉测量、压片测量等多种测量方式的设备，目前压片式测量仍是LIBS煤质在线分析较合适的方式；在基础研究方面需深入研究激光、煤、等离子体和环境气体之间的相互作用机制，进一步开发提高LIBS煤质分析可重复性并降低基体效应影响的技术方法；在定量化模型方面，不仅要结合大数据、人工智能等先进的机器学习算法，也应考虑LIBS煤质分析的物理背景并将其融入模型中；采用LIBS与微波、XRF、拉曼等其他技术相结合以提高硫和微量元素的定量性能也将是未来重要的研究方向；在工业应用中还需重点考虑测量代表性、设备的长期稳定性和煤种适应性等因素，...     

基于Stacking的电信客户流失预测模型设计研究

随着互联网的高速发展,电信市场竞争激烈,因此运用数据挖掘技术构建电信客户流失预测模型显得极为重要。基于Stacking集成算法,以梯度提升迭代(GBDT)、决策树、随机森林为基学习器,以逻辑回归模型为次学习器,构建了电信客户流失预测模型。通过与单一预测模型进行对比,Stacking集成模型有更好的预测效果,对电信客户流失预测具有重要意义。     

基于Spark离线和实时的电商用户行为分析系统

随着电商规模的逐渐扩大，传统的Hadoop资源利用率和计算速度都无法全面满足发展需求，因此提出将低延时、基于内存计算的Spark作为计算引擎。利用SparkCore、SparkSQL做离线分析、利用SparkStreaming做实时分析，将Hadoop分布式文件系统（HDFS）作为分布式文件存储，利用YARN做资源管理与程序调度，从而完成了一个电商的行为数据分析系统，通过Flume、Kafka等技术对数据进行采集及存储，利用Spark进行数据处理。经过测试，电商用户行为分析系统表现突出，具有良好的应用价值。