基于成本代价的分布式逻辑回归算法在煤炭系统中的研究与应用

随着互联网络的发展,煤炭系统也开发了多种网络销售系统,并且数据规模呈现指数级上升趋势。逻辑回归算法是被广泛应用的分类算法之一。但是,传统的逻辑回归算法没有考虑预测错误代价,将不同的预测视为同等成本代价,会一定程度上影响算法的预测精度。文章提出了基于成本代价的逻辑回归算法,该算法考虑了预测错误代价完成煤炭数据集重新标签并完成预测工作。并且,针对海量规模煤炭数据,提出了基于云计算平台的分布式算法。通过大量的实验结果,表明提出的算法能够明显降低预测算法的代价成本,并且没有影响算法的预测精度。     

基于Mapreduce的权重集成算法在煤炭行业数据处理中的应用

集成算法通过将多个分类器集成起来,能够有效地提高分类算法的预测精度。集成算法在煤炭开采、预测中也得到了广泛地应用。基于权重的集成算法是通过赋予不同分类器权重,进一步改进了集成算法的性能。但是,由于集成算法需要对多个分类器构建模型,随着数据规模的增大,传统的集成算法不能快速、有效地完成集成学习工作。本文针对煤炭领域中的大规模数据,提出了基于MapReduce分布式框架的分布式权重集成算法,该算法分布式完成集成的及预测工作。通过大量的实验结果进一步证明了本文提出的算法具有很高的效率以及很好的可扩展性。     

基于海量高维煤炭数据的分布式贝叶斯算法的研究与应用

随着信息技术的快速发展,在煤炭产业中也挖掘出了大量的煤炭数据。煤炭产业管理者希望能够应用现有的煤炭数据进行分析预测,但是海量煤炭数据的处理分析是一地大难点。文章针对煤炭数据的分类问题,提出了基于MapReduce分布式计算框架的贝叶斯分类算法,该算法分布式地完成分类问题,能够更加快速、有效地处理大规模的数据。通过文中的实验结果也进一步说明文中提出的分布式贝叶斯分类算法有很高的效率,与传统算法相比有明显的加速比,并且,该算法也具有很好的可扩展性。     

基于云平台的矩阵分解协同过滤算法在煤炭销售系统中的研究

协同过滤技术被广泛地应用在推荐系统中。随着电子商务的快速发展,煤炭产业也引进了电子销售系统。近年来,矩阵分解的协同过滤算法得到了煤炭销售系统的广泛应用。但是,随着互联网的快速发展,煤炭电子销售记录呈现指数级增长,传统的基于矩阵分解的协同聚类算法不能有效、快速地完成销售系统的推荐工作。文章针对大规模煤炭数据推荐工作,提出了分布式矩阵分解协同过滤算法,该算法基于云计算平台,能够分布式、高效地完成推荐系统的推荐工作。通过实验结果进一步展示了本算法与传统协同过滤算法相比,具有很高的加速比以及很好的可扩展性。     

基于Mapreduce协同理论的煤炭营销数据分析技术的研究与实现

随着互联网电子商务的高速发展,推荐系统在电子商务领域得到了广泛的应用。煤炭产业也开始引进了电子销售系统。在煤炭系统中,推荐系统利用消费者对消费商品的排名打分,分析相似性并进一步预测消费者可能感兴趣的商品。协同过滤算法被普遍应用在推荐系统中。但是,煤炭销售数据规模逐渐增大,传统的协同过滤算法不能有效地处理海量规模煤炭数据,推荐效率很低。本文针对大规模煤炭销售数据,提出了基于Mapreduce的分布式协同过滤算法,该算法有效地完成推荐系统的预测及推荐工作。通过大量的实验结果也进一步表明本文提出的算法与传统算法相比,具有很高的效率,并且扩展性良好。     

基于云平台的层次聚类算法在煤炭产业中的应用

层次聚类(Hierarchical Clustering)就是通过对数据集按照某种方法进行层次分解。该聚类方法可以设定聚类的个数,并得到了各个研究和应用领域的广泛应用。煤炭产业中往往希望对煤炭的产品进行聚类分析,从而有助于开发和生产。随着煤炭系统中收集的煤炭数据数量的增多,层次聚类算法由于需要计算大量的相似性矩阵需要大量的内存,原有的层次聚类算法不能有效地处理海量规模数据。文章针对煤炭数据中生成的大规模数据,提出基于云计算平台的分布式层次聚类算法,该算法能够分布式完成相似性矩阵的保存和计算,快速、准确地完成层次聚类工作。在实验部分通过2组实验证明了算法具有很高的效率以及很高的可扩展性。     

社交网络的分布式协同过滤算法在煤炭产业的应用

随着电子商务的高速发展,推荐系统成为煤炭产业网站的核心技术之一。协同过滤算法是推荐系统中的主要方法。由于社交网络的发展,用户之间往往通过推荐喜欢的商品给熟悉用户,这种基于社交网络的协同过滤算法往往能够更加准确的完成网站的推荐工作。但是,随着煤炭销售数据规模的增大,传统的基于社交网络的协同过滤算法不能有效地完成推荐工作。针对煤炭数据规模大、分析复杂问题,提出了基于云平台的分布式社交网络协同过滤算法,该算法分布式完成系统推荐工作,具有很高的效率。     

大规模煤炭数据下分布式神经网络算法的研究与实现

文章针对海量规模数据,提出了基于云计算平台的分布式神经网络算法,该算法能够分布式的完成神经网络的构建,最终准确地进行分类预测。实验部分的结果用数据进一步表明了文章提出的算法具有很高的效率,与传统算法相比有很高的加速比及很好的可扩展性。     

基于大数据分析的双进双出钢球磨煤机建模研究

利用现场海量的实际运行数据进行数据挖掘建模,针对大规模数据建模过程中处理困难的情况,首先利用K-Means聚类提取建模数据,利用主成分分析法降维完成属性约简,然后在Hadoop平台的Map Reduce架构上采用分布式支持向量机模型,实现计算并行化,通过以上过程可以高效的完成建模任务。     

基于海量煤炭采集文本数据的可扩展SVM算法的研究与应用

文本分类是指在给定的分类系统下,根据文本的内容或属性,将大量文本归到一个或多个类别的过程。随着煤炭产业的高速发展,煤炭数据库中保存了大量煤炭采集文本数据,针对如此大规模的文本信息,传统的SVM算法不能很好地对大规模海量煤炭文本数据进行有效的处理。文中基于现有流行的Hadoop分布式计算平台,提出了分布式SVM文本分类算法。通过实验表明,文中提出的算法能够明显减小文本分类时间,并且具有很好的可扩展性。