基于云平台的层次聚类算法在煤炭产业中的应用

层次聚类(Hierarchical Clustering)就是通过对数据集按照某种方法进行层次分解。该聚类方法可以设定聚类的个数,并得到了各个研究和应用领域的广泛应用。煤炭产业中往往希望对煤炭的产品进行聚类分析,从而有助于开发和生产。随着煤炭系统中收集的煤炭数据数量的增多,层次聚类算法由于需要计算大量的相似性矩阵需要大量的内存,原有的层次聚类算法不能有效地处理海量规模数据。文章针对煤炭数据中生成的大规模数据,提出基于云计算平台的分布式层次聚类算法,该算法能够分布式完成相似性矩阵的保存和计算,快速、准确地完成层次聚类工作。在实验部分通过2组实验证明了算法具有很高的效率以及很高的可扩展性。     

云平台下的基于项目的KNN协同过滤算法在煤炭系统中的研究与应用

随着互联网技术的发展,往往希望通过分析消费者已有的历史数据,推荐消费者可能感兴趣的产品,并进一步取得更好的销售记录。煤炭系统中希望通过分析用户的消费记录,从而推荐给用户潜在的煤炭产品,提高煤炭的销售量。基于用户协同过滤算法被广泛地应用在煤炭推荐系统中,基于项目的 KNN协同过滤算法是通过分析产品之间的相似性完成聚类并推荐。传统的基于项目的 KNN协同过滤算法对现有的海量规模的煤炭系统中的销售记录数据不能高效、快速地完成推荐工作。文章基于海量规模数据,提出了基于MapReduce的分布式、基于项目的KNN协同过滤算法。通过实验结果表明,文中提出的算法具有很高的加速比,并且,具有很好的可扩展性。     

基于云平台的矩阵分解协同过滤算法在煤炭销售系统中的研究

协同过滤技术被广泛地应用在推荐系统中。随着电子商务的快速发展,煤炭产业也引进了电子销售系统。近年来,矩阵分解的协同过滤算法得到了煤炭销售系统的广泛应用。但是,随着互联网的快速发展,煤炭电子销售记录呈现指数级增长,传统的基于矩阵分解的协同聚类算法不能有效、快速地完成销售系统的推荐工作。文章针对大规模煤炭数据推荐工作,提出了分布式矩阵分解协同过滤算法,该算法基于云计算平台,能够分布式、高效地完成推荐系统的推荐工作。通过实验结果进一步展示了本算法与传统协同过滤算法相比,具有很高的加速比以及很好的可扩展性。     

大规模煤炭数据下分布式神经网络算法的研究与实现

文章针对海量规模数据,提出了基于云计算平台的分布式神经网络算法,该算法能够分布式的完成神经网络的构建,最终准确地进行分类预测。实验部分的结果用数据进一步表明了文章提出的算法具有很高的效率,与传统算法相比有很高的加速比及很好的可扩展性。     

数据挖掘算法在实验室信息管理系统中的应用

煤矿安全实验室现有实验项目30余项,涉及煤层瓦斯涌出预测、瓦斯抽采技术和煤与瓦斯突出防治方向。现有的实验室信息管理系统已积累了海量的实验数据,为了能够更深层次地挖掘数据背后隐藏的有价值的信息,应用数据挖掘算法,将实验室信息管理系统采集到的大量数据作为原始数据进行预处理;通过K-means聚类算法建立原始数据性质的聚类模型,并借助模糊C均值算法进行优化和改进,以聚类模型为基础建立数据分布优化模型来找到数据样本中的特征。结果表明：评价结果与实际相符,数据挖掘方法有效地分析出煤与瓦斯突出危险性,辅助煤与瓦斯灾害防治,在实验室信息管理系统中应用数据挖掘算法,能够为瓦斯灾害防治提供有效技术支撑。     

基于Mapreduce的权重集成算法在煤炭行业数据处理中的应用

集成算法通过将多个分类器集成起来,能够有效地提高分类算法的预测精度。集成算法在煤炭开采、预测中也得到了广泛地应用。基于权重的集成算法是通过赋予不同分类器权重,进一步改进了集成算法的性能。但是,由于集成算法需要对多个分类器构建模型,随着数据规模的增大,传统的集成算法不能快速、有效地完成集成学习工作。本文针对煤炭领域中的大规模数据,提出了基于MapReduce分布式框架的分布式权重集成算法,该算法分布式完成集成的及预测工作。通过大量的实验结果进一步证明了本文提出的算法具有很高的效率以及很好的可扩展性。     

基于海量高维煤炭数据的分布式贝叶斯算法的研究与应用

随着信息技术的快速发展,在煤炭产业中也挖掘出了大量的煤炭数据。煤炭产业管理者希望能够应用现有的煤炭数据进行分析预测,但是海量煤炭数据的处理分析是一地大难点。文章针对煤炭数据的分类问题,提出了基于MapReduce分布式计算框架的贝叶斯分类算法,该算法分布式地完成分类问题,能够更加快速、有效地处理大规模的数据。通过文中的实验结果也进一步说明文中提出的分布式贝叶斯分类算法有很高的效率,与传统算法相比有明显的加速比,并且,该算法也具有很好的可扩展性。     

基于Mapreduce协同理论的煤炭营销数据分析技术的研究与实现

随着互联网电子商务的高速发展,推荐系统在电子商务领域得到了广泛的应用。煤炭产业也开始引进了电子销售系统。在煤炭系统中,推荐系统利用消费者对消费商品的排名打分,分析相似性并进一步预测消费者可能感兴趣的商品。协同过滤算法被普遍应用在推荐系统中。但是,煤炭销售数据规模逐渐增大,传统的协同过滤算法不能有效地处理海量规模煤炭数据,推荐效率很低。本文针对大规模煤炭销售数据,提出了基于Mapreduce的分布式协同过滤算法,该算法有效地完成推荐系统的预测及推荐工作。通过大量的实验结果也进一步表明本文提出的算法与传统算法相比,具有很高的效率,并且扩展性良好。     

云计算平台下分布式支持向量机在煤炭行业分类预测应用

支持向量机(SVM)普遍应用在机器学习领域的学习算法,广泛用于分类学习。支持向量机也应用在很多实际应用领域中。该算法也广泛地应用在煤炭系统的分类预测工作中。随着数字时代的发展,煤炭系统的数据规模也呈现大规模增长趋势。针对海量规模数据,传统的支持向量机模型不能有效地完成煤炭系统中数据的分类、回归等工作。文章针对大规模数据处理困难的问题,提出了分布式支持向量机模型。该模型针对现有流行的云计算平台,在该平台下构建基于Hadoop分布式计算框架的分布式模型,该分布式支持向量机模型能够高效、快速地完成真实数据的分类或回归任务,具有很高的效率。文中的实验部分通过大量的实验数据进一步证明了文章提出算法的可行性。     

基于大数据分析的双进双出钢球磨煤机建模研究

利用现场海量的实际运行数据进行数据挖掘建模,针对大规模数据建模过程中处理困难的情况,首先利用K-Means聚类提取建模数据,利用主成分分析法降维完成属性约简,然后在Hadoop平台的Map Reduce架构上采用分布式支持向量机模型,实现计算并行化,通过以上过程可以高效的完成建模任务。     

基于海量煤炭采集文本数据的可扩展SVM算法的研究与应用

文本分类是指在给定的分类系统下,根据文本的内容或属性,将大量文本归到一个或多个类别的过程。随着煤炭产业的高速发展,煤炭数据库中保存了大量煤炭采集文本数据,针对如此大规模的文本信息,传统的SVM算法不能很好地对大规模海量煤炭文本数据进行有效的处理。文中基于现有流行的Hadoop分布式计算平台,提出了分布式SVM文本分类算法。通过实验表明,文中提出的算法能够明显减小文本分类时间,并且具有很好的可扩展性。     

云计算在移动通讯领域关键技术中的应用

移动通讯领域的快速发展产生了大量的数据,庞大规模的数据给通讯领域中关键技术的发展带来了巨大的挑战。传统的逻辑回归算法不具有处理海量数据的能力。本篇论文中,针对移动通信领域中的大规模数据,提出在云计算平台下高效准确构建逻辑回归模型的算法。通过大量的实验表明了改进的算法具有明显的高效性以及很好的可扩展性。     

社交网络的分布式协同过滤算法在煤炭产业的应用

随着电子商务的高速发展,推荐系统成为煤炭产业网站的核心技术之一。协同过滤算法是推荐系统中的主要方法。由于社交网络的发展,用户之间往往通过推荐喜欢的商品给熟悉用户,这种基于社交网络的协同过滤算法往往能够更加准确的完成网站的推荐工作。但是,随着煤炭销售数据规模的增大,传统的基于社交网络的协同过滤算法不能有效地完成推荐工作。针对煤炭数据规模大、分析复杂问题,提出了基于云平台的分布式社交网络协同过滤算法,该算法分布式完成系统推荐工作,具有很高的效率。     

基于MapReduce的频繁项目集挖掘算法在煤炭销售系统中的研究

煤炭系统中,往往希望分析不同煤炭产品购买之间的关联规则,并通过一定的关联性推荐煤炭商品,有助于购买者购买并取得更高的销售量。发掘频繁项目集是关联规则中经常用到的关键技术。随着煤炭系统数据库中信息的增多,原有的频繁项目集挖掘算法无法快速高效地完成频繁项目的挖掘。针对海量数据信息频繁项目集挖掘问题,提出了分布式频繁项目集挖掘算法,该算法是基于MapReduce分布式计算框架,能够高效地完成数据库中的频繁项目挖掘工作。通过实验结果证明该算法具有很高的效率及可扩展性。     

井下危险区域目标检测

建立适合煤矿井下特殊环境的危险区域目标检测系统结构和新的目标匹配算法。新算法基于SIFT(scale invariant feature transform)多尺度变换,结合形态学技术用降维后的局部区域匹配方法提高系统实时性;交叉匹配粗筛选后将RANSAC(random sample consensus)算法和L-M(Levenberg Marquardt)非线性优化算法结合估计优化参数,解决现有算法计算复杂,匹配时间长,复杂环境匹配精度低的问题。实验证明,新算法对煤矿井下模糊、低照度、遮挡、高噪声和尺度变化等情况均具有良好的鲁棒性,解决多摄像机不同视角目标匹配问题,适合实时处理的监控系统中井下危险区域目标检测。     

改进的KNN算法在煤种分类中的应用

提出一种改进的KNN算法,该算法最大的优点是不需要K值,同时具有较好的分类性能。自编程序设计了改进的算法,并将其用于煤样所属煤种的快速分类。通过实验预测了煤样所属煤种。结果表明与经典KNN算法相比,改进的算法实现简单,分类准确率高,适用于煤种的快速分类。     

印尼煤在广西区内大型电厂的应用研究

近年来,由于电力需求的不断扩大,及煤炭价格的日益走高,煤电之间的矛盾日益加剧,电企如何降低煤炭成本,成为电企的首要任务,地处西南的广西利用其区位优势大量进口印尼煤,在降低煤炭成本的同时采取的相应措施以保证在燃用偏离设计煤种较大情况下的机组安全稳定,使印尼煤在广西区内得到广泛应用。     

坚硬顶板薄煤层皮带巷洁净快速施工技术

我国煤炭开采中薄煤层比例占50%以上,传统的施工方法矸石量大,处理困难,为改变这一现状,新汶矿业集团汶南煤矿在坚硬顶板煤层皮带巷施工中,通过选取合理的断面形式,改进施工工艺,不但实现了洁净生产,而且加快了掘进速度,开创了一套薄煤层巷道掘进的新工艺。     

基于降维聚类技术的电力负荷数据挖掘研究

随着电力网络的高速发展,电力负荷数据的规模与维数急速增长。为了分析数据背后的有效信息,可以采用聚类分析的手段对电力负荷数据进行挖掘分析,为异常用户检测、能效管理提供有效的应用价值。根据美国能源信息网获得的实验数据集,利用降维算法对预处理后的数据进行降维分析,分析出不同维度下5种降维算法的降维效果,然后选择KPCA和ISOMAP降维技术与K-means聚类分析算法进行结合,比较组合算法与单独K-means算法的聚类精度与聚类效率,得出结合降维技术,可以有效提高聚类分析算法的聚类能力。