基于智能最小二乘支持向量机的大数据分析与预测

大数据分析方法能发现数据中存在的关系和规则,预测事物未来的发展趋势,从而提高决策的科学性。针对传统预测方法精度低、泛化性差的问题,提出基于智能支持向量机的大数据分析与预测方法。设计一种新的支持向量机模型参数选择准则,即模型残差概率密度函数逼近给定的高斯分布,并按照该准则采用混沌收缩粒子群优化算法确定模型参数,从而提高数据分类或回归处理的精度与泛化性。采用选矿生产过程现场数据进行实验,结果验证了该方法的有效性,并表明其精度比LSSVM方法更高。     

职业教育大数据分析模型构建方法的研究与应用

随着智慧教育建设和职业教育数据海量化,大数据分析成为有效利用数据的重要途径。大数据分析模型构建方法是大数据分析的关键。笔者结合大数据技术与教育内外部指标体系,提出了职业教育大数据分析模型构建方法,探讨了大数据分析业务流程,构建了以指标体系模型、数据分析模型和数据展现模型为基础的职业教育外部与内部大数据分析模型,并通过第三方BI分析开源工具对模型及构建方法进行应用实践。研究结果表明,职业教育大数据分析模型构建方法具有一定可行性,以期此方法为职业教育大数据分析应用建设提供借鉴。     

基于相似度的核主元分析方法及其应用研究

常规核主元分析(KPCA)方法在对大样本数据分析建模时,存在运算复杂度高、建模时间长以及所需存储空间大等缺点.为此,提出一种基于相似度函数的快速核主元分析(SF-KPCA)方法.建立大样本数据间的相似度函数矩阵,分析数据样本间的相似程度,剔除冗余数据,再利用优化数据样本建立核主元分析模型,对数据样本进行分析.将SF-K...     

工业大数据分析技术与轮胎销售数据预测

工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业大数据计算架构、大数据带来的信息安全等三方面论述工业大数据面临的挑战与潜在价值。探讨了工业大数据分析与挖掘方法,提出了工业大数据平台的计算架构与大数据处理平台,构建轮胎企业大数据资源中心、大数据分析与决策应用系统。从销售数据分析和宏观数据趋势两个层面进行轮胎销售大数据分析与预测。采用多个不同领域的销售数据源来解决销售预测历史数据特征空间稀疏的问题,使用LASSO（The Least Absolute Shrinkage and Selectionator Operator）方法的多任务学习方法来解决高维样本空间的缺点,实验数据验证能够提升轮胎销售预测的准确率。     

大数据时代下数据挖掘技术在企业中的应用

本文针对大数据时代背景下,数据挖掘技术在企业中的实际应用进行研究。通过中国五矿管理与决策平台及全面风险管理系统的实践,建立了可灵活配置的基于统计分析方法的风险计量模型,并对模型的计量结果进行回测检验,可依据检验结果对模型进行调整优化。实现了对企业各类风险的量化监控、自动预警,并对未来一段时间市场潜在的风险进行预测分析,以提高企业经营决策能力和风险前防范水平。此外,本文对大数据的分析模式及分析的关键领域进行了深入研究,并对未来大数据在企业中的应用进行了展望。     

基于多数据分析的术后感染风险挖掘预测仿真

研究多数据分析的术后感染风险,对术后护理指导至关重要。术后感染的发生条件较多,各种条件起到的作用不同,之前存在较为复杂的联系,存在较强的高维、非线性,传统预测术后感染风险方法,以各个感染条件同权值做假设,没有考虑各个感染条件的关联性和相互影响,不能对术后感染风险进行准确预测。提出了一种多数据分析的术后感染风险挖掘预测模型,将多数据分析挖据理论SODW融入术后感染风险预测中,采用OSA算法识别出同术后感染紧密相关的关联数据属性,采用GMDH网络将术后感染关联数据样本分为训练集合和检测集合,依据内准则在训练集中形成复杂度不断增加的中间待选模型,利用外准则在检测集中完成对上述中间待选模型的择优选择,直至得到最优术后感染风险预测模型,最后采用上述预测模型对测试样本术后感染状态进行分析,完成术后感染风险的准确预测。实验结果说明,采用多数据分析的术后感染风险挖掘预测模型对包含多种因素影响的术后感染风险预测比传统算法更具有优势,具有较高的预测效率和精度。     

基于大数据挖掘处理的多维数据去重聚类算法分析模型仿真

本文设计了基于大数据挖掘处理的多维数据去重聚类算法分析模型.通过详细介绍多维聚类算法,基于大数据内部关联性分析,实现了去重聚类算法分析模型构建.最后通过算法优化与仿真研究,得出结论,多维数据去重聚类算法采样时复杂度偏低,数据分析结果准确率较高,可有效分析处理数据,避免冗余繁杂,保障数据分析效率与水平,评估判定结果较好,值得大力推广应用.     

基于大数据分析的差异化投资增量配电网的效益预测方法

配电网的效益具有差异性,为了提高配电网的效益预测水平,提出了基于大数据分析的差异化投资增量的配电网效益预测方法。建立了差异化投资增量配电网效益评价的指标分析模型,采用大数据分析方法进行差异化投资增量配电网效益分析。结合特征空间重构技术进行差异化投资增量配电网效益的分布式特征序列重组,提取差异化投资增量配电网效益分布特征量。采用关联规则挖掘方法对分布特征量进行效益优先性评价,利用模糊相关检测方法进行配电网效益分布大数据的抗干扰处理。对提取的差异化投资增量配电网效益分布特征量采用神经网络学习方法进行配电网的效益预测,构建效益分布的差异化因子,实现基于大数据分析的差异化投资增量配电网的效益预测。仿真测试结果表明,采用该方法进行差异化投资下的增量配电网效益预测准确性与灵敏度较高,可靠性较好。     

大数据分析中的计算智能研究现状与展望

随着产业界和科学界数据量的爆炸式增长,大数据技术和应用吸引了众多的关注.如何分析大数据,充分挖掘大数据的潜在价值,成为需要深入探讨的科学问题.计算智能是科学研究和工程实践中解决复杂问题的有效手段,是人工智能和信息科学的重要研究方向,应用计算智能方法进行大数据分析具有巨大的潜力.对大数据分析中的计算智能方法进行综述,结合大数据的特征,讨论了大数据分析中计算智能研究存在的问题和进一步的研究方向,阐述了数据源共享问题,并建议利用以天文学为代表的数据密集型基础科研领域的数据开展大数据分析研究.     

面向科技前瞻预测的大数据治理研究

从模仿到创新、从跟随到引领,不仅是现阶段我国科学技术发展需要完成的重大转变,更是国家发展的重大战略需求.近年来,国内外相关学者陆续开展了科技发展趋势分析和热点跟踪等方面的研究,但由于缺乏系统的大数据采集与治理体系,其数据分析与挖掘范围往往局限于科技文献这一单一数据样本.文中面向科技发展前瞻预测这一目标,全面分析了影响科学技术发展过程的各类科技文献、学者动态、论坛热点和社交评论等海量异构数据,通过构建数据驱动的大数据治理体系,解决科技大数据在探测发现、精准采集、清洗聚合、融合处理、模型构建、预测计算过程中的数据整治难题.同时,在大数据整治基础上采用LDA模型实现技术趋势预测与分析,研究成果为系统解决海量科技大数据中隐含信息发现和关系推理提供了技术支撑.     

大数据负载的体系结构特征分析

针对大数据离线分析类和交互式查询类负载,首先对这些负载的一些共性进行分析,提取出公共操作集,并对它们进行分组整理;然后在大数据平台上测试这些负载运行过程中的微体系结构特征,采用PCA和SimpleKMeans算法对这些体系结构特征参数进行降维和聚类处理。实验分析结果表明负载之间有公共的操作集,如Join和Cross Production;有些负载有相似的属性,如Difference和Projection共享相同的微体系结构特征。实验结果对于 处理器等硬件平台的设计以及应用程序的优化具有指导性的意义,并且为大数据基准测试平台的设计提供了参考。     

State of the art in big data applications in microgrid: A review

The prospering Big data era is emerging in the power grid. Multiple world-wide studies are emphasizing the big data applications in the microgrid due to the huge amount of produced data. Big data analytics can impact the design and applications towards safer, better, more profitable, and effective power grid. This paper presents the recognition and challenges of the big data and the microgrid. The construction of big data analytics is introduced. The data sources, big data opportunities, and enhancement areas in the microgrid like stability improvement, asset management, renewable energy prediction, and decision-making support are summarized. Diverse case studies are presented including different planning, operation control, decision making, load forecasting, data attacks detection, and maintenance aspects of the microgrid. Finally, the open challenges of big data in the microgrid are discussed.     

数据库与MapReduce融合的大数据管理技术探索

大数据管理是随着时代和技术发展而提出和演化的命题。随着大数据从传统的结构化数据向无结构化数据的转移,Key/value存储、NoSQL、MapReduce等技术成为数据库技术之外大数据管理的多样化手段。MapReduce以其开放性成为当前大数据的代表技术,在大数据应用中,如何让MapReduce与数据库高效协同,发挥各自的技术优势和平台优势,提供高性能、高可扩展性、高可用性的大数据服务平台成为重要的研究课题。本文讨论在大数据存储、管理与服务主题上的观点和技术路线,探索将MapReduce作为数据库新的应用与开发平台的可行性。     

Orchestrating big data analytics capability for sustainability: A study of air pollution management in China

Under rapid urbanization, cities are facing many societal challenges that impede sustainability. Big data analytics (BDA) gives cities unprecedented potential to address these issues. As BDA is still a new concept, there is limited knowledge on how to apply BDA in a sustainability context. Thus, this study investigates a case using BDA for sustainability, adopting the resource orchestration perspective. A process model is generated, which provides novel insights into three aspects: data resource orchestration, BDA capability development, and big data value creation. This study benefits both researchers and practitioners by contributing to theoretical developments as well as by providing practical insights.     

MapReduce大数据处理平台与算法研究进展

本文综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展。首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象它们的共性。随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法。将这些算法按MapReduce实现方式分类,分析影响这算法性能的因素。最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和研究问题,以供研究人员参考。具体包括优化外存算法的磁盘I/O,优化外存算法的局部性,以及设计增量式迭代算法。现有大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,本文提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间。     

基于MapReduce的预处理高效Skyline算法

现有基于MapReduce的算法不能高效地解决大数据的Skyline查询问题。针对这种情况,提出一种高效的预处理Skyline查询算法MRFS(MapReduce based Filter Skyline),对大数据集进行预处理,提取支配能力较强的小点集组成比较点集,在算法开始前用比较点集对原始数据集进行过滤,排除掉一大部分不能成为Skyline结果集的数据对象;再对过滤后的数据集在Map阶段并行计算出局部Skyline集;最后合并到一个Reduce任务,得到最终的Skyline结果集。在不同数据分布下对该算法进行系统实验,结果表明算法比现有的算法在时间效率上提高了20%~30%。     

基于Java3D网络大数据多分辨率采集方法仿真

针对传统的网络大数据多分辨率采集方法通常存在采集成本高、完成时间较长、采集准确率较低等问题,提出基于Java3D的大数据网络多分辨率采集方法。通过对基于Java3D网络的大数据多分辨率进行时间序列的空间重构,求出多分辨率时间序列的自相关函数,并引入平均互动数据提取方法对网络数据多分辨率采集的功率谱密度进行估计,采用ADASYN算法,对无效多分辨率数据进行去除,实现大数据多分辨率精准采集。实验结果表明,所提方法采集成本较低、完成时间较短、采集准确率较高;具有一定的实用价值,可广泛应用于各个领域。     

数据挖掘中自我学习算法研究

随着我国现代化的迅速发展,伴随着快速发展的脚步其数据也越来越多,如何处理这些数据成为了越来越受人关注的问题。因为大数据多,种类复杂的特征,使得数据挖掘越来越重要,而自我学习可以对数据进行分析,并找出其相关模式,因此在商业领域应用广泛。本文主要就是研究数据挖掘中的自我学习算法,了解自我学习算法的特征,并分析在实际中可以应用到哪些领域。     

Mixing numerical and categorical data in a Self-Organizing Map by means of frequency neurons

Even though Self-Organizing Maps (SOMs) constitute a powerful and essential tool for pattern recognition and data mining, the common SOM algorithm is not apt for processing categorical data, which is present in many real datasets. It is for this reason that the categorical values are commonly converted into a binary code, a solution that unfortunately distorts the network training and the posterior analysis. The present work proposes a SOM architecture that directly processes the categorical values, without the need of any previous transformation. This architecture is also capable of properly mixing numerical and categorical data, in such a manner that all the features adopt the same weight. The proposed implementation is scalable and the corresponding learning algorithm is described in detail. Finally, we demonstrate the effectiveness of the presented algorithm by applying it to several well-known datasets.     

浅谈大数据

大数据是这两年非常热门的词汇,大数据应用已经开始被人们所关注。本文试着介绍大数据的由来、大数据的特点以及大数据的应用,并对大数据给信息技术带来的问题及大数据的发展趋势进行分析。