多核处理器上的并行联机分析处理算法研究

近年来,计算机硬件技术获得了很大发展,尤其是大内存和多核,但算法效率并没有随着硬件技术的发展而提高,根本原因是没有充分利用CPU缓存以及单线程程序设计的局限性。在联机分析处理领域,数据方体计算是一个重要而又耗时的操作,因此如何提高数据方体的计算效率是该领域的一个研究难点。探讨了基于多核CPU特征的并行立方体算法,提出了MT-Multi-Way(multi-threading multi-way)和MT-BUC(multi-threading bottom-up computation)算法。该算法通过有效的数据划分和多线程协作,避免了Cache竞争,并确保了负载均衡,获得了近似线性加速比。以上述算法为基础,提出了处理立方体算法的多核框架,包括数据划分策略及递归算法的多核处理,指导立方体算法的并行化。     

大规模用电数据流的快速聚类和异常检测技术

对近年来在电力系统中出现的大规模数据流进行了探讨,目的是利用流式计算技术提高系统的实时性和安全性。针对大规模用电信息采集中用电数据流的快速聚类和异常检测技术展开研究。结合分布式流式计算平台Spark Streaming,基于用电行为在纵向时间和横向空间上表现出的聚类特性,即同类用户具有相似用电模式和同一用户历史数据具有相似性,设计并实现了流式DBSCAN聚类算法,以实现对大规模用电数据流的快速异常检测。设计并搭建了支持大规模数据流处理的实验环境,证明了算法的有效性。     

高职计算机(软件)类专业教学模式的研究与探讨

本文介绍了高职计算机(软件)类专业目前面临的问题,提出了计算机(软件)类专业办学思想和改革设想。从而全面提高学生的动手能力,培养适应社会需求的人才。     

小径薄壁管对接焊缝超声波探伤的体会

小径薄壁管对接焊缝超声波探伤的体会河北省电力试验研究所周国亮（０５００２１）几年来，全国电力系统广泛开展小径管熔化焊对接接头超声波探伤（以下简称小径管焊缝超探），其探伤方法和探伤工艺各不相同，但各有特色。河北省电力系统在开展小径管焊缝超探工作实践中，...     

FCA-2500型雾化-跌落式煤浆预处理器的研究与应用

介绍了FCA-2500型雾化-跌落式煤浆预处理器的工作原理和结构。乳化剂雾化、煤浆与浮选剂跌落式混合试验表明风动喷射式雾化器的雾化情况好于起雾盘,煤浆跌落式混合的滑板结构满足了不同粒径煤粒的工艺要求。FCA-2500型雾化-跌落式煤浆预处理器的工业应用试验表明：在分选指标相似的情况下,雾化-跌落式煤浆预处理器的浮选剂单位用量（风压0．06～0．08MPa）比矿浆准备器节省了20％以上,节油效果明显。     

智能电网大数据处理技术现状与挑战

智能电网需要全景的状态数据。电网运行、检修和管理过程中会产生海量异构、多态的数据,也即大数据。如何对它们进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。文章首先分析了发电、输变电以及用电各个环节中大数据的产生来源和特点;其后,综述了目前在商业、互联网和工业监测领域已有的大数据处理技术,并详细分析这些技术在应对智能电网建设和大数据处理方面的优势和不足。最后,从大数据存储、实时数据处理、异构多数据源融合以及大数据可视化4个方面论述了智能电网大数据带来的机遇和挑战。     

Spark环境下的并行模糊C均值聚类算法

针对聚类算法需要处理数据集的规模越来越大、时效性要求越来越高,对算法的大数据适应能力和性能要求更高的问题,提出一种在Spark分布式内存计算平台下的模糊C均值(FCM)算法Spark-FCM。首先对矩阵通过水平分割实现分布式存储,不同向量存储在不同节点;然后基于FCM算法的计算特点,设计了分布式和缓存敏感的常用矩阵操作,包括乘法、转置和加法等;最后基于矩阵操作和Spark平台特点,设计了Spark-FCM算法,主要数据结构采用分布式矩阵存储,具有节点间数据移动少和每个步骤分布式计算特点。通过在单机和集群环境下测试,算法具有良好的可扩展性,并可以适应大规模数据集,算法性能与数据量成线性关系,集群环境下性能比单机提高2~3倍。     

二进制区分矩阵的简化方法

粗集是一种处理不确定性知识的重要工具,针对粗集理论中的二进制区分矩阵的空间和时间上的不必要开销,基于动态的思想和概率论,提出了一种可降低二进制区分矩阵空间及时间开销的方法。     

基于内存的联机分析处理系统

基于现有磁盘联机分析处理系统(online analytical processing,OLAP)的不足及计算机新硬件的发展,研制了MMOLAP(main memory OLAP)系统,MMOLAP除具有切片、切块、下钻、上卷、旋转等传统OLAP的功能外,还能够支持基于查询重写的What-if分析、基于差分表的What-if分析、基于混合整数规划的What-if分析、多版本What-if数据视图、基于用户查询结果的动态What-if分析,有效解决了对现有决策进行评估分析和对未来决策结果进行预测分析的需求,弥补了现有磁盘OLAP系统的不足.     

基于云计算的用户侧短期用电负荷预测技术

随着智能电网的发展,电网与用户之间的交互行为将显著增长。通过与用户的广泛交互,原来不能获取的信息,现在变得触手可得,这必将为智能电网发展提供更多的机遇。探讨了在智能电网环境下,通过云计算技术帮助海量用户预测短期电力负荷,从而通过利用群体智慧提高电网公司短期用电负荷预测的准确性。该方法有效利用了Map/Reduce技术,具有较高的效率和可扩展性。