片上电源电压噪声功率谱测量方法综述

随着现代超大规模集成电路的电源网络变得十分复杂,在片上对其各电源域电压噪声功率谱的测量变得越来越有意义。片上电源电压噪声测量电路的设计难点主要是在面积和功耗开销较小的情况下,可以较高精度地测量频率范围很宽的电源噪声信号。介绍了基于自相关方法测量电源电压噪声功率谱的原理,并总结了目前用于电源电压噪声功率谱测量的主要电路技术,讨论了相关结构和技术的优缺点,为超大规模集成电路的设计研发人员提供了有益参考。     

基于Spark的交互式数据预处理系统

高质量的决策依赖于高质量的数据,数据预处理是数据挖掘至关重要的环节.传统的数据预处理系统并不能很好的适用于大数据环境,企业现阶段主要使用Hadoop/Hive对海量数据进行预处理,但普遍存在耗时长、效率低、无交互等问题.提出了一种基于Spark的交互式数据预处理系统,系统提供一套通用的数据预处理组件,并支持组件的扩展,数据以电子表格的形式展现,系统记录用户的处理过程并支持撤销重做.本文从数据模型、数据预处理操作、交互式执行引擎以及交互式前端四个方面描述了系统架构.最后使用医疗脑卒中的真实数据对系统进行验证,实验结果表明,系统能够在大数据场景下满足交互式处理需求.     

基于Spark的流程化机器学习分析方法

Spark通过使用内存分布数据集,更加适合负载数据挖掘与机器学习等需要大量迭代的工作.但是数据分析师直接使用Spark进行开发十分复杂,包括scala学习门槛高,代码优化与系统部署需要丰富的经验,同时代码的复用度低导致重复工作繁多.本文设计并实现了一种基于Spark的可视化流程式机器学习的方法,一方面设计组件模型来刻画机器学习的基本步骤,包括数据预处理、特征处理、模型训练及验证评估,另一方面提供可视化的流程建模工具,支持分析者设计机器学习流程,由工具自动翻译为Spark平台代码高效执行.本工具可以极大的提高Spark平台机器学习应用开发的效率.论文介绍了工具的方法理论和关键技术,并通过案例表明工具的有效性.     

舰船辐射噪声功率谱特征提取及系统实现

舰船辐射噪声特征提取是水下被动声探测装置进行目标识别、分类的关键技术;针对于此,研究了基于功率谱的连续谱、线谱特征实时提取技术和工程实现;该技术以分段拟合为基础,首先提取功率谱中的连续谱特征,再从原始功率谱中减去连续谱得到线谱分布,然后进行线谱特征提取;在此摹础上,详细介绍了舰船噪声功率谱特征提取的软、硬件系统设计和实现技术;系统经过实验验证,能有效提取不同类型目标的特征,系统性能良好,可满足新一代水下智能被动探测的要求.     

基于Hadoop平台的Spark框架研究

Hadoop是大数据挖掘的主流平台,在该平台上可以进行大数据的挖掘。数据挖掘的规模和速度是我们需要考虑的问题。Spark框架是一个优秀的框架,它集机器学习,图计算和在线学习为一身,是简洁、强大、高效的。该文先讨论了Spark的组成,接着讨论Spark的任务调度方式,最后讨论了Spark的环境及测试。     

基于数据特性的Spark任务性能优化

新一代的分布式数据处理框架大大提升了数据处理任务的效率。然而,由于不同数据处理任务需要处理的数据的特性各不相同,因此难以找到一种统一的方法来优化数据处理任务的性能。针对不同的数据集,需要分析其相应的数据特性,才能充分利用内存和计算资源,优化任务执行效率。研究数据倾斜度这一数据特性,提出一种数据倾斜度的量化方法,基于分布式处理框架Spark,通过结合数据采样分析和源代码语义分析的方法,自动判断当前所处理数据集的数据倾斜度与处理代码的适合程度,并基于判断结果提出相应的代码自动优化方案,从而提升任务的运行效率。通过多个数据处理实验,验证了优化后提高数据分析任务效率的效果。     

一种基于Spark的大规模语义数据分布式推理框架

随着大规模语义数据的涌现,研究高效的并行化语义推理成为热点问题之一。现有推理框架大多存在可扩展性方面的不足,难以满足大规模语义数据的需求。针对现有推理框架的不足,提出一种基于Spark的大规模语义数据分布式推理框架。该框架主要包括语义建模、规则提取和基于Spark的并行推理机等3个模块。通过过程分析和推理实例验证,提出的分布式并行推理的计算性能(T(n)＝O(log₂n))远远优于顺序式推理的计算性能(T(n)＝O(n))。     

基于Spark框架的聚类算法研究

大数据的挖掘是当今的研究热点,也有着巨大的商业价值。新型框架Spark部署在Hadoop平台上,它的机器学习算法几乎可以完全替代传统的Mahout Map Reduce的编程模式,但由于Spark的内存模型特点,执行速度快。该文研究了Spark中的机器学习中的聚类算法KMeans,先分析了算法思想,再通过实验分析其应用的方法,然后通过实验结果分析其应用场景和不足。     

基于Spark的序列数据质量评价

随着序列数据在实际中的广泛应用,序列数据质量评价成为学术、工业等众多领域的热门研究问题。目前主流的序列数据质量评价方法是基于概率后缀树模型进行数据质量评价,然而这种方法难以实现对大规模数据的处理。为解决此问题,提出了基于Spark的序列数据质量评价算法STALK(sequential data quality evaluation with Spark),并且采用了改进的剪枝策略来提高算法效率。具体地,在Spark平台下,利用大规模序列数据高效建立生成模型,并根据生成模型对查询序列的数据质量进行快速评价。最后通过真实序列数据集验证了STALK算法的有效性、执行效率和可扩展性。     

基于电力系统大数据治理的软件数据平台设计与研究

针对电力系统中出现的数据种类多、寻找困难等问题,提出了新型的大数据治理方法。该方法设计出新型的S-BDMP数据软件平台,该平台应用Hadoop分布式存储方式和Spark计算技术实现电力系统中各种大数据的存储和计算。在架构上,该软件平台集成设计有应用程序、数据服务中心、数据提成/合成模块、数据分析模块,能够实现底层电力设备各种数据的接收、存储和处理。本研究还应用随机矩阵理论挖掘各种大数据之间的关联,通过发现电力系统不同大数据之间的关系,进而研究出电力系统设备运行状态的分析。试验表明,本研究的方法效果直观,数据治理程度强。     

基于Spark的快速短文本数据流分类方法

微博、脸书等社交网络平台涌现的短文本数据流具有海量、高维稀疏、快速可变等特性，使得短文本数据流分类面临着巨大挑战。已有的短文本数据流分类方法难以有效地解决特征高维稀疏问题，并且在处理海量数据流时时间代价较高。基于此，提出一种基于Spark的分布式快速短文本数据流分类方法。一方面，利用外部语料库构建Word2vec词向量模型解决了短文本的高维稀疏问题，并构建扩展词向量库以适应文本的快速可变性，提出一种LR分类器集成模型用于短文本数据流分类，该分类器使用一种FTRL方法实现模型参数的在线更新，并引入时间因子加权机制以适应概念漂移环境；另一方面，所提方法的使用分布式处理提高了海量短文本数据流的处理效率。在3个真实短文本数据流上的实验表明：所提方法在提高分类精度的同时，降低了时间消耗。     

基于Spark的指纹定位数据处理方法

指纹定位技术是一种简单高效的无线定位技术，它不受无线信号多径效应和反射造成的干扰，具有较好的定位精度。然而指纹定位技术需要建立庞大的离线指纹数据库，随着指纹数据库规模的扩大，传统的指纹定位算法已经难以满足大数据应用中实时性的需求。结合指纹定位算法的特点和Spark计算引擎基于内存计算的优势，设计并实现了基于Spark的指纹定位数据处理方法。在Map阶段分别找到查询点在每个分区内的[K]近邻，在Reduce阶段规约各分区[K]近邻获得全局[K]近邻，最后通过加权求值获得最终的定位坐标。集群实验表明，基于Spark的指纹定位数据处理方法在一定并行度下有较好的加速比，在大规模指纹数据库下有实时定位处理的能力。     

基于Spark的大数据聚类研究及系统实现

传统聚类算法由于单机内存和运算能力的限制已经不能满足当前大数据处理的要求,因而迫切需要寻找新的解决方法。针对单机内存运算问题,结合聚类算法的迭代计算特点,提出并实现了一种基于Spark平台的聚类系统。针对稀疏集和密集集两种不同类型的数据集,系统首先采用不同策略实现数据预处理;其次分析比较了不同聚类算法在Spark平台下的聚类性能,并给出最佳方案;最后利用数据持久化技术提高了计算速度。实验结果表明,所提系统能够有效满足海量数据聚类分析的任务要求。     

基于Spark的油藏数据挖掘与分析

为了方便油藏数据特征的分析和石油的勘探开发过程,本文利用Spark并行计算框架分析油藏数据,并通过数据挖掘算法分析油藏属性之间的潜在关系,对油藏的不同层段进行了分类和预测.本文的主要工作包括：搭建Spark分布式集群和数据处理、分析平台,Spark是流行的大数据并行计算框架,相对传统的一些分析方法和工具,可以实现快速、准确的数据挖掘任务;根据油藏数据的特点建立多维异常检测函数,并新增渗孔比判别属性Pr;在处理不平衡数据时,针对逻辑回归分类提出交叉召回训练模型,并优化代价函数,针对决策树,提出KR-SMOTE对小类别样本进行过采样扩充,这两种方法都可以有效处理数据不平衡问题,提高分类精度.     

Hadoop与Spark应用场景研究

Spark的崛起对作为当前最为流行的大数据问题解决方案的Hadoop及其生态系统形成了有力的冲击,甚至一度有人认为Spark有取代Hadoop的趋势,但是因为Hadoop与Spark有着各自不同的特点,使得二者拥有不同的应用场景,从而Spark无法完全取代Hadoop。针对以上问题,我们对Hadoop与Spark的应用场景进行了分析。首先介绍了Hadoop与Spark的相关技术以及各自的生态系统,然后详细分析了二者的特性,最后针对二者特性,阐述了Hadoop与Spark各自所适应的应用场景。     

Spark环境下不完整数据集成填充方法

目前已有的不完整数据填充方法大多局限于单一类型的缺失变量,对大规模数据的填充效果相对弱势.为了解决真实大数据中混合类型变量的缺失问题,本文提出了一个新的模型——SXGBI(Spark-based e Xtreme Gradient Boosting Imputation),其适应于连续型和分类型两种缺失变量并存的不完整数据填充,同时具备快速处理大数据的泛化能力.该方法通过对集成学习方法 XGBoost的改进,将多种补全算法结合在一起,构建了一个集成学习器,并结合Spark分布式计算框架进行了并行化设计,能较好地运行于Spark分布式集群上.实验表明,随着缺失率的增长,SXGBI在RMSE、PFC和F1几项评价指标上都取得了比实验中其它填充方法更好的填充结果.此外,它还可以有效地运用在大规模的数据集上.     

基于Spark的极限学习机算法并行化研究

极限学习机算法虽然训练速度较快,但包含了大量矩阵运算,因此其在面对大数据量时,处理效率依然缓慢。在充分研究Spark分布式数据集并行计算机制的基础上,设计了核心环节矩阵乘法的并行计算方案,并对基于Spark的极限学习机并行化算法进行了设计与实现。为方便性能比较,同时实现了基于Hadoop MapReduce的极限学习机并行化算法。实验结果表明,基于Spark的极限学习机并行化算法相比于Hadoop MapReduce版本的运行时间明显缩短,而且若处理数据量越大,Spark在效率方面的优势就越明显。     

肌电信号的功率谱分析方法

当用传统的检测方法对肌电信号(EMG)进行处理时,会出现较大的个体差异,针对这一不足,我们对其在频域中作具体的分析,提出了一种新的表面肌电信号特征提取方法--功率谱比值法.并在非特定人的条件下,经过多次实验确定实际所用肌电信号的主要频率范围和功率谱的各项参数,将功率谱比值法应用于前臂肌群的表面EMG特征提取,减小了个体差异,进而实现非特定人的动作模式识别.