共查询到20条相似文献,搜索用时 46 毫秒
1.
2.
针对诈骗短信近年来出现的主叫号码多变、被叫号码具有随机性、短信内容难以识别等新特性,在综合分析数据时,需要实时的处理海量的数据,而现有数据并发量大、实时性要求高等特点,所以采用什么样的技术去处理这样的数据十分关键。针对以上问题,对实时处理技术进行调研。由于Storm在海量数据实时处理方面具有很好的特性,对Storm进行相关调研。 相似文献
3.
针对诈骗短信近年来出现的主叫号码多变、被叫号码具有随机性、短信内容难以识别等新特性,在综合分析数据时,需要实时的处理海量的数据,而现有数据并发量大、实时性要求高等特点,所以采用什么样的技术去处理这样的数据十分关键。针对以上问题,对实时处理技术进行调研。由于Storm在海量数据实时处理方面具有很好的特性,对Storm进行相关调研。 相似文献
4.
5.
基于Storm的海量数据实时聚类 总被引:1,自引:0,他引:1
针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。 相似文献
6.
针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求. 相似文献
7.
8.
9.
作为目前主流的大数据流式计算平台之一, Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题, 但是其高能耗问题已经开始制约着平台的发展.针对这一问题, 分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型, 并进一步提出了基于Storm平台的数据恢复节能策略(energy-efficient strategy based on data recovery in Storm, DR-Storm), 包括吞吐量检测算法与数据恢复算法.其中吞吐量检测算法根据拓扑信息监控模型反馈的拓扑信息计算集群吞吐量, 并通过信息反馈判断是否终止整个集群内拓扑的任务.数据恢复算法根据数据恢复模型选择备份节点用于数据存储, 并通过拓扑信息监控模型反馈的信息判断集群拓扑是否进行数据恢复.此外, DR-Storm通过备份节点内存恢复集群拓扑内的数据, 并根据大数据流式计算的系统延迟与能效评估DR-Storm.实验结果表明:与现有研究成果相比, DR-Storm在减少系统计算延迟、降低集群功率的同时, 有效节约了能耗. 相似文献
10.
11.
《计算机应用与软件》2017,(11)
随着全球云计算、大数据、物联网和人工智能等技术在工业领域的兴起,数据成为了工业4.0时代的核心驱动力。为了弥补Hadoop分布式系统在实时工业数据处理中显现的不足,提出基于Storm的工业流水线实时分析系统。该系统通过嵌入SDK实时采集终端数据,利用Nginx服务器将数据转换成日志文件,并采用分布式消息系统Kafka缓存,消息流入Storm进行分析处理后,将结果存入HBase中。最后从系统的保障性,并行性和实时性等方面进行分析,表明该系统非常可靠地将各个终端收集到的工业数据实时转换成有价值的信息输出,方便数据资源的汇总与优化。 相似文献
12.
基于MATLAB的辅助变量法参数辨识与仿真 总被引:6,自引:0,他引:6
本文介绍了参数辨识中辅助交量法的基本原理以及Matlab系统辨识工具箱中参数辨识主要功能函数,并通过实例分析该工具箱在参数辨识、系统仿真中的应用。 相似文献
13.
为满足脑-机接口特征提取实时性以及临床脑电检测高效性的要求,探讨事件相关电位的单试次高效提取技术尤为重要。将小波分析、经验模态分解、极限学习机以及偏最小二乘(PLS)应用于仿真和真实脑电信号,完成特征提取。结果显示:仿真实验中,不同信噪比下PLS提取性能稳定,P300潜伏期误差小于4 ms;真实脑电中,PLS少次迭代,特征提取更为精确,峰值误差0.551μV,峰值潜伏期偏移量27 ms,均小于小波、经验模态分解以及极限学习机多试次迭代结果(P<0.01)。结果表明偏最小二乘法在事件相关电位单试次提取中具有显著优势。 相似文献
14.
基于优化算法的核函数参数选择的研究 总被引:2,自引:0,他引:2
尽管支持向量机在许多问题上有着良好的表现,但是其参数和核函数的参数选取问题依然亟待解决。以往多采用优化算法进行参数选取,但也需要预先经验地获得核函数的参数的选取范围。在介绍结构风险最小化原则及支持向量机算法的基础上,给出了基于优化算法的支持向量机参数选取的一般性算法。由于径向基核函数(RBF)的参数取值大小的不同,可导致其性质和作用不同,为此提出了一种分段函数对RBF的参数进行选择的方法,该方法使得RBF的参数取大值和小值的概率均等。由此可不必预先经验地指定RBF的参数的选取范围,依然可以优化获得最优的参数。通过对头部组织电导率估算问题进行对比研究,取得了良好的效果,验证了该方法的有效性。 相似文献
15.
针对建筑工程这一企业对象中复杂指标的评标决策问题,首先利用AHP对指标体系进行约简和对样本数据进行预处理,得到数据的规范化形式,然后利用这些样本输入SOFM神经网络模型,并对其进行训练,构造出一个具有一定决策能力的综合评估模型.实验表明,利用该模型在得到可视化决策结果的同时,还可得到高达84.6%的测试精度,具有一定的应用价值. 相似文献
16.
在数据压缩领域,如何获取非平稳信源的统计特性一直是一个被广泛关注的热点问题。针对非平稳信源统计特性的时变性,提出一种基于隐马尔科夫模型的参数估计方法。通过将非平稳信源的输出对应为隐马尔科夫模型的观察值序列,构造合适的隐马尔科夫模型,改进前向算法和后向算法,最后再利用改进后的算法对非平稳信源的统计特性进行估计。实验结果表明利用提出的方法非常逼近非平稳信源的统计特性,为更有效地进行非平稳信源的压缩提供了实现基础。 相似文献
17.
动态网页是Internet上重要的网页类型,它们通常是由网站的后台数据库通过某种通用的模板构成.提出了一种新的基于树模型算法的动态网页信息抽取方法.它在已有算法和系统的基础上,进行了多方面的扩充.实验表明,这种基于树模型的抽取方法能够准确地定位和抽取动态网页信息. 相似文献
18.
基频轮廓就是基频随时间变化的曲线,刻画了汉语中最主要的韵律特征-声调和语调的变化趋势。而藤崎模型则是日本东京大学藤崎博也教授建立的一种韵律模型,可以用来非常好地逼近汉语语音的基频轮廓。本文提出了一种基于该模型的从汉语单音节的基频轮廓中提取参数的方法,我们首先采用基于小波变换的基音检测技术(3)获取非常准确的给定单字的各基频值,并连接形成基频轮廓,然后根据最小均匀误差准则,用藤崎模型来拟合各基频点, 相似文献
19.
基于多特征提取和SVM分类器的纹理图像分类 总被引:1,自引:0,他引:1
能够从大量高分辨率遥感图像中识别出各种感兴趣的目标并进行归类,是一种具有广泛应用前景的技术需求.实验以MATLAB为平台,应用Gabor滤波器、高斯马尔柯夫随机场(GMRF)和灰度共生矩阵(GLCM)三种纹理图像特征提取算法对当前广泛应用于纹理图像分类的样本集brodatz光学数据库图像进行特征提取;然后在二分类支持向... 相似文献
20.
提出基于误差位和小数位的乘积有效数字自动提取方法。该方法由相乘数据的有效位数决定乘积的误差位数,再由乘积的总位数与其误差位数求出乘积的有效位数,进而提取其有效数字。考虑到乘积在计算机中溢出和非溢出两种情况,采用乘积的整数位数和小数位数来计算乘积的总位数,乘积的小数位数由相乘数据的小数位数求出,乘积的整数位数通过计数的方法得到。理论分析表明,在任意情况下,两个有效数字相乘,其积的误差位数与两数中位数较大的有效数字位数相同。实验结果表明,有效数字提取算法能对计算机存储范围内的乘积有效数字进行正确、完整、有效地提取,且满足大学物理实验数据自动处理的要求。 相似文献