基于Storm的大数据指标实时计算方法

大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时处理等部分构成,使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件,综合应用了数据库日志分析,流处理、内存计算等技术.本文详细论述了采用Storm技术的大数据指标实时计算方法的技术架构,实现方法及路径,同时给出了算法验证的过程和结果分析.     

基于物联网的智能灌溉系统

现代农业领域中,通过使用各种传感器和不同的算法实现灌溉系统的自动化,使灌溉过程完全自主.设计了基于物联网的智能灌溉系统,利用传感器获取温度、湿度等数据,通过节点MCU处理并上传云端服务器进行储存,使用应用程序Blynk来实时监测数据,应用机器学习算法对实时传感器数据进行分类,通过决策树算法在脚本中实现.     

基于ARIMA预测修正的工控系统态势理解算法

结合态势感知的概念,重点对工控系统现场控制层数据进行分析,提出一种针对工业控制系统的态势理解算法。该算法利用FCM算法实现系统正常状态空间的建模,度量出实时状态偏离正常状态的程度;此外,利用数据的时序性,通过ARIMA预测出后续时刻系统数据信息;最后使用滑动窗口技术实现对系统过去、当前和未来的数据信息融合,计算出可以表征系统实时态势的二元组,直观地呈现出系统的实时安全状况,实现当前态势理解。通过数据仿真实验,验证了算法的可执行性和有效性,该算法的输出可以为安全管理人员提供可靠的决策信息。     

基于AdaBoost人脸检测算法在DSP上实现

以DSP TMS320DM642为核心处理器,设计了一种通用的实时人脸检测系统.采用Viola el al.'s提出的人脸检测AdaBoost算法,该算法实现了人脸检测的高速性和高准确性.本文主要介绍将该检测算法在DSP上实现,利用了它的流水线操作、多杌并行处理等特点.本系统能够在高分辨率图像和实时视频数据中,实现实时的人脸检测,从而使算法计算量及载入速度的瓶颈问题得到解决.     

全球金融资产账户单数据的处理

通过对全球证券、期货、期权账户帐单数据的研究,探索利用SQL Server对这些市场金融资产帐单数据进行统一、规范、有效的管理方法,并提出了根据帐单数据计算全球金融资产净值的算法.     

一种基于ROAM的大型DEM实时剖分算法

采用ROAM算法实现大型DEM的实时多分辨率三角网。利用帧一致性,提出双树参考剖分模式,实现顶点数据和三角形误差数据的高效重用,使得算法运行在外存模式,内存中只保留需要的少量数据。对三角形剖分误差进行预计算,改进了误差计算方法,生成多分辨率误差树,将传统的误差计算简化为误差读取,提高了误差数据获取速度以及三角网对DEM表达的精度。实验表明,算法实现了较高的实时剖分速度,适合大型DEM的多分辨率表达。     

一种基于哈尔小波的软阴影渲染算法在GPU上的实现

由于小波相比球面谐波函数能够更好地表现许多高频光照细节,哈尔小波被越来越多地被应用在许多基于PRT的全局光照渲染算法中.在PRT框架下,利用小波变换对光照、遮挡、BRDF等函数进行预处理.然后,利用所得到的预处理数据,在GPU上来实时地渲染软阴影.在渲染过程中,使用Tree-structured算法来计算渲染方程.为了能在GPU上实现该算法,对该算法中所用到数据结构的实现方式进行重新设计,并对该算法的实现过程进行调整和优化.同时,利用GPU的一些特性,在一些实现细节上也进行了相应优化.     

基于流式计算框架的实时数据库分区系统

为实现大数据环境下大规模动态分区信息的高效处理,结合流式计算框架,提出一种实时数据库分区系统。采用大数据环境下的流式计算技术处理大规模动态的工作负载,设计实时数据分区算法实现数据分区的自动与即时生成,并利用流式计算框架的水平扩展机制提高系统扩展性和吞吐量。实验结果表明,该系统可在大数据环境下实现高效、实时的数据库分区,与传统分区算法相比,具有更高的分区质量和更少的分区时间。     

跨平台框架下基于移动感知的智慧公交应用研究

为了解决在没有城市实时公交车数据的情况下实现智慧公交实时报站与到站提醒服务,提出利用开源的公交线路信息与移动终端的感知数据融合的解决方案。设计了基于Haversine的最近站点自动生成算法和基于心跳包机制的站点实时监测与到站提醒算法;通过优化距离计算公式降低地理空间距离计算的时间复杂度,从而提升算法的性能;最后利用移动跨平台框架APPCan实现智慧公交APP。     

全球海量遥感影像实时浏览系统的设计与实现

为了有效利用遥感资源,设计并实现了全球多源、多精度海量遥感影像实时浏览系统.建立全球数据的四又树层次细节模型和基于数据集的网络分布式存储方案;提出以多边形描述数据集的形状,设计实现形状多边形生成算法,并基于形状多边形的几何信息进行多数据集影像拼接;设计算法并综合利用各种优化技巧,实现实时显示.利用以上技术实现的实时浏览系统显示效果好、显示效率高,在普通微机上漫游速度达每秒65帧以上.     

基于物联网的智能灌溉系统

现代农业领域中,通过使用各种传感器和不同的算法实现灌溉系统的自动化,使灌溉过程完全自主。设计了基 于物联网的智能灌溉系统,利用传感器获取温度、湿度等数据,通过节点MCU处理并上传云端服务器进行储存,使用应用程 序Blynk来实时监测数据,应用机器学习算法对实时传感器数据进行分类,通过决策树算法在脚本中实现。     

改进的C4.5算法在期货数据挖掘中的研究

在利用现有C4.5算法构建期货预测决策树时,往往出现预测准确率低的弊端,导致预测模型很难使用,为此提出了一种面向期货数据的C4.5-[K]算法。该算法的主要思想是通过在C4.5算法中引进新的参数[K],调整属性度量标准信息增益率的取值范围,进而构建决策树预测模型进行预测。通过实验表明,该改进算法能有效提高期货预测能力。     

基于Chord网络动态数据的Skyline计算

在结合Chord网络静态数据Skyline计算算法和分布式环境的Skyline计算算法的基础上,提出一种基于Chord网络动态数据处理的Skyline计算算法,利用滑动窗口思想处理动态数据,实现数据的实时更新,使用户能更准确地得到感兴趣的实时信息。理论分析和实验结果证明,该算法能实现网络负载均衡,具有很好的渐进性,并能有效减少网络带宽的消耗。     

基于黎曼度量的一类反馈控制系统性能监测与诊断

针对复杂工业系统对性能衰退的容忍度低等问题,提出基于系统性能预测的一类反馈控制系统过程监测方法,通过黎曼度量对控制性能衰退程度进行预测与监测,并给出发生故障的类型,以提升过程监测系统的实时性与准确性.首先,利用系统的实时数据,计算系统性能衰退的预测指标;其次,利用黎曼度量对系统性能衰退程度进行预测与监测,并利用随机算法给出对应的阈值来诊断系统性能衰退;最后,通过计算各类引发系统性能衰退的故障的性能预测指标集合的中心和阈值,实现故障的实时定位.所提出的方法通过三容水箱仿真实验平台进行验证.     

硬件编程方式下通信协议加密芯片的设计研究

针对分布式测控系统数据加密传输的应用要求,通过对DES算法和Modbus协议原理分析,给出了整个设计的原理框图,使用Verilog HDL实现了DES算法和通信协议的IP核设计,最后对测控数据进行加密传输测试,结果显示该方法能较好的满足数据实时加密通信的指标要求,整个设计具有较好的现实意义和应用价值.     

面向GPU的批LOD地形实时绘制

为提高大规模地形实时渲染时的绘制效率,提出一种使用地形分块作为处理单元的批LOD算法。在预处理阶段,将多分辨率的地形数据划分成适于GPU批处理的分块,使用四叉树进行分块的有效组织。在此基础上,提出一种基于分块绘制的LOD误差标准,简化层次选取的计算量,通过增加"裙"和进行几何变形实现了层次间的有效过渡;实时绘制过程中,使用视锥裁剪减少进入图形硬件的数据量,利用地形四叉树列表和预测机制实现地形数据的有效加载管理。实验结果表明,本文算法能够充分发挥图形硬件的性能,具有较高的地形实时渲染效率。     

面向资源最优分配的深度学习双边拍卖算法

针对拍卖过程中计算效率低和利益分配不合理等问题, 本文提出了一种基于深度学习的迭代双边拍卖算法. 该算法通过买卖双方的初始报价数据训练基于神经网络的资源最优分配模型, 调用训练好的模型对实时报价数据快速响应, 直接求解经纪人最优分配问题(BAP)以实现计算资源分配, 显著地减小了计算代价, 提高了算法的计算效率. 进一步, 针对利益分配不合理等问题, 在迭代双边拍卖框架的支出规则和收入规则中引入调节因子用于调节买卖双方的利益, 解决已有算法在实现社会福利最大化过程中利益分配不合理的问题. 实验结果验证了该算法的有效性和优越性, 在运行时间、社会福利、买家利益、卖家利益和经纪人利益等多项指标均明显优于已有的迭代双边拍卖算法     

分步式滤波在短时交通流预测中的应用

用基于分步式滤波的多传感器动态系统数据融合算法建立了短时段交通流量预测模型,并与传统的卡尔曼滤波算法在计算复杂度上进行了比较。利用澳大利亚某高速公路所采集的数据进行了预测仿真实验。实验结果表明该算法确保了预测精度,同时简化了计算量,提高了响应速度,可以实现对交通流的实时预测。     

流计算与内存计算架构下的运营状态监测分析

为满足对电网实时运营状态分析过程中对用户实时用电量数据等大规模实时数据进行实时分析处理的需求,实现对电网运营决策提供快速准确的数据分析支持,提出一种流计算与内存计算相结合的大规模数据分析处理的系统架构。将经过时间窗划分的用户实时用电量数据进行离散傅里叶变换（DFT）,实现对异常用电行为评价指标的构建;将基于抽样统计分析构造出的用户用电行为特征,采用K-Means聚类算法实现对用户用电行为类别的划分。从实际业务系统中抽取实验数据,验证了提出的异常用电行为和用户用电分析评价指标的准确性。同时,在实验数据集上与传统的数据处理策略进行对比,实验结果表明流计算与内存计算相结合的系统架构在大规模数据分析处理方面更具优势。     

利用可编程GPU实现大规模地形场景的高性能漫游*

对已有算法进行了综述,并针对数据动态调度、自适应网格模型的生成以及数据的组织与数据裁剪等方面进行了研究并提出改进方法,设计了一种基于GPU编程实现的大规模地形场景的实时绘制与漫游算法。利用GPU端完成地形网格更新、地形块的自动选取、高度图和纹理图采样等大部分计算工作,大大减轻了CPU端的计算负载。实验表明,该算法实现简单,内存开销较少,有效提高了地形绘制的效率,适于大规模地形场景的实时高效漫游。