基于数据流的实时处理框架模型

提出了一个新型的基于大型数据流的实时处理模型,其处理模式主要是以实时存储和实时分析为主要目标,利用回归、聚类、实时分析等方法为数据流建立了一个完整的处理模型。该模型是对现有模型的完善和改进,从而在有限的存储空间中能切实可行地对快速的流数据做出实时响应。详细阐述了模型的框架建立和处理用户需求的过程与算法。     

面向产业链云服务平台的分布式备件库存协同控制方法与软件工具研究

针对制造业产业链协同服务平台的备件业务协作需求,提出跨节点的库存协同解决方案并建立近期需求预测计算模型。结合分布式节点企业的历史交易数据、库存数据的实时采集与处理应用,保障库存控制方案的实效性。采用MapReduce框架对模型参数计算过程进行优化,提高运算速度。基于遗传算法获取模型计算最优解,并将模型计算结果推送至下游经销商企业群,由反馈信息控制订单的动态生成。并将该模式应用在汽车产业链云服务平台,压缩了产业链响应时间。     

基于分布式数据集的并行计算框架内存优化方法

随着科学计算和人工智能技术的快速发展，分布式环境下的并行计算已成为解决大规模理论计算和数据处理问题的重要手段。内存容量的提高以及迭代算法的广泛应用，使得以Spark为代表的内存计算技术愈发成熟。但是，当前主流的分布式内存模型和计算框架难以兼顾易用性和计算性能，并且在数据格式定义、内存分配、内存使用效率等方面存在不足。提出一种基于分布式数据集的并行计算方法，分别从模型理论和系统开销两个角度对内存计算进行优化。在理论上，通过对计算过程进行建模分析，以解决Spark在科学计算环境下表达能力不足的问题，同时给出计算框架的开销模型，为后续性能优化提供支持。在系统上，提出一种框架级的内存优化方法，该方法主要包括对跨语言分布式内存数据集的重构、分布式共享内存的管理、消息传递过程的优化等模块。实验结果表明，基于该优化方法实现的并行计算框架可以显著提升数据集的内存分配效率，减少序列化/反序列化开销，缓解内存占用压力，应用测试的执行时间相比Spark减少了69%～92%。     

基于RepVGG-YOLOv4的焦罐提升机状态检测

提出一种基于视频流数据的提升机状态自动检测方法,将YOLOv4算法原有的CSPDarknet53框架替换成RepVGG框架,建立了基于RepVGG主干特征提取网络的YOLOv4模型,通过对提升机数据集的迭代训练,得到最终的检测模型,对设备状态进行实时分类,实现了设备状态的准确识别。测试结果表明,该算法的检测精度可达99.3%,检测速度26.28fps,满足提升机设备状态实时检测的需求,同时模型所占内存更小,更便于在生产现场部署,对硬件平台的要求有所降低。     

使用体渲染进行的快速全局照明

提出了一种基于体渲染的快速全局照明方法，用于实时计算复杂的直接照明和间接照明。该方法使用一系列预先计算的图像数据来表示照明在特定空间中的分布，在实时渲染时通过对这些空间数据的重组来得到给定位置处的光强。计算过程分为预处理和实时渲染两部分：首先，针对每一个物体计算出该物体对周围空间辐照度的影响，并存储在体数据结构中；然后，在实时渲染过程中，利用已有的体数据重建出给定点的辐照度，实现照明。该方法可以计算任意形式的光源照明以及间接漫射。     

换热器健康状态预测与实时监控

换热器是石油化工行业生产过程中实现热量交换和传递的重要设备。换热器经过长期使用后其在传热管壁间积存的污垢会影响换热器的传热能力,如果导致装置非计划停车将对生产带来不可弥补的损失,因此对于换热器健康状态进行实时监测具有重要意义。鉴于国内化工企业现状,由于传感器的缺失,无法实时获取计算换热器效率理论公式中所需全部数据。为了解决上述问题,本文首先提出了一种基于PCA建立换热器健康状态预测模型的方法,并基于实测数据建立相关模型,将所建立的基于数据驱动的模型部署在实时数据库后,即使在传感器并不完备的条件下,利用现有检测变量同样能够实现对于该热交换器工作状态的实时预测与监控。最后,对该模型上线运行后所取得的经济效益进行了详细的测算。     

基于开源框架的电力大数据云端实时数据采集平台的设计与关键技术

笔者在分析大数据相关开源框架和技术的基础上,提出基于开源框架实现边缘侧数据汇聚接入大数据云端、云端数据采集、分布式流处理、实时数据计算以及数据存储的框架设计与关键技术应用。该功能设计在某大型能源企业电力大数据系统中已成功实践应用,有效解决了实时数据采集应用中数据量大、响应速度快、数据传输可靠性要求高等问题。     

面向资源最优分配的深度学习双边拍卖算法

针对拍卖过程中计算效率低和利益分配不合理等问题, 本文提出了一种基于深度学习的迭代双边拍卖算法. 该算法通过买卖双方的初始报价数据训练基于神经网络的资源最优分配模型, 调用训练好的模型对实时报价数据快速响应, 直接求解经纪人最优分配问题(BAP)以实现计算资源分配, 显著地减小了计算代价, 提高了算法的计算效率. 进一步, 针对利益分配不合理等问题, 在迭代双边拍卖框架的支出规则和收入规则中引入调节因子用于调节买卖双方的利益, 解决已有算法在实现社会福利最大化过程中利益分配不合理的问题. 实验结果验证了该算法的有效性和优越性, 在运行时间、社会福利、买家利益、卖家利益和经纪人利益等多项指标均明显优于已有的迭代双边拍卖算法     

数据驱动下的半导体生产线动态调度方法

本文研究了一种数据驱动下的半导体生产线调度框架,该框架基于调度优化数据样本,应用机器学习算法,获得动态调度模型,通过该模型,对于半导体生产线,能够根据其当前的生产状态,实时地定出近似最优的调度策略.在此基础上,利用特征选择和分类算法,提出一种生成动态调度模型的方法,并且具体实现出一种混合式特征选择和分类算法的调度模型:先采用过滤式特征选择方法对生产属性进行初步筛选,然后再采用封装式特征选择和分类方法生成模型以提高模型生成的效率.最后,在某实际半导体生产线上,对在所提出的框架上采用6种不同算法实现的动态调度模型进行测试,并对算法性能数据和生产线性能据进行对比和分析.结果表明,数据驱动下的动态调度方法优于单一的调度规则,同时也能满足生产线调度实时性要求.在数据样本较多的情况下,建议采用本文所提出的方法.     

基于PMML的移动通信客户流失模型交换

移动通信领域迫切需要在地理分布的经营分析系统之间交换标准的数据挖掘模型。尽管预测模型标记语言已经成为数据挖掘模型交换格式的业界标准,但并没形成可用的框架来指导标准交换模型的生产过程。该文提出了支持挖掘模型交换和移动通信客户流失分析的决策树算法框架。利用该框架构建了流失预警系统,并使用模拟客户数据验证了其有效性。对标准交换模型进行了适当扩展,以支持对移动通信数据更加有效的流失分析。     

模块化建模和仿真技术及对常压蒸馏的实时稳态仿真

为满足复杂系统的实时仿真在精度和速度两方面的要求，本文对模块化建模和仿真技术作了规范化的研究，并以常压蒸馏过程为示例对象，对该技术四个要素——仿真模型模块层次结构、模型结构框架、模型解算描述框架，和仿真运行框架作了深入讨论。仿真结果和实际数据的对比（常压塔操作温度仿真误差＜６％）以及运行速度（仿真时间＜Ｚｍｉｎｓ，ＩＢＭＰＣ／ＸＴ）验证了所采用技术的有效性。     

一种基于外存的地形实时绘制方法

为了解决地形模型由于受内存限制而无法进行实时绘制的问题，提出了一个有效的基于外存的海量地形数据实时可视化框架，该框架由三层体系结构构成：管理层，调度层，自适应LOD活动地形渲染层。利用该框架进行海量地形的实时绘制，理论上可以达到绘制速度与地形规模基本无关。文章给出了该框架的一个实现，并通过对36块具有500万个三角片的地形进行测试，可以达到25帧/秒的实时绘制速率，验证了该框架的有效性。     

一种基于概率关联的局部高斯过程回归算法

在针对控制和机器人的机器学习任务中, 高斯过程回归是一种常用方法, 具有无参数学习技术的优点. 然而, 它在面对大量训练数据时存在计算量大的缺点, 因此并不适用于实时更新模型的情况. 为了减少这种计算量, 使模型能够通过实时产生的大量数据不断更新, 本文提出了一种基于概率关联的局部高斯过程回归算法. 与其他局部回归模型相比, 该算法通过对多维局部空间模型边界的平滑处理, 使用紧凑支持的概率分布来划分局部模型中的数据, 得到了更好的预测精度. 另外, 还对更新预测矢量的计算方法进行了改进, 并使用k-d树最近邻搜索减少数据分配和预测的时间. 实验证明, 该算法在保持全局高斯过程回归预测精度的同时, 显著提升了计算效率, 并且预测精度远高于其他局部高斯过程回归模型. 该模型能够快速更新和预测, 满足工程中的在线学习的需求.     

基于同态加密的隐私保护逻辑回归协同计算

随着数据交易市场的建立和规范化，多方协同进行机器学习建模成为新需求。联邦学习允许多个数据拥有方联合训练一个机器学习模型，适用于模型共建共用场景，但现有联邦学习计算框架无法适用于数据拥有方和模型需求方诉求不同、模型共建不共用的场景。提出一种不依赖于第三方计算平台且基于同态加密的隐私保护逻辑回归协同计算方案，包括由数据拥有方、模型需求方和密钥生成者构成的多方协同计算框架，以及基于该框架的多方交互协同计算流程，在不泄露模型信息及各方数据隐私的前提下协作完成模型训练任务，通过建立攻击模型分析协同计算方案的安全性。基于先进的浮点数全同态加密方案CKKS在小型计算机集群上实现协同计算的原型系统，并对原型系统进行计算和通信优化，包括提前终止训练和将密文同态运算卸载到GPU上提高计算效率。实验结果表明，计算优化措施获得了约50倍的速度提升，协同计算原型系统在中小规模的数据集上可满足实用性要求。     

基于流式计算框架的实时数据库分区系统

为实现大数据环境下大规模动态分区信息的高效处理,结合流式计算框架,提出一种实时数据库分区系统。采用大数据环境下的流式计算技术处理大规模动态的工作负载,设计实时数据分区算法实现数据分区的自动与即时生成,并利用流式计算框架的水平扩展机制提高系统扩展性和吞吐量。实验结果表明,该系统可在大数据环境下实现高效、实时的数据库分区,与传统分区算法相比,具有更高的分区质量和更少的分区时间。     

基于大数据技术的气象业务监视数据采集处理

气象数据生产过程中秒级数据流量达到6万次/秒,为了对海量气象数据进行实时监控,快速定位数据观测、传输、处理、服务全流程中各环节故障,研发了对监视数据的采集和处理框架.基于REST接口和Flume框架实时采集原始监视信息,采用Kafka实现监视数据流的缓冲和持久化存储,在Spark Streaming流式计算平台上实现对监视数据的预处理、指标计算,并对告警事件进行归并、压缩等处理,最终生成面向运维人员的告警.同时、上述系统采用故障仿真压测技术,对系统可能出现的故障进行了模拟压力测试.实验结果表明,上述框架能有效地解决海量监视数据的高效采集和处理,能够实时捕捉故障并进行有效分析与排除,其处理时效和准确性满足气象综合业务实时监控的需求.     

基于Storm的电网时间序列数据实时预测框架

对电网运行产生的时间序列数据展开实时预测研究,提出基于Storm平台和ARIMA模型的预测框架。分析不同类型电网时序数据的特点,预设拟合模型以降低模型构建的盲目性,缩短预测时间,同时设计基于HBase的新型时序数据存储模式加快数据检索速度。通过对海量的时序数据源进行并发预测,比较不同数据样本对预测值的影响并实时分析预测误差。经实例从预测精度、运算速度、占用资源3个角度验证了该框架的有效性与实用性。     

复杂生产过程实时故障诊断专家系统

本文以高炉炼铁过程为例介绍了复杂生产过程故障检测实时专家系统（ＢＦＤＥＳ）。该系统综合运用了面向对象方法，知识编译，产生式及框架方法。提高高炉传感器的数据，ＢＦＤＥＳ系统可对高炉炉况作出实时判断，并可预测高炉运动的故障，该专家系统以实际在线运行表明，其性能良好并已取得显著的经济与社会效益。     

耙吸挖泥船疏浚中三维地层剖面的设计与实现

提出一种三维地层剖面的实时显示方法。该方法利用给定的数字高程模型数据及三次样条函数拟合曲线构造剖面轮廓线,以有效解决三维地层模型内部的可视化问题。为便于施工,在疏浚过程中采用声纳数据动态调整模型。实验结果表明,该方法计算速度快、精度高,可以达到实时显示的效果,并能提高耙吸挖泥船疏浚的质量,减少对环境的影响。     

基于模糊模型的工业过程稳态优化控制方法

本文提出了一种解决复杂非线性工业过程的稳态优化控制方法，对过程建立模糊模型，用自相关函数检验法验证模型的正确性，用改进的遗传算法实现稳态优化计算，并以一炼油厂催化裂化实际生产过程的稳态数据进行试验，结果说明该方法的正确性。