智能煤矿数据中台架构及关键技术研究

数据中台是智能煤矿建设的数据底座,是煤矿大数据应用的基础。提出了包含数据汇聚、数据开发、数据存储、数据资产管理、数据服务等的智能煤矿数据中台建设思路;设计了智能煤矿数据中台架构,分析了数据中台的数据标准规范、大数据基础支撑、数据汇聚、数据开发、数据资源池、数据资产管理、数据服务、运维保障等功能模块;探讨了建设智能煤矿数据中台过程中高并发低时延数据处理、数据分级分类存储、数据治理、基于大数据的煤矿灾害风险模型构建等关键技术的解决方案。应用表明,智能煤矿数据中台实现了数据汇聚、数据开发,以及各类感知数据、基础数据、管理数据的分级分类存储、数据资产管理、数据建模、模型训练、数据服务等,使得煤矿多源异构数据从数据资源变为数据资产,可提供基于大数据的调度决策、灾害风险分析、设备健康诊断、预防性维护等应用,解决了煤矿信息孤岛严重、数据难集成、智能化分析水平低等问题。     

面向用户画像的轻量化数据中台研究

以数据中台作为建设中小企业信息基础设施的新模式，并针对性构建轻量化中台，有益于统一管理数据资产，改善数据孤岛问题，提高企业部署大数据应用的能力；以用户画像这一典型大数据应用为切入点，归纳画像构建流程并与数据中台体系整合；以整合后的中台体系为基础，提炼必要的功能模块并从结构、技术栈、部署三个角度进行轻量化设计，从而提出面向用户画像且易于搭建和部署的轻量化数据中台方案；基于Hadoop生态组件搭建轻量化用户数据中台，并使用淘宝用户消费数据构建RFM模型下的用户价值标签，验证轻量化数据中台的可行性。     

基于数据挖掘技术的低压台区线损检测研究

针对低压台区变压器端采集的电力数据量庞大难以分析线路损耗问题,深入分析了电力信息系统营销自动化过程中积累的海量用户数据,建立了合理且高效的线损分析数学模型.通过挖掘智能电表中这些数据背后的有用信息,实现对用户异常用电行为的检测,达到防止窃电和漏电的目的,从而降低线路损耗.利用加权LOF算法数据挖掘技术的电力线路窃电层次检测方法,可以对海量用户数据进行加权异常值分析,更有效地完成异常电力用户的定位.     

基于语义分割的异构多核平台大数据挖掘算法

为了提高异构多核平台大数据精准挖掘能力,提出一种基于语义分割的异构多核平台大数据精准挖掘方法。构建异构多核平台大数据的模糊信息检测模型,采用关联特征提取方法进行异构多核平台大数据的模糊指向性聚类分析。构建异构多核平台大数据的输出自相关特征匹配模型,结合语义特征提取方法进行异构多核平台大数据的特征提取和统计分析。建立异构多核平台大数据的语义动态特征分析模型,提取异构多核平台大数据的统计特征量。根据异构多核平台大数据的特征提取结果采用模糊C均值聚类方法进行大数据聚类,采用语义分割进行异构多核平台大数据挖掘过程中的自适应寻优,实现异构多核平台大数据的优化挖掘。仿真结果表明,采用该方法进行异构多核平台大数据挖掘的精度较高,特征分辨能力较好,可提高异构多核平台大数据的挖掘和检测能力。     

基于自适应特征权重聚类算法的用电问题分析

提升客服系统对于群体客户用电问题的分析与理解能力是改善电力行业客服质量的重要途径之一.本文基于数据挖掘中的聚类技术,以电力客服中心记录的客户用电问题为数据基础,建立客户服务数据分析聚类模型,进而提出了针对用电问题分析的改进的自适应特征权重K-Means聚类算法.实验验证了该方法可快速准确地实现客服数据的自动聚类,可挖掘出隐藏的客户用电问题关键信息,为改进用电力客服质量与潜在服务风险预测提供了技术支撑.     

智能矿山综合管控平台建设构思

为有效解决煤炭行业现有单系统单业务应用模式下信息孤岛严重、业务互联互通不足、数据价值挖掘利用差,现有物联网、云计算、大数据、人工智能、智能控制等新一代信息技术应用点单一、智能化赋能不足等问题,将新一代信息技术与煤矿安全、生产、运营管控业务进行深度融合,提出了智能矿山综合管控平台建设构思。该平台基于智能矿山基础信息平台,通过煤炭工业大数据中心对海量异构数据进行汇聚、治理、存储与分析,应用数据中台、技术中台及应用中台实现在同一平台的数据融合、协同控制、业务联动与决策分析;采用统一门户、统一数据及统一风格,搭建集中统一的生产调度协同管控、风险综合防控管理、决策分析综合管控、精准运维检测等智能化管控业务应用中心:生产调度协同管控应用中心应用煤矿安全生产协同技术实现矿领导、调度指挥中心、科室、区队及班组之间业务互联与分级调度,固定场所下的融合调度与协同控制;风险综合防控管理应用中心以煤矿安全风险防控为核心,实现全矿风险危害要素的全方位感知、实时监视、动态评估、异常联动处置,保障煤矿安全生产高效有序运行;决策分析综合管控应用中心应用时序数据挖掘分析技术实现安全、生产、运营等指标态势分析及预测,通过安全生产大数据看板及个人工作台进行安全、生产、运营状况的综合展示;精准运维检测应用中心以运行探针方式,实现平台运行过程的故障监测及异常跟踪处理。     

基于异构系统的统一网络安全监控体系模型

针对大规模异构网络环境下安全行为的复杂性，现有的网络技术与管理缺少对海量原始数据的良好安全监控手段，本文提出构建统一的网络安全监控体系的思想，对各种异构数据源数据（审计日志和流量数据）进行标准化表示和整合，采用数据挖掘和小波分析的方法对数据进行分析处理，通过关联规则、流量规则和规则序列模式分析出整个网络的运行情况，对系统分析结果给出可视化结论，调整安全策略以适应网络安全动态性和整体性．     

异构大数据网络的多维关联细粒度数据挖掘算法

为了解决具有密度高、关联复杂的异构大数据网络的数据挖掘效率低下问题,基于多维关联架构,结合细粒度控制提出了数据挖掘算法.首先,在异构大数据网络存储与转发、处理的数据个性特征和差异化的基础上,给出了异构大数据网络数据定义和多维关联模型.接着,基于大数据网络多维关联初始化进程,通过大数据单位重构、维度置换、细粒度化和粒度均衡等,提出了多维关联细粒度数据挖掘算法.最后,通过与粗粒度算法、线性化结构数据挖掘算法对比了在不同网络规模和数据规模下的执行效率.实验结果表明,所提算法具有更佳的执行效率.     

基于大数据分析的电力信息化智能管控平台设计

为了提高电力信息平台服务器对大数据流量的处理能力,设计基于大数据分析平台的电力信息化智能管控平台。以区域电力总部为基点,部署电力信息化智能管控工作台,通过电力专用网络,连接电力运行必备系统,完成平台硬件结构设计;将平台监控功能分为查询指令下发、反馈数据接收、数据解析、数据存储四部分,设计平台监控功能时序图,实时监控电力数据;在数据采集服务器上部署数据采集算法,采集电力数据;采用大数据分析平台设计包括探测节点、程序分发、隐蔽执行三部分的电力数据分流预处理程序;设计电力信息化智能管控平台运架构,集成电力数据信息,实现电力信息化管控。确定实验方法和步骤,检测结果：此次设计的电力信息化智能管控平台服务器,通过了50模拟用户和100模拟用户的每秒点击次数和吞吐量压力测试,具有较优的流量处理能力。     

面向电力大数据的异构数据混合采集系统

随着智能电网的快速发展,电力系统数据量的增长也非常迅速,电力大数据急待开展深入研究.电力数据产生的速率跨度大,数据源众多且交互方式繁杂,数据种类繁多等特点,已有大数据采集方式难以适应多源异构数据的混合采集应用场景.本文针对电力大数据提出了新的解决方案,通过混合数据采集模型和采集集群实现了对异构数据源采集任务的混合调度和管理;通过数据置信度标签技术,在保留原始数据的同时,标示数据的质量,为后续大数据分析应用提供了便利;通过Sqoop、Kafka、文件传输等方式将采集与处理后的数据提交给大数据平台存储.系统已经在用户现场部署并投入使用,运行稳定,效果良好.     

基于电力大数据的3D智能运检平台的应用与研究

电力大数据时代下,电力设备状态监测、运检管理、调度运行、环境气象等数据逐步实现互通共享,大数据技术为电力设备状态评估和智能运检方面提供了全新的解决思路和技术手段,如何尽可能的收集电力运行大数据,如何充分利用起电力运行数据,无疑具有十分重大的意义。本文结合当下大数据技术及数据挖掘分析方法在电力设备状态评估中应用的现状,重点介绍了一款已投入实际应用的基于电力运行大数据的3D智能运检平台的基本构成原理、电力运行大数据分析的内涵和3D智能运检平台的一些实际典型应用案例,探讨了大数据技术在电力设备状态监测、异常分析、故障预测、智能诊断等典型运检场景中应用的方法和效果,并展望了电力运行大数据应用需要克服的几个难题和面对的发展机遇。     

大数据智能分析与数据挖掘研究

大数据智能分析与数据挖掘是从海量数据中提取更加本质和更加有用的规律性信息的重要手段,是挖掘智能和有价值信息的重要抓手.通过运用文献研究法和系统法,对大数据智能分析与大数据挖掘进行了阐述,给出大数据智能分析涉及到的关键技术,对其关键技术进行了阐述,提出大数据挖掘方法、类型、工具和流程及应用,并阐明大数据挖掘中使用的关键技术,希望能为大数据智能分析以及大数据挖掘的研究者提供借鉴.     

智能配电网大数据典型应用场景研究

随着配电网自动化、信息化和智能化水平的逐步提升,海量异构、多态数据可在智能配电网中发挥巨大价值,如何应用这些数据,既是机遇也是挑战。首先总结了智能配电网大数据来源及特征,既包括电网内部数据,也包括社会经济等外部数据,并阐述了智能配电网中大数据挖掘和分析应用的方法,实现数据的清洗转换、分析处理和大数据应用,然后详细介绍了智能配电大数据分析应用平台,包括总体架构和信息安全防护体系,最后基于平台,结合湖南公司的业务需求,对负荷预测、故障综合研判、配网运行状态评估与预判等典型应用场景开展研究和实际应用。研究和应用结果表明,运用大数据技术充分挖掘和分析智能配电网数据的特征和关联关系,可有效提升配电网精益化管理水平。     

基于灰色分析的电力四表合一数据智能集抄系统研究

为了提高电力四表合一数据智能集抄能力,提出一种基于灰色分析的电力四表合一数据智能集抄系统设计方法,采用多维传感器进行电力四表合一数据智能采集,对采集的电力四表合一数据进行智能信息融合处理,提取电力四表合一数据的灰色关联特征量,根据特征提取结果进行电力四表合一数据的智能融合和传输控制,结合嵌入式设计方法,进行电力四表合一数据的智能集抄系统设计,采用模糊集成控制方法,进行电力四表合一数据智能集抄系统的输出稳定性调节,结合灰色分析方法,实现电力四表合一数据智能集抄系统的大数据信息处理和智能开发设计。测试结果表明,设计的电力四表合一数据智能集抄系统具有很好的数据信息融合处理能力,系统的输出稳定性较高,可靠性较好。     

智慧发电企业数据中台架构及数字化应用

当前发电企业在数字化和智慧化建设过程中,需要一个统一规范,适应发电企业特性和需求的数据中台架构体系作为基础支撑。本文通过分析智慧型发电企业数据中台的建设思路,从数据的技术能力建设和数据资产管理两个方面,构建了数据中台功能架构、技术架构和数据架构,涵盖了数据开发、数据模型、数据治理、数据资产、数据服务等多个层次的体系化建设。基于此,针对发电企业数字化和智慧化建设场景,通过本文的数据中台建设思路、架构体系和平台功能,阐述了数据中台在企业生产经营驾驶舱、报表及报告自动生成、设备故障预警、企业智能搜索的诸多应用,表明通过数据中台,不仅可以打通发电企业生产、经营和管理之间的业务壁垒,沉淀企业数据资产和经验知识,而且还能有效提升数据挖掘的价值,助力智慧发电企业建设目标的实现。     

集约化运营之数据应用支撑方案

随着广东电信MBOSS集中工程项目上线，2011年广东电信企业信息化工作主题是“数据价值提升年”，工作重点是深化针对性营销维系、本地网数据应用、竞争分析、客服质量分析应用、全网数据分析等应用，加强数据整合，全省数据统一后，数据应用成为一个关注的焦点。本文探讨数据集中后如何发挥数据挖掘、应用支撑。     

基于遗传算法的电力输变电工程数据存储框架与数据迁移仿真

由于电力输变电工程数据多源、异构、迭代更新,需巨大存储空间,且数据挖掘分析难度大,据此本文基于遗传算法设计了分布式数据存储框架与数据迁移.此框架以源数据模型为载体,详细划分电力输变电工程地理信息、三维设计模型、文档资料数据,基于不同数据存储模型,构建了分布式存储框架以进行不同类型数据处理.通过遗传算法可实现海量数据迁移...     

基于机器学习的电网客服语音智能检测系统的设计与实现

为提高电力智能客服服务水平,提出了一种基于人工智能的电力客服系统。系统分为数据层、支持层、服务层和应用层四部分。为有效缓解人工梳理语音信息耗时问题,提出了一个多任务集成学习模型实现电力客户情绪识别,从而有效节省人力成本,同时可自动为电力公司提取有价值的客户反馈信息;提出了一种基于双向递归神经网络的意图理解模型,从而进一步提高智能客户服务的可用性和智能性。实验阶段,以某电力公司提供的电力客服通话数据为例,对所提模型进行验证。结果表明,与基准方法相比,所提多任务集成学习模型性能显著提升,愤怒、快乐、中性和悲伤状态下的平均准确率。此外,所提基于双向递归神经网络的意图理解模型识别准确率为90.21%,召回率为89.92%,F分数为90.07%。仿真结果进一步验证了所提模型对提高电力服务质量提供了一定借鉴作用。     

网格环境下分布式并行数据挖掘研究

随着信息技术的持续发展和广泛使用,大量的数据不断被收集和存储,对分布的目标数据进行数据挖掘处理任务的规模越来越大,而传统的数据挖掘无法解决分布式海量数据挖掘的问题,分布式系统很难解决异构的操作系统和协议问题.网格技术的发展成熟,使得利用网格环境下强大的资源共享异构虚拟组织实现协同并行数据挖掘成为网格技术应用的一个研究重点.本文提出基于网格环境的Agent技术、多线程和集中表决技术的关联规则并行挖掘方案,并在GT4下实验验证,实现对大规模数据的网格环境分布式并行数据挖掘.     

基于大数据分析的电力营销信息管理系统参数自动配置方法

电力营销信息管理系统参数复杂化程度加深，约束条件众多，无法形成系统智能自动参数配置，以DCS人工手动关键参数设置为主，弊端明显。结合海量参数特征分析结果，提出基于大数据分析的电力营销信息管理系统参数自动配置方法。引入数据挖掘技术，在电力营销信息管理系统大数据参数分析的基础上，推断获取重要特征参数。结合挖掘的参数特征，推导系统参数最优输出传递函数，结合约束条件，给出参数自动化配置判断阙值。仿真实验结果表明，所提方法能够有效降低参数自动化配置时间和费用，提升系统稳定性。