基于大数据的煤矿安全风险智能评价和预警研究

文章提出基于大数据的煤矿安全风险智能评价和预警方法,用来提升企业风险判识能力,评价煤矿安全风险等级,为后续开发打下基础。使用空间重构方法离散性映射处理大数据,选择最佳时延和最小嵌入维数构建大数据时间序列的信息流模型,通过模糊C聚类算法求解初始聚类中心搜索目标函数,最终获得大数据最优聚类中心。通过聚类大数据得到煤矿安全风险评估指标,使用可拓理论构建风险预警评估模型,运用熵权法确定指标权重,定量计算关联函数,根据关联度最大原则判断预警对象的风险等级。经实验分析,该方法在数据聚类方面具有较高准确性和计算效率,并且能够准确评估出煤矿存在的风险和预警等级。     

基于防突预测特征的地质异常智能判识方法

针对煤矿现有物探、钻探手段超前探测小型地质构造和煤层赋存变化等地质异常效果不好,以及防突预测数据隐含信息发掘不够、利用不足等问题,提出了根据防突预测特征与地质异常之间的相关性进行地质异常智能判识的思路;从单次防突预测事件数据分布和前后连续防突预测事件数据变化2个层面,构建了10个防突预测特征指标,形成了防突预测特征指标体系;采用关联分析方法,提出了基于防突预测特征的地质异常智能判识方法,并对特征指标二元属性转换、关联规则分析、有效规则提取、判识准则建立、地质异常可能性等级划分等关键环节进行了重点阐述;采用B/S架构,设计、开发了基于防突预测特征的地质异常智能判识系统,实现了防突预测信息在线采集、防突预测特征自动分析、地质异常超前动态判识,以及判识结果网站和移动终端等多渠道联动发布。现场试验结果表明,该系统能够自主构建地质异常判识准则,地质异常判识总准确率达到了87.63%,为煤矿超前掌握地质异常提供了有效手段,实现了防突预测数据隐含价值的拓展应用。     

基于岭回归改进规范变量分析的微震事件实时判识

微震事件判识是煤矿微震监测的基础。现有的微震监测技术大多基于单物理量变化规律而开发,在处理含有大量噪声和干扰信号的煤矿微震数据时易产生误判情况。针对该问题,基于岭回归算法改进规范变量分析(CVA)的损失函数,实现稀疏化建模,以提升模型泛化能力。采用岭回归改进CVA对多通道煤矿微震监测数据进行融合分析,进而实时判识复杂微震监测数据状态。采用模拟数据和实际煤矿微震监测数据对岭回归改进CVA进行实验验证。在基于模拟数据的实验中,随着噪声方差由5×10^-6增大至5×10^-2,岭回归改进CVA的判识准确率较CVA提升了0.6%～5.4%,误报率和漏报率之和较CVA下降4.8%～17.3%。在基于实际微震监测数据的实验中,岭回归改进CVA对20个通道的微震监测数据融合分析结果能够反映出微震信号处于波动状态,验证了该方法具备微震事件实时判识能力,平均判识准确率为97.14%,较CVA高2.39%,误报率与漏报率之和为31.06%,较CVA降低0.07%,错误率为2.86%,较CVA降低2.4%。     

基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法研究

伴随流式数据处理需求而产生的复杂事件处理技术,在处理具有多样性和流式特征数据方面性能表现突出,被广泛应用于复杂事件大数据处理系统中。针对复杂事件大数据处理系统测试需求,提出一种基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法,该方法以部分真实数据中的复杂事件结构关系及概率分布特征构建贝叶斯网络预测模型,生成具有真实数据结构特征与分布特征的复杂事件测试数据集。实验结果表明,提出的方法具有可行性。     

基于支持向量回归机的油田生产预警模型研究

传统的油田开发动态生产预警采用独立性指标阈值判别方法,从而带来预警结果不准确、异常事件发生时报警而不是预警等问题。本课题提出一种油田生产预警模型,该方法将支持向量回归机(Support Vector Regression,SVR)用于油田生产预警中,通过分析历史生产动态数据,找到它们的变化规律,总结出生产异常警报形成模式,在油田异常事件的初期给出预警信号,提前分析处理潜在隐患,以便保证油田采收效率的稳定性。实验结果证明模型对于油田生产中发生的异常情况具有较高的预测准确性。     

基于多类别参数随机调优的境外活动安全评估模型研究

为保障境外出行人员的境外活动安全,针对现有的数据存在数据缺失、类型多样且类型不一致等问题,在相关评估标准缺失的情况下提出了一种基于多类别参数随机调优的境外活动安全态势评估模型,构建数据量化、筛选机制,自适应调整模型参数,获得安全评估结果并分级,最终实现对安全态势评估和预警。通过与相关评估方案及国际范围内的真实恐怖袭击事件的分布进行比对分析,验证了安全评估模型的准确性,相应系统具有一定的实用价值。     

两方参与的隐私保护岭回归方案与应用

大数据环境下,同态加密可以有效解决机器学习中的隐私泄露问题.本文利用CKKS同态加密技术,设计了一种两方参与、基于密文域上带除法延迟的改进共轭梯度法的隐私保护岭回归方案,参与模型训练的双方可以通过少量的交互,在密文数据上高效地训练岭回归模型,防止过程中有隐私被泄露;分析了方案的安全性、计算以及通信复杂度,基于HEAAN同态加密库利用C++实现了该方案;在公开数据集上验证了该方案,实验证明所提方案可以安全高效地训练岭回归模型.对于特征维度为77,样本个数为4000的UCI数据集Twitter,训练模型所需迭代次数仅为16,时间损耗为127.5 s,通信量为41.87MB,密文域上带除法延迟的改进共轭梯度法收敛速度快,模型训练效率高,通信损耗小,且在密文数据上的训练得到的模型参数与在明文数据上的计算结果相比误差不超过0.001,可以满足特定场景下的实际应用需求.     

基于FY-4A/AGRI时空特征融合的新疆地区积雪判识

高时间分辨率的积雪判识对于新疆牧区农牧业发展和雪灾预警具有重要作用,针对已有积雪产品易受复杂地形地貌,下垫面类型以及云遮蔽的影响,导致积雪判识精度降低的问题,提出一种利用深度学习方法对风云4号A星多通道辐射扫描计（AGRI）数据与地理信息数据进行多特征时序融合的积雪判识方法：以多时相FY-4A/AGRI多光谱遥感数据,以及高程、坡向、坡度和地表覆盖类型等地形地貌信息作为模型输入,以Landsat 8 OLI提取的高空间分辨率积雪覆盖图作为“真值”标签,构建并训练基于卷积神经网络的积雪判识模型,从而有效区分新疆复杂地形与下垫面地区的云、雪以及无雪地表,最终得到逐小时积雪覆盖范围产品。经数据集和2019年地面气象站实测雪盖验证,该方法精度高于国际主流MODIS逐日积雪产品MOD10A1和MYD10A1,显著降低云雪误判率。     

自适应动态信任关系量化模型的研究

提出一个新的自适应动态信任关系量化模型。该模型在建立基于历史函数的直接信任计算方法和基于路径函数的反馈信任聚合模型的基础上,引入自信因子和反馈因子来自动建立和动态调节直接信任与反馈信任的权重。仿真实验结果表明,与现有模型相比,该模型能够有效提高可信决策的准确性。     

基于因子回归模型的软测量方法

在工业过程中,有很多重要变量往往无法在线检测,通常通过软测量方法进行估计,主元回归是其中1种常用方法。相比于主元,因子更具广泛意义,更能反映数据的本质特征。基于此,提出1种基于因子回归模型的软测量方法,先对过程日常运行数据进行因子分析,建立因子生成模型,并提取因子信息,然后建立因子与关键变量间的因子回归模型,在线应用时先将可测变量代入生成模型得到因子变量,然后将因子代入到因子回归模型,软测量出关键变量。将该方法应用到化工吸附分离过程中,比较了因子回归模型与主元回归模型的软测量效果,结果表明前者优于后者。     

基于灰色关联分析的中文新闻事件关联性识别

针对中文新闻事件关联性识别准确率较低的问题,提出一种基于灰色关联分析(GRA)的中文新闻事件关联性识别算法,该算法是一种多因素分析法。首先,通过分析中文新闻事件的特性,提出三个影响事件关联性的因素,分别为触发词的共现性、事件的共享名词以及事件句的相似度;其次,对多个影响因素进行量化处理,计算每个影响因素的影响权值;最后,运用GRA将多个影响因素结合在一起,建立事件之间的灰色关联性分析模型,实现事件关联性识别。通过实验验证了三个影响因素对事件关联性识别的有效性,而且相对于只考虑单一影响因素的关联性识别算法,所提算法提高了事件关联性识别的准确率。     

基于端点特征的P2P流媒体识别方法

P2P流媒体流量中的控制流与数据流,由于统计特征差异较大,致使DFI(深度流检测)方法识别其效果不佳。借鉴DFI的思想,提出一种基于端点特征识别P2P流媒体流量的方法。该方法针对网络端点,提取了六个有效特征,并结合机器学习的方法识别P2P流媒体流量。实验结果表明,该方法比DFI识别的整体准确率要高,且可以用于P2P流媒体的在线识别。     

一种新型的视频码流识别算法

随着流媒体技术的兴起,越来越多的人选择从网上获得视频点播、网络电视、远程会议、远程教育等服务.但同时网络上充斥着一些淫秽、非法等有害视频,对社会造成很大危害.现有的基于视频内容的离线检测方法需要解码数据包,且匹配算法复杂度高,不适于数据量庞大的流媒体服务器或网关做实时检测.为此,提出一种基于媒体业务流特征的视频匹配算法,对流媒体服务器的码流进行实时检测和过滤.采用被广泛应用的MP4码流作为测试对象,分析了算法中各个参数对于判定结果的影响.实验结果表明,所提算法简单易行,无论是在拒真率还是取伪率方面都取得较为满意的结果.     

基于Storm的流数据KNN分类算法的研究与实现

KNN算法是一种简单、有效且易于实现的分类算法,可用于类域较大的分类。近年来对KNN算法的研究偏向于静态大数据集,不过,在越来越多的情况下要用KNN算法在线实时处理流数据。考虑到流式数据流量大,连续且快速,不易存储和恢复等特性,以及流处理系统Storm对流数据处理具有实时性、可靠性的特点,提出了基于Storm的流数据KNN分类算法,该算法首先对整个样本集进行划分,形成多个片集,然后计算出待分类向量在各片集上的[K]近邻,最后再将所有片集[K]近邻归约得出整体[K]近邻,实现待分类向量的分类。实验结果表明,基于Storm的流数据KNN分类算法能够满足大数据背景下对流数据分类的高吞吐量、可扩展性、实时性和准确性的要求。     

基于r范数损失函数的NPKMR方法改进

针对非正定核的机器同归方法（NPKMR）只对总体误差最小化而造成回归性能较差的问题,提出一种在NPKMR的基础上对每个样本点的回归误差进行约束的改进方法。通过引入r范数损失函数和松弛变量,对每个样本点的回归误差进行约束。实验表明,对NPKMR方法的改进可以提高回归精度和泛化性能。     

大数据复杂事件分析方法研究与应用

复杂事件处理（Complex Event Processing, CEP）是一项伴随流式数据而出现的技术,用于不同数据源顺序混杂的事件流中发现感兴趣的事件模式。然而,随着数据量的不断递增,传统的CEP技术往往不能满足在大数据集上有效获取事件模式的处理需求。针对这一问题,本文结合数据挖掘中聚类分析与关联规则的思想,提出一种“复杂事件处理”算法,〖JP2〗并把其部署到分布式平台Hadoop上,从而发现大数据集中的复杂事件关系,有效地改变了传统技术面临海量数据的局限性。最后,应用本文算法到GPS大数据集中,发现其中的复杂事件模式,并通过实验验证本文方法具有可行性与有效性。     

事件关系表示模型

事件关系的表示及事件推理是基于事件的知识处理的核心内容。文章提出了事件影响因子的概念来刻画事件间相互影响的强弱,给出了一种事件影响因子的计算方法。在此基础上,建立了事件关系图ERM(Event Relationship Map)来描述领域中事件之间的关系。依据事件关系和事件要素可以进行事件推理,重点阐述了ERM上基于关系的事件推理算法。最后,做了一个事件关系推理的实验,结果证明所提模型及算法与人的主观判断相一致,是合理可行的。     

Processing count queries over event streams at multiple time granularities

Management and analysis of streaming data has become crucial with its applications to web, sensor data, network traffic data, and stock market. Data streams consist of mostly numeric data but what is more interesting are the events derived from the numerical data that need to be monitored. The events obtained from streaming data form event streams. Event streams have similar properties to data streams, i.e., they are seen only once in a fixed order as a continuous stream. Events appearing in the event stream have time stamps associated with them at a certain time granularity, such as second, minute, or hour. One type of frequently asked queries over event streams are count queries, i.e., the frequency of an event occurrence over time. Count queries can be answered over event streams easily, however, users may ask queries over different time granularities as well. For example, a broker may ask how many times a stock increased in the same time frame, where the time frames specified could be an hour, day, or both. Such types of queries are challenging especially in the case of event streams where only a window of an event stream is available at a certain time instead of the whole stream. In this paper, we propose a technique for predicting the frequencies of event occurrences in event streams at multiple time granularities. The proposed approximation method efficiently estimates the count of events with a high accuracy in an event stream at any time granularity by examining the distance distributions of event occurrences. The proposed method has been implemented and tested on different real data sets including daily price changes in two different stock exchange markets. The obtained results show its effectiveness.     

基于深度学习的网络流量异常预测方法

针对网络入侵检测系统（NIDS）能够检测当前系统中存在的网络安全事件,但由于自身的高误报率和识别安全事件产生的时延,无法提前对网络安全事件进行准确率较高的预警功能,严重制约了NIDS的实际应用和未来发展的问题,提出了基于深度学习的网络流量异常预测方法。该方法提出了一种结合深度学习算法中长短期记忆网络和卷积神经网络的预测模型,能够训练得到网络流量数据的时空特征,实现预测下一时段网络流量特征变化和网络安全事件分类识别,为NIDS实现网络安全事件的预警功能提供了方法分析。实验通过使用设计好的神经网络框架对入侵检测系统流量数据集CICIDS2017进行了训练和性能测试,在该方法下流量分类的误报率下降到0.26%,总体准确率达到了99.57%,流量特征预测模型R2的最佳效果达到了0.762。     

多描述编码研究现状

研究开发实时、鲁棒的流媒体编码与传输技术已成为当前信息技术的一个热点问题.多描述编码作为解决该问题的一种方法,因其在满足数据传输实时性要求的同时可减少数据失真,受到广泛关注.文中首先介绍了多描述编码的历史和评价性能指标,然后详述了多描述编码的研究和进展状况,包括各类多描述编码方法的思想、框架和特点,最后对现有研究中存在的难点问题进行了探讨与展望.