智能煤矿数据中台架构及关键技术研究

数据中台是智能煤矿建设的数据底座,是煤矿大数据应用的基础。提出了包含数据汇聚、数据开发、数据存储、数据资产管理、数据服务等的智能煤矿数据中台建设思路;设计了智能煤矿数据中台架构,分析了数据中台的数据标准规范、大数据基础支撑、数据汇聚、数据开发、数据资源池、数据资产管理、数据服务、运维保障等功能模块;探讨了建设智能煤矿数据中台过程中高并发低时延数据处理、数据分级分类存储、数据治理、基于大数据的煤矿灾害风险模型构建等关键技术的解决方案。应用表明,智能煤矿数据中台实现了数据汇聚、数据开发,以及各类感知数据、基础数据、管理数据的分级分类存储、数据资产管理、数据建模、模型训练、数据服务等,使得煤矿多源异构数据从数据资源变为数据资产,可提供基于大数据的调度决策、灾害风险分析、设备健康诊断、预防性维护等应用,解决了煤矿信息孤岛严重、数据难集成、智能化分析水平低等问题。     

审计数据处理实验中的模拟数据生成系统

阐述了数据生成系统在计算机审计数据处理中的重要作用,分析了数据生成系统的功能和原理,并用Visual Basic 6.0实现了数据生成系统,论证了数据生成系统在计算机审计数据处理方法中的应用。研究表明,数据生成系统弥补了实际数据的不足,可以生成所需的实验数据,有助于审计数据处理方法的研究。     

多元地理数据管理技术研究

地理信息系统的迅速发展和广泛应用导致了地理数据多元性的产生,这对地理数据存储和管理技术提出了更高的要求.针对地理数据多元性的特点,提出了地理数据的管理和存储策略,设计了一种基于关系数据库的面向对象地理数据模型,从而实现了对矢量数据、影像数据、像素图数据、DEM数据、多媒体数据等各种数据的统一,灵活管理.     

基于数据依赖的数据修复研究进展

介绍了数据依赖理论及如何基于数据依赖修复不一致数据,提高数据质量。首先介绍了数据依赖理论;给出了数据修复的语义假设及对应的修复操作;总结了基于数据依赖修复不一致数据的方法;最后讨论了基于数据依赖修复不一致数据的未来发展方向。     

面向数据托管环境下的数据库数据的安全策略

数据托管由于维护成本低,越来越多的中小企业选择了数据托管服务。数据是企业宝贵财富,在共用同一台主机的情况下,必须要保证企业数据的安全。数据安全包括数据的传输安全、存储安全和保密安全,该文讨论了数据托管环境下保证数据库数据的安全问题及其应对策略,采用了两阶段子密钥加密算法对数据进行加密,并分析了其可用性和安全性,同时指出了实现的方法,有效地解决了数据托管环境中数据库的数据安全问题,进一步加强了数据库数据的安全性。     

复杂异构数据的表征学习综述

随着智能时代和大数据时代的到来,各种复杂异构数据不断涌现,成为数据驱动的人工智能方法、机器学习模型的基础。复杂异构数据的表征直接关系着后续模型的学习性能,因此如何有效地表征复杂异构数据成为机器学习的一个重要研究领域。文中首先介绍了数据表征的多种类型,并提出了现有数据表征方法面临的挑战;其次,根据数据类型将数据划分成单一类型数据和复合类型数据,针对单一类型数据,分别介绍了4种典型数据的表征学习发展现状和代表算法,包含离散数据、网络数据、文本数据和图像数据;然后,详细介绍了4种由多个单一数据或数据源复合而成的复杂数据,包含了离散特征与连续特征混合的结构化数据、属性数据与复杂网络复合的属性网络数据、来自不同领域的跨领域数据和由多种数据类型复合的多模态数据,分别介绍了基于上述复杂数据的表征学习现状以及最新的表征学习模型;最后,对复杂异构数据表征学习的发展趋势进行了探讨。     

基于安全数据字典的数据集成技术研究

对于属性数量特别多(＞200)的复杂数据的集成,当前还没有令人满意的实现方案.针对复杂数据集成的困难,提出了基于安全数据字典的数据集成技术,有效地解决了数据集成在灵活性和安全性方面存在的问题.提出数据字典的安全分级,阐述安全数据字典的概念及安全数据字典的实现方法,应用安全数据字典实现了复杂数据的数据集成.基于安全数据字典的数据集成技术不但极大减少数据集成系统的代码量,使系统更加简洁、高效,而且增强了系统的安全性.     

基于Oracle数据库的数据自动汇总系统设计与实现

本文针对多数据库中数据的汇总,提出了通过增加汇总频率提高汇总数据时效性和汇总数据准确率的汇总策略。本文设计并实现的数据自动汇总系统,基于流复制技术实现了上下级数据库间数据的同步;基于PL/SQL设计并实现了自动完成数据在线/离线收集、数据合并、数据检查、数据统计、数据质量评价、数据提交、信息反馈等功能,弥补了当前数据处理软件仅能实现简单数据合并功能的不足。在多轮次的数据汇总后,显著提高了汇总数据的实时性和汇总数据的准确率。     

基于Oracle数据库的数据自动汇总系统设计与实现

本文针对多数据库中数据的汇总,提出了通过增加汇总频率提高汇总数据时效性和汇总数据准确率的汇总策略。本文设计并实现的数据自动汇总系统,基于流复制技术实现了上下级数据库间数据的同步;基于PL/SQL设计并实现了自动完成数据在线/离线收集、数据合并、数据检查、数据统计、数据质量评价、数据提交、信息反馈等功能,弥补了当前数据处理软件仅能实现简单数据合并功能的不足。在多轮次的数据汇总后,显著提高了汇总数据的实时性和汇总数据的准确率。     

大数据环境下的电子数据审计:机遇、挑战与方法

电子数据审计的研究与应用是近年来审计领域的热点问题。大数据时代的到来给电子数据审计带来了机遇与挑战。首先阐述了研究大数据环境下电子数据审计的重要性;然后分析了电子数据审计的内涵及原理;在此基础上,重点研究了大数据环境下电子数据审计面临的机遇与挑战,并结合大数据的特点以及目前已有的大数据分析技术与工具,探讨了大数据环境下开展电子数据审计的方法;最后给出了大数据环境下开展电子数据审计的相关建议。研究结果为今后大数据环境下开展电子数据审计提供了理论基础。     

软件数据挖掘中的几种模型

提出了3种实用的软件数据挖掘方法：评价指标法,中心知识法,偏离度法。介绍了这3种常用软件数据挖掘的概念,给出了它们的具体模型,最后对这3种软件数据挖掘方法进行了比较和评价。     

Learning with partly labeled data

Learning with partly labeled data aims at combining labeled and unlabeled data in order to boost the accuracy of a classifier. This paper outlines the two main classes of learning methods to deal with partly labeled data: pre-labeling-based learning and semi-supervised learning. Concretely, we introduce and discuss three methods from each class. The first three ones are two-stage methods consisting of selecting the data to be labeled and then training the classifier using the pre-labeled and the originally labeled data. The last three ones show how labeled and unlabeled data can be combined in a symbiotic way during training. The empirical evaluation of these methods shows: (1) pre-labeling methods tend be better than semi-supervised learning methods, (2) both labeled and unlabeled have positive effect on the classification accuracy of each of the proposed methods, (3) the combination of all the methods improve the accuracy, and (4) the proposed methods compare very well with the state-of-art methods.     

类的数据流分析方法研究

本文把类的操作划分成三个不同的级别，采用增量算法分别对不同级别的操作进行数据流分析，相应得到三种不同的定义－引用对，根据生成的定义－引用对就可以进行基于数据流的测试，如何对有调用关系的操作之间进行快速有效的数据流分析是对类进行数据流分析的一个难点，本文对该问题进行了深入研究，并提出了相应的解决方法。     

LabVIEW中访问数据库的几种不同方法

本文分析了在LabVIEW中访问数据库的几种方法的优缺点。重点讨论了应用ADO技术,LabSQL,LabVIEWSQLToolkit访问数据库的方法,给出了新建数据表,新增数据、显示表中所有数据的具体实现细节。把数据库技术应用于虚拟仪器中,充分发挥了数据库的管理优势,大大扩展了虚拟仪器的功能。     

多类目异属性数据的建模方法研究

多类目异属性数据是企业信息系统数据建模过程中经常遇到的,针对该类数据探讨了3种可能的数据建模方法:横表法、竖表法和XML法,并比较了3种方法各自的优缺点。     

A comparison between atmospheric water vapour content retrieval methods using MSG2-SEVIRI thermal-IR data

Atmospheric water vapour content (WVC) is a vital parameter in the study of climate change. Various methods have been developed to derive atmospheric WVC from remotely sensed data. In this study, we compared three methods for retrieving atmospheric WVC from thermal infrared data in the Meteosat Second Generation-SEVIRI channels 9 (10.8 μm) and 10 (12.0 ?m). The three methods are (1) the split-window covariance-variance ratio method using a spatial moving window (method 1); (2) the split-window covariance-variance ratio method using a temporal moving window (method 2); and (3) the varying surface temperature method using split-window channel data (method 3). The derived WVC using these three methods was compared to two WVC data sets from European Centre for Medium-Range Weather Forecasts (ECMWF) reanalysis data and the MODIS WVC product. Compared with these two data sets, the derived WVC using method 1 performed proved optimal. The valid pixels using methods 1 and 2 are greater than those using method 3. Furthermore, method 2 can be used to retrieve WVC over pixels where method 1 is invalid.     

Data Intermixing and Multi-volume Rendering

The main difference between multi-volume rendering and mono-volume rendering is data intermixing. In this paper, we present three levels of data intermixing and their rendering pipelines in direct multi-volume rendering, which discriminate image level intensity intermixing, accumulation level opacity intermixing, and illumination model level parameter intermixing. In the context of radiotherapy treatment planning, different data intermixing methods are applied to three volumes, including CT volume, Dose volume, and Segmentation volume, to compare the features of different data intermixing methods.     

不平衡数据集分类方法综述

不平衡数据集的特点导致了在分类时产生了诸多难题。对不平衡数据集的分类方法进行了分析与总结。在数据采样方法中从欠采样、过采样和混合采样三方面介绍不平衡数据集的分类方法;在欠采样方法中分为基于[K]近邻、Bagging和Boosting三种方法;在过采样方法中从合成少数过采样技术（Synthetic Minority Over-sampling Technology,SMOTE）、支持向量机（Support Vector Machine,SVM）两个角度来分析不平衡数据集的分类方法;对这两类采样方法的优缺点进行了比较,在相同数据集下比较算法的性能并进行分析与总结。从深度学习、极限学习机、代价敏感和特征选择四方面对不平衡数据集的分类方法进行了归纳。最后对下一步工作方向进行了展望。     

基于CryoSat-2雷达高度计青藏高原地区冰川高度变化提取方法对比

基于2010~2016年CryoSat-2雷达高度计SARIn模式的Level 2测高数据，结合青藏高原地区冰川矢量数据以及全球GEDM数据，通过重叠脚印法、伪平面拟合法以及较新的曲面拟合法提取青藏高原地区典型冰川冰帽的高度变化值。结果表明：①CryoSat-2测高数据应用该3种方法提取山地冰川高度变化具备可行性;②提取高度变化的3种方法各有优劣，以此提供了提取山地冰川高度变化的方法选择的依据;③应用上述3种方法获取的青藏高原地区典型冰川冰帽2010~2016年的定量高度变化结果，绝大多数的冰川都处于消融状态且3种方法提取的高度变化结果增、减趋势一致。处于西昆仑山脉的中峰冰川、古里雅、土则岗目冰川缩减速率较慢，而帕米尔高原的慕士塔格冰川缩减略快，两者的缩减速度都趋于平缓。处于念青唐古拉山脉的来古、恰青冰川高度变化速率最大。     

基于CryoSat-2雷达高度计青藏高原地区冰川高度变化提取方法对比

基于2010~2016年CryoSat-2雷达高度计SARIn模式的Level 2测高数据,结合青藏高原地区冰川矢量数据以及全球GEDM数据,通过重叠脚印法、伪平面拟合法以及较新的曲面拟合法提取青藏高原地区典型冰川冰帽的高度变化值。结果表明：①CryoSat-2测高数据应用该3种方法提取山地冰川高度变化具备可行性;②提取高度变化的3种方法各有优劣,以此提供了提取山地冰川高度变化的方法选择的依据;③应用上述3种方法获取的青藏高原地区典型冰川冰帽2010~2016年的定量高度变化结果,绝大多数的冰川都处于消融状态且3种方法提取的高度变化结果增、减趋势一致。处于西昆仑山脉的中峰冰川、古里雅、土则岗目冰川缩减速率较慢,而帕米尔高原的慕士塔格冰川缩减略快,两者的缩减速度都趋于平缓。处于念青唐古拉山脉的来古、恰青冰川高度变化速率最大。