基于模型驱动的数据映射技术设计与实现

根据模型驱动的软件开发方法和核心思想,设计实现对数据映射关系进行独立、统一描述的映射词典元模型.结合映射词典提出了一个基于模型驱动的集成异构数据模型的解决方案.给出了基于模型驱动的数据映射技术,完成异构数据集成中的应用框架.在此基础上,详细介绍了应用框架中异构数据集成的实现.     

一种基于历史事件的多维星座快照模型

城市发展进程中典型事件下的城市形态和空间结构诸方面特征,是城市历史文化演变在地域空间上留刻的有形足迹,它的数据表达能够对城市演变和发展研究形成基础和有效支持。时空数据模型因其能够完整表达客观世界时间、空间和特征语义,是重要的历史、地理和文化信息描述工具。以北京为背景,提取城市发展过程中典型历史事件,研究其下的时空数据事实和特征,提出基于历史事件的多维星座快照模型。该模型综合多维星座模型和时间快照模型的特点,以关系模型为主题框架,表达北京各时期历史和地理特征,为建立时空数据集成和城市空间特征分析的数据仓库模型提供概念表示。     

面向RFID的框架化数据融合中间件研究与设计

介绍了基于数据融合的结构可扩展软件开发框架（xDFF）及其规范体系,在此框架下,主要研究并设计了包括RFID数据资源集成与融合应用平台的建模方法、工具及实现方法,旨在设计一种高效且可扩展的,支持海量RFID数据采集、过滤、聚合、事件管理以及存储、维护、查询和安全管理等功能的环境与工具,实现普遍适配,提供二次开发接口,与企业数据集成并进行统一管理的模块化框架化RFID数据融合中间件产品.     

企业数据集成模型的研究

本文从现代企业实施数据集成的需求出发，对联邦数据库系统、中间件模式和数据仓库模式等几种经典数据集成体系进行了分析，并指出了它们的局限；提出了一种基于OMG模型驱动和XML的企业数据集成的模型框架，并阐述了该数据集成模型的相关技术和优越性，同时也说明了应用模型的概念设计应用时应把握的观点。     

基于城市信息单元的多源时空数据融合框架

建设智慧城市可有效提升城市治理与运行能力、打破城市发展困境。为探索如何基于物理-数字空间交融中的时空大数据提供面向城市管理的智能服务,该文在解析多源、多维、异构时空大数据语义关系的基础上,提出多源时空大数据透明融合框架。为实现这一目标,该文进一步提出“城市信息单元”的概念作为构建物理-数字空间交融的数据组织基础,首先,对多源、多维、异构时空大数据进行主动汇集、语义解析,完成地理知识时空构建,依据唯一数据编码,将数据信息映射至城市信息单元;然后,建立数据匹配模型和关联模型,搭建数据透明融合框架,结合多源异构数据要素匹配技术,构建时空数据透明融合规则库;最后,在众多融合方法的支持下,实现城市实体与时空多源时空数据的透明融合。借助城市信息单元与数据编码,实现城市实体与时空大数据动态融合方法体系,进而为用户提供智能化信息服务。     

基于区块链+隐私计算的数据要素跨域安全流通体系

数据作为新型生产要素，其安全合规的流通方式是目前研究的重点，探究基于“区块链+隐私计算”的数据要素跨域安全流通，从数据要素跨域安全流通体系的设计出发，分别在数据要素产权、数据要素流通交易、数据要素收益分配、数据要素安全治理四方面提出建设思路。为解除“用数据”与“保护数据”的矛盾，研究设计基于区块链+隐私计算的技术架构与数据要素跨域安全流通网络，在保护数据隐私的前提下挖掘数据价值，最终实现数据要素的跨域安全流通。未来发展还应通过“技术+管理”的双创新来促进数据要素市场的健康发展。     

时空轨迹数据驱动的自动驾驶场景元建模方法

时空轨迹数据驱动的汽车自动驾驶场景建模,是当前汽车自动驾驶领域中驾驶场景建模、仿真所面临的关键问题,对于提高系统的安全性具有重要研究意义.近年来,随着时空轨迹数据建模及应用研究的快速发展,时空轨迹数据应用于特定领域建模的研究引起人们的广泛关注.但由于时空轨迹数据所反映现实世界的多元性和复杂性以及时空轨迹数据的海量、异构、动态等特点,基于时空轨迹数据驱动的安全攸关场景建模的研究仍面临着挑战,包括：统一的时空轨迹数据元模型、基于时空轨迹数据的元建模方法、基于数据分析技术的时空轨迹数据处理、数据质量评价等.针对汽车自动驾驶领域的场景建模需求,我们提出一种基于MOF元建模体系构建时空轨迹数据的元建模方法,根据时空轨迹数据的特征及自动驾驶的领域知识,构建了面向汽车自动驾驶的时空轨迹数据元模型;并基于此,提出基于时空轨迹数据元建模技术体系的自动驾驶安全场景建模方法,并使用场景建模语言ADSML实例化安全场景,构建安全场景库,旨在为此类系统的安全关键场景建模提供一种可行的方案.结合变道超车场景的案例,展示了时空轨迹数据驱动的自动驾驶安全场景元建模方法的可用性,为场景模型的构建、仿真、分析奠定了基础.     

面向特征的物流信息自律集成

针对因物流迅速发展带来的各类相关系统的异质数据集成和有效利用问题,提出了一种基于自律分散系统理论的信息特征服务集成框架模型,构建了信息的特征表述模式,设计了基于特征的消息驱动机制,定义了消息的特征模式、匹配机制,设计了基于自律分散系统的集成模式.结合企业实际,给出了以Web服务管理为核心,以特征服务为驱动的物流企业信息管理集成框架实例.     

智能化煤矿数据治理体系与关键问题研究

智能化煤矿数据治理是实现煤矿智能化建设高阶段发展目标的关键瓶颈,对于确保数据运营合规、保障数据质量、防控数据风险、提升数据价值具有重要意义,但目前缺乏完善的方法论体系指导智能化煤矿数据治理的理论研究和技术实践。针对该问题,从数据治理要素、治理机制、治理层次和治理过程4个维度构建智能化煤矿数据治理要素-机制-层次-过程参考模型,提供多维度融合的方法论视角和理论分析逻辑,达成对关键问题的认识。分析得出复杂系统理论、数据战略管理理论、协同创新理论、数字连续性理论、公共治理理论、信息生命周期理论、PDCA循环理论是智能化煤矿数据治理重要的理论基础。在智能化煤矿数据治理参考模型的指导下,基于相关理论基础,构建包括数据治理环境、驱动与保障因素、顶层设计、数据治理域、数据治理过程与能力5大组成部分的智能化煤矿数据治理体系框架。对标智能化煤矿数据治理体系框架,得出智能化煤矿数据治理尚需进一步突破数据价值运动规律揭示、元数据与数据字典构建、数据质量和数据安全体系管理规则设计、复杂巨系统数据耦合模型开发和数字智慧发生规律建模等5个方面的关键问题。     

大规模接警日志语义时空模式交互探索

接警日志包含时间、空间和案件描述信息,属于非结构时空数据.与时空社交媒体相比,接警日志的数据项之间存在较少的联系,数据项之间不能形成复杂网络关系,在挖掘其数据模式时难以提供有价值的线索,因此,其分析更加依赖于其中的语义挖掘和语义时空模式探索.针对这一问题,提出了一个可视分析框架支持对大规模非结构接警日志时空模式的交互探索.首先,提出了一种基于主题模型集成的方法,实现从异构文本中抽取主题;其次,该框架包含一个数据立方体,实现快速响应用户的查询请求;第三,设计并实现了一个可视化交互系统,支持对数据立方体的可视化交互探索.最后,使用国内某城市真实接警日志进行实验,找到的丰富的模式和主题预测准确性证明了方法的有效性.     

大数据随机样本划分模型及相关分析计算技术

设计了一种新的适用于大数据的管理和分析模型——大数据随机样本划分（Random sample partition,RSP）模型,它是将大数据文件表达成一系列RSP数据块文件的集合,分布存储在集群节点上。RSP的生成操作使每个RSP数据块的分布与大数据的分布保持统计意义上的一致,因此,每个RSP数据块是大数据的一个随机样本数据,可以用来估计大数据的统计特征,或建立大数据的分类和回归模型。基于RSP模型,大数据的分析任务可以通过对RSP数据块的分析来完成,不需要对整个大数据进行计算,极大地减少了计算量,降低了对计算资源的要求,提高了集群系统的计算能力和扩展能力。本文首先给出RSP模型的定义、理论基础和生成方法;然后介绍基于RSP数据块的渐近式集成学习Alpha计算框架;之后讨论基于RSP模型和Alpha框架的大数据分析相关计算技术,包括：数据探索与清洗、概率密度函数估计、有监督子空间学习、半监督集成学习、聚类集成和异常点检测;最后讨论RSP模型在分而治之大数据分析和抽样方法上的创新,以及RSP模型和Alpha计算框架实现大规模数据分析的优势。     

基于数据中台的高校数据服务体系及快速应用构建研究

针对目前高校在数据集成、数据治理和数据服务等方面的问题,提出了基于数据中台的解决方案,在数据的采集和加工处理中引入数据湖、主题层和专题层,并对数据中台的整体架构设计、中台内数据的分层设计、数据模型的构建、数据服务体系的设计进行了详细阐述;对基于数据中台的快速应用构建,提出了采用大中台、微服务的系统建设方式,通过对系统进行解构,重新根据不同业务逻辑进行模块化组装,实现快速灵活构建业务系统。经过实际案例验证,该研究对于高校如何建设数据中台以及如何在中台上开展各类数字应用建设提供了很好的范例。     

煤炭大数据研究及发展方向

介绍了煤炭大数据的来源及特征,分析了当前煤炭大数据应用现状;阐述了煤炭大数据平台化发展对于煤炭大数据应用的意义,分析了煤炭大数据平台建设过程中在数据共享、数据质量、安全性、专业人才等方面存在的问题,提出建设煤炭大数据平台应进行顶层设计、完善煤炭数据标准体系、培养专业人才、合理设计平台框架。     

模型驱动的大数据流水线框架PiFlow

复杂流程的大数据处理多依托于流水线系统，但大数据处理的流水线系统在易用性、功能复用性、扩展性以及处理性能等方面存在不足。针对上述问题，为提高大数据处理环境的构建与开发效率,优化处理流程，提出了一种模型驱动的大数据流水线框架PiFlow。首先，将大数据处理过程抽象为有向无环图；然后，开发一系列组件用于构建数据处理流水线，并设计了流水线任务执行机制。同时，为规范和简化流水线框架的描述，设计了基于模型驱动的大数据流水线描述语言——PiFlowDL，该语言以模块化、层次化的方式对大数据处理任务进行描述。PiFlow以所见即所得(WYSIWYG)的方式配置流水线，集成了状态监控、模板配置、组件集成等功能，与Apache NiFi相比有2~7倍的性能提升。     

学生综合素质评价的用户画像构建研究

提升职业院校学生综合素质评价的科学性与准确性,是建设现代职业教育体系的必然要求。文章按照学生综合素质评价体系的要素,采集学生在校期间产生的海量数据,并对海量数据清洗、交换和集成。通过标签定义和模型特征构建,实现基于学生思想品德、身心素质、学业水平、实践能力、职业能力和指标评价的用户画像模型。该模型的构建为学生综合素质评价的方法、过程、反馈提供了新思路和新方法。     

基于SDO的数据集成平台研究

数据集成可有效地解决异构数据间的共享问题;目前,数据集成主要有3类解决方案:数据仓库、联邦数据库、中间件/包装器方法,这些解决方案存在着数据获取与数据使用紧密耦合的问题,如何对其进行解耦合是当前研究的重点;文章分析了SDO概念特征及其体系结构,设计了基于SDO的数据集成平台的框架,实现了数据集成平台中涉及的关键技术;实践表明,通过引入服务数据对象编程框架,可有效地降低数据获取业务与数据使用业务的紧耦合性.     

基于特征选择集成学习的军事体育训练成绩分析

针对当前军事体育训练智能化发展现状,在研究现有军事体育训练体系基础上,结合特征选择集成学习模型一般步骤,建立基于特征选择集成学习的军事体育训练成绩分析模型.模型按照军事体育训练成绩的数据规范化准备,按照身体素质建立特征子集和基学习器,按动态权值构建集成学习模型三步完成模型构建.通过试点应用,在历史训练数据发现集成学习模...     

Web大数据环境下的不一致跨源数据发现

Web中不同数据源之间的数据不一致是一个普遍存在的问题,严重影响了互联网的可信度和质量.目前数据不一致的研究主要集中在传统数据库应用中,对于种类多样、结构复杂、快速变化、数量庞大的跨源Web大数据的一致性研究还很少.针对跨源Web数据的多源异构特性和Web大数据的5V特征,将从站点结构、特征数据和知识规则3个方面建立统一数据抽取算法和Web对象数据模型;研究不同类型的Web数据不一致特征,建立不一致分类模型、一致性约束机制和不一致推理代数运算系统;从而在跨源Web数据一致性理论体系的基础上,实现通过约束规则检测、统计偏移分析的Web不一致数据自动发现方法,并结合这两种方法的特点,基于Hadoop MapReduce架构提出了基于层次概率判定的Web不一致数据的自动发现算法.该框架在Hadoop平台上对多个B2C电子商务大数据进行实验,并与传统架构和其他方法进行了比较,实验结果证明该方法具有良好的精确性和高效性.     

面向模具企业数据集成的事件驱动ESB框架研究*

分析了模具企业信息共享与数据集成的需求与特点,结合面向服务思想和事件驱动架构,提出了一种事件驱动型企业服务总线（enterprise service bus,ESB）框架;阐述了该框架的运行原理及实现技术,并在此框架基础上实现了基于SOA的模具企业设计制造集成平台数据集成服务。该框架满足模具企业事件驱动的业务特征,并采用总线式的集成模式和异步消息的方式,松散耦合地集成各种应用系统及数据,降低了应用集成的难度和成本,为中小型制造企业解决数据集成问题提供了新的方案。     

基于Solr的司法大数据检索模型研究与实现

围绕司法领域信息要素的高维性特征以及司法信息要素间的紧耦合性特征,针对司法数据检索技术中由高维信息要素间的紧耦合性导致的检索效率问题,研究和实现了一个基于Solr的司法大数据检索模型。该模型采用Solr超级集群作为数据索引库,采用HBase集群作为数据存储库,通过引入数据与索引分离、redis缓存、动态参数调整、动态cache释放等设计思路,实现了一个高效、可靠、可扩展的司法大数据检索模型。