从知识图谱到数据中台: 华谱系统

针对碎片化的各姓氏家谱数据, 华谱系统通过构建家谱知识图谱的数据中台, 能够解决数据孤岛、烟囱式开发等问题. “数据中台”是一个源自国内的新近技术概念, 在华谱系统建设中, 我们通过家谱知识图谱的构建和应用, 对这个概念进行了正式定义. 基于这个定义和对应的7项核心功能, 本文提出一种用于家谱数据分析的数据中台建设架构Huapu-CP (华谱系统), 并通过该架构详细介绍面向家谱领域的数据中台核心技术, 分析数据中台构建的关键问题.     

一种基于知识图谱的警用统一对象描述模型及其应用

近年来知识图谱应用逐渐从知识分析扩展为对社会实体及其关系的表达,其在知识表示和碎片化知识融合方面的优势特别适用于警用大数据的需求。本文针对公安数据资源特点,提出了一种基于知识图谱的描述模型,用于在公安领域中对关注对象及其关系进行统一的描述,满足不同类型的大数据应用。实践表明该模型能够将海量异构多源数据统一组织,并较好满足多种警用大数据的计算需求。     

面向未来网络的信息-物理融合系统的探讨

随着信息通信技术的发展,信息-物理融合系统已成为相互依存、深度融合的超大规模二元复合网络系统。研究其信息网络框架、体系结构和大数据及碎片化知识的属性,对未来智能电网理论研究和实际工程应用具有重要意义。针对互联网、物联网、大数据知识等引领人类社会进入信息知识大爆炸时代的特征,重点探讨电力信息-物理融合系统所面临的机遇和挑战,未来将呈现新能源并网、电子信息装置比率提升、多能源和多网络融合的发展趋势,从发、输、变、调配用等环节提出了大数据和人工智能知识的应用展望,助力于未来智能电网信息化决策与部署。     

基于人工智能的自然长寿人群生命信息系统建模

以中国新疆和田地区维吾尔自然长寿人群为例，探索一种基于人工智能(artificial intelligence，AI)的生命信息系统新的建模方法．在建模过程中，由于引入人工智能和数据融合技术，能够高效地提取隐藏于复杂数据中对生命起关键作用的因素，因此成功地建立了一个既非语言表达也非数学公式描述的隐式的自然长寿人群的人工智能模型．此人工智能模型不但更接近实际，而且具有判别、预见等超前功能．该模型可修改、可移植．     

基于模型驱动的数据映射技术设计与实现

根据模型驱动的软件开发方法和核心思想,设计实现对数据映射关系进行独立、统一描述的映射词典元模型.结合映射词典提出了一个基于模型驱动的集成异构数据模型的解决方案.给出了基于模型驱动的数据映射技术,完成异构数据集成中的应用框架.在此基础上,详细介绍了应用框架中异构数据集成的实现.     

无线传感器网络数据融合体系结构综述

从无线传感器网络数据融合的特点和研究现状出发,分析了数据融合与网络协议层之间的联系,并阐述了数据融合在各层中发挥的作用。对数据融合的分类模型进行了较为系统的讨论,并对分层模型的具体细节进行了分析,指明了数据融合在该框架中的层次定位、功能分配及传输形式,为无线传感器网络高效的管理方法和有效的能源利用率提供参考。     

传感器网络中基于移动代理的数据融合方法研究

在传感器网络中采用移动代理来进行数据融合是一个新颖的思路,它与传统的数据融合方法相比拥有诸多优势,有必要为数据融合设计一种基于移动代理的计算模型,使得移动代理在传感节点间迁移的同时能够进行有效的数据融合.我们对基于移动代理的数据融合方法进行了深入的探索,设计了基于移动代理的数据融合框架,提出了一种与移动代理路由紧密结合的按分辨率并行量化交叠的数据融合算法--PQOR,并将其成功地运用到目标分类识别的应用场景中.仿真结果表明:与传统的数据融合算法相比,PQOR能够以较小的代价达到应用的要求,其优势随着网络节点规模的增长更为明显.     

分布式入侵检测中的数据融合模型

针对传统的入侵检测系统存在的误警率高、存在告警洪流、告警孤立等缺点,引入了数据融合方法,提出了一个分布式入侵检测中的数据融合模型。该模型对告警进行分类,采用D-S理论对多IDS告警进行融合,基于前提和后果的方法对告警进行关联,最后量化系统受威胁程度,提供了一个解决上述问题的框架和方法。     

一种新的智慧城市数据共享和融合框架——SCLDF

智慧城市是物联网、云计算、移动网络、大数据等为代表的信息技术与城市化发展相结合的产物.如何有效地实现对智慧城市中海量、异构、多源数据的数据共享和融合是智慧城市必须要解决的核心问题.首先分析了传统数据融合技术的特点,然后阐述了当前可以用来解决智慧城市大数据共享和融合问题的技术.在此基础上提出了一种新的智慧城市数据共享和融合框架——智慧城市数据互联框架(smart city linked data framework),并详细阐述了其总体架构以及架构中每层的作用、关键技术和需要解决的问题,最后详细阐述了数据语义标注标签和数据互联层相关问题.     

基于链接实体回放的多源知识图谱终身表示学习

知识图谱存储大量的结构化知识和丰富的语义信息,已被广泛应用于知识驱动的智能软件.随着智能应用的不断发展,它们对知识图谱的需求也在发生变化.而单一知识图谱往往具有数据不完备等缺点,难以满足需求.因此,支持新数据来源、融合多源知识已经成为迫切需求.传统的知识图谱表示学习和应用范式只考虑单一图谱,忽视了不同图谱间的知识迁移.多源知识图谱联合训练虽然可以带来性能提升,但不支持新增知识图谱的拓展表示学习.鉴于此,提出了多源知识图谱终身表示学习的新范式.给定一个知识图谱序列,终身表示学习的目标是在学习新知识图谱的同时,从已学习的知识图谱与模型中获得知识迁移.为实现这一目标,提出了一个基于链接实体回放的多源知识图谱终身表示学习框架.首先,设计一个以Transformer为编码器的知识图谱表示学习模型作为框架核心,利用关系相关性进行实体的链接预测.其次,提出链接子图构造方法,基于实体对齐构建并回放新增知识图谱和已有知识图谱之间的链接子图进行终身学习和知识迁移.最后,采用动态结构方法,为每个知识图谱存储相应的模型参数快照来避免灾难性遗忘.多个链接预测基准数据集上的实验结果表明,所提出的表示学习模型可以取得最先进的性能,且提出的终身表示学习框架可以实现有效的知识迁移.     

融入区块链技术的大数据征信平台的设计与应用研究

信用是一笔无形资产,良好的信用记录不仅可以带来更高的借款成功率和更低的借款利率,还可以让人们享受信用服务带来的便利。未来信用红利将会突显,但也伴随着个人隐私泄露、信用数据篡改、大数据征信商业化的合法边界不明确等问题。为营造一个良性的互联网信用生态环境,首先总结了现有征信平台中存在的问题,探讨并分析了采用新兴技术解决这些问题的可行性;然后融入区块链技术设计了一种辅助未来征信系统的多源数据共享框架;接着以区块链的多源数据共享为基础,应用人工智能、数据挖掘、智能合约等方法建立了多源异构数据融合的大数据征信平台;最后以互联网借贷为例,设计了一款基于大数据征信平台的去中心化借贷应用。     

An improved MPGA-ACO-BP algorithm and comprehensive evaluation system for intelligence workshop multi-modal data fusion

The digital economy is a new economic form taking data as an important production factor and digital and intelligent technology as a driving force for transformation. The core idea is to extract and fuse the knowledge implicit in data and transform it into intelligence to drive the transformation of traditional manufacturing industries, and one of its key technologies is multi-modal data fusion. In this paper, an improved MPGA-ACO-BP algorithm is proposed, and combined with an improved entropy-weighted TOPSIS method comprehensive evaluation system, which effectively solves the problem of “data scale inconsistency” between modal data leading to difficult model fusion and fusion accuracy. Finally, the validity of the theory and methods of this paper are verified using the example of multi-modal data fusion tool wear prediction in an intelligence workshop. By distilling the corresponding evaluation metrics inductively, the improved comprehensive evaluation system in this paper can also be extended to different production control scenarios to provide them with the corresponding integration information, which has a certain practical value.     

遥感大数据研究现状与发展趋势

目的 遥感数据空间分辨率、时间分辨率、光谱分辨率以及辐射分辨率不断提高,数据类型也不断增加,从航天、航空、临近空间等遥感平台所获取的遥感数据量急剧增加,遥感数据已经具有明显的大数据特征。本文旨在从系统应用的角度分析遥感大数据处理中涉及的关键技术与问题,为相关研究人员提供有价值的参考。方法 在参考大量文献的基础上,首先阐明遥感大数据的特点。其次,从GPU硬件加速、集群、网格、云计算、云格、复杂高性能计算等角度介绍了遥感大数据处理系统。再次,从分布式集群化存储技术等,分析了遥感大数据处理的关键技术。最后,从遥感大数据的多类不确定性、信息融合、机器学习、分析平台等出发,说明了目前研究存在的问题;从遥感大数据多类不确定性建模,面向遥感大数据的机器学习方法等角度说明了遥感大数据发展的趋势。结果 本文详细梳理了遥感大数据的特点、典型的处理系统、核心技术,力图总结出在实际应用与学术研究中该领域需要解决的关键问题以及未来的发展趋势。结论 大数据技术为遥感数据挖掘与知识获取带来了机遇与挑战,面向大数据的机器学习、数据统一分析框架、面向大数据的信息深度融合等问题的突破,将促进遥感知识挖掘的进一步发展。     

基于相似连接的多源数据并行预处理方法

大规模网络环境和大数据相关技术的发展对传统数据融合分析技术提出了新的挑战。针对目前多源数据融合分析过程灵活性差、处理效率低的问题，提出了一种基于相似连接的多源数据并行预处理方法，该方法采用了分治和并行的思想。首先，通过对多源数据中的相似语义进行统一、对个性语义进行保留的预处理方法提高了灵活性；其次，提出了一种改进的并行MapReduce框架，提高了相似连接的效率。实验结果表明，所提方法在保证数据完整性的基础上，使总的数据量减小了32%。与传统的MapReduce框架相比，改进后的框架在耗费时间方面减小了43.91%，因此该方法可以有效提高多源数据融合分析的效率。     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

食品安全大数据的融合及分类技术综述

食品是人们赖以生存和发展的基本物质基础,食品安全不仅仅关乎广大消费者的切身利益,甚至关系到国家经济的稳步发展和社会的繁荣昌盛。食品安全大数据具有数据容量大、来源多样、更新速度快、价值密度低却应用价值大的特点,通过将多源的食品安全大数据进行融合及分类并行处理可以帮助人们实现更多的价值。对食品安全大数据融合及分类技术进行了综述。首先,总结了食品安全大数据的来源特征以及数据处理关键技术,阐述了食品安全大数据预处理过程,分析了食品安全大数据融合三种融合层次以及融合关键技术,介绍了食品安全大数据的并行计算模式;然后,归纳了并行分类算法以及几种常见的分类算法,如朴素贝叶斯、决策树、神经网络等;最后,对食品安全大数据做出总结和展望。     

Multi-source brain computing with systematic fusion for smart health

With the progress of artificial intelligence, big data and functional neuroimaging technologies, brain computing has rapidly advanced our understanding of brain intelligence and brain disorders. We argue that existing data analytical methods have become insufficient for brain computing when dealing with multiple brain big data sources, because such methods mainly focus on flattening strategies and fail to work well for systematic understanding of the constituent elements of cognition, emotion and disease, as well as the intra- and inter-relations within and among themselves. To address this problem, we present in this paper a novel multi-source brain computing platform by Data-Brain driven systematic fusion. First, we formalize a series of behaviors surrounding the Brain Informatics-based investigation process, and present a conceptual model to systematically represent content and context of functional neuroimaging data. Then, we propose the systematic brain computing framework with multi-aspect fusion and inference to understand brain specificity and give uncertainty quantification, as well as its inspiration and applications for translational studies on brain health. In particular, a graph matching-based task search algorithm is introduced to help systematic experimental design and data sampling with multiple cognitive tasks. The study increases the interpretability and transparency of brain computing findings by inferring and testing multiple hypotheses taking into consideration the effect of evidence combination. Finally, multiple sources of knowledge (K), information (I) and data (D) are driven by a KID loop as the thinking space to inspire never-ending learning and multi-dimensional interactions in the connected social–cyber–physical spaces. Experimental results have demonstrated the efficacy of the proposed brain computing method with systematic fusion.     

物联网、大数据及云计算技术在煤矿安全生产中的应用研究

阐述了物联网、大数据及云计算技术的研究现状,指出3种技术之间的关系,即物联网产生大数据,大数据助力物联网;大数据需要云计算,云计算增值大数据。结合煤矿综合自动化的建设发展历程,研究了3种技术在煤矿安全生产保障中的作用和地位,提出了3种技术在煤矿生产安全保障中的关系:物联网是煤矿各个子系统建设的技术框架和路线图,大数据是矿山物联网建设的产物,云计算则是对大数据处理利用的技术手段,并指出基于物联网、大数据及云计算技术的煤矿安全生产监测监控系统将是主动式、多参数融合、具备预警功能的监测监控系统,可有效提升煤矿安全生产水平。     

基于微服务的石油大数据挖掘平台

为推进大数据技术在油田领域的快速融合和应用，提出一种覆盖大数据处理整个生命周期的多功能大数据处理平台。平台融合各类大数据分析框架和机器学习框架，设计面向油田领域，能够支持实时和离线处理的数据挖掘功能。基于Docker容器封装各类计算框架和算法服务，并基于Kubernetes框架完成容器的编排与调度。在系统的架构方式上采用基于微服务的架构方式，将不同技术栈的应用独立分解为单个服务模块，以此来保证业务系统服务的可靠性、可扩展性。这使得企业数据分析人员能够专注于业务数据分析问题，而不必花费大量时间学习框架部署和其他大型数据挖掘技术细节。