从知识图谱到数据中台: 华谱系统

针对碎片化的各姓氏家谱数据, 华谱系统通过构建家谱知识图谱的数据中台, 能够解决数据孤岛、烟囱式开发等问题. “数据中台”是一个源自国内的新近技术概念, 在华谱系统建设中, 我们通过家谱知识图谱的构建和应用, 对这个概念进行了正式定义. 基于这个定义和对应的7项核心功能, 本文提出一种用于家谱数据分析的数据中台建设架构Huapu-CP (华谱系统), 并通过该架构详细介绍面向家谱领域的数据中台核心技术, 分析数据中台构建的关键问题.     

一种基于知识图谱的警用统一对象描述模型及其应用

近年来知识图谱应用逐渐从知识分析扩展为对社会实体及其关系的表达,其在知识表示和碎片化知识融合方面的优势特别适用于警用大数据的需求。本文针对公安数据资源特点,提出了一种基于知识图谱的描述模型,用于在公安领域中对关注对象及其关系进行统一的描述,满足不同类型的大数据应用。实践表明该模型能够将海量异构多源数据统一组织,并较好满足多种警用大数据的计算需求。     

面向未来网络的信息-物理融合系统的探讨

随着信息通信技术的发展,信息-物理融合系统已成为相互依存、深度融合的超大规模二元复合网络系统。研究其信息网络框架、体系结构和大数据及碎片化知识的属性,对未来智能电网理论研究和实际工程应用具有重要意义。针对互联网、物联网、大数据知识等引领人类社会进入信息知识大爆炸时代的特征,重点探讨电力信息-物理融合系统所面临的机遇和挑战,未来将呈现新能源并网、电子信息装置比率提升、多能源和多网络融合的发展趋势,从发、输、变、调配用等环节提出了大数据和人工智能知识的应用展望,助力于未来智能电网信息化决策与部署。     

2018碎片化知识融合与应用专题

大数据时代的到来,标志着信息技术已经跨越了数字化与网络化阶段,进入智能化处理阶段。由此引发的一个新的挑战就是知识的碎片化问题,表现为与特定主题相关的知识以文本、图像、视频、音频、图、网页等多模态跨模态的形式分散在多个数据源中,呈现出位置分散、模态多样、结构无序、内容片面、动态依赖的特点,由此造成日趋严重的“学习迷航、认知过载”和“只见树木、不见森林”等问题,成为构建智慧化知识密集型应用的一个瓶颈问题。因此,如何从多源、异质、时变的大数据中分析挖掘碎片化知识并融合成为知识图谱,是提升知识可用性和系统性的基础性关键问题,也是大数据、人工智能、知识自动化等领域面临的共性难题。为此,《计算机研究与发展》推出“碎片化知识融合与应用”专题,介绍在此新领域中的实际案例,交流学术思想和研究成果,促进碎片化知识融合与应用的研究与发展。本期专题得到同行的广泛关注,通过公开征文收到15篇高质量投稿稿件,这些论文围绕不同应用领域阐述了碎片化知识融合与应用的研究成果,展现出大数据挖掘、机器学习、深度学习、知识图谱等方法在破解碎片化知识融合与应用难题方面取得的最新进展和前沿趋势。本专题的审稿严格按照期刊审稿的要求进行,特邀编委先后邀请了二十余位相关领域的专家参与评审,历经初审、复审、终审等阶段,最终遴选出3篇高质量的论文入选本专题。内容涵盖了医疗知识图谱、视觉问答系统等应用,在一定程度上反映了当前国内学者在碎片化知识融合的代表性应用。     

基于专家知识的数据融合技术研究

分析了多传感器数据融合技术的优点和存在的问题,提出了基于专家知识的数据融合方法,给出了数据融合模型,并对数据的采集、融合方法及可行性进行了分析和研究,并结合实例进行了应用说明,基于专家知识的数据融合技术不存在复杂的数学运算和一些难以确定的参量,相对简单,实用性强,可广泛应用于多传感器系统中的数据融合。     

粗糙集和神经网络在数据融合中的应用研究

传感器聚类状态的切换是多传感器数据融合的难点之一,也就是某个传感器在某一时刻应该向哪个方向融合数据的问题。文中采用粗糙集进行知识的获取,把1天内的54个传感器的可融合典型聚类分布作为数据样本空间形成决策表———"数据-融合分布"决策表;然后对一个月内的数据运用粗糙集的知识约简算法,去除冗余的属性和样本;根据神经网络聚类分析方法,形成多传感器数据的融合分布规则。仿真结果表明该模型的分类效率较好、实现传感器聚类分布的判断较快速。     

高效物联网虚假数据融合结果检测机制

数据融合(data fusion)是物联网数据传输和处理的关键步骤之一,在传输过程中提前汇总和处理中间数据,仅将逐层融合的结果发送到应用层,有效降低了中间节点的功耗和负载.然而,在这一过程中,各节点没有保存被融合数据,因此,无法发现和定位针对数据融合结果的数据伪造或篡改攻击.为了杜绝这一安全隐患,提出一种高效的物联网数据融合安全检验机制,通过对数据融合过程建模,发现并刻画被输入数据和融合结果之间的联系,并利用这一模型发现异常的数据融合结果,杜绝恶意数据融合,优化物联网传输安全.首先,在节点/网络的输入端和输出端分别进行数据收集,构建了基于被融合数据的特征压缩摘要机制,提升了数据收集效率并优化了节点资源消耗;其次,提出了基于概率图概率模型的数据融合模型,描述被融合数据和融合结果的时空域关系,并基于这一模型高效检测异常数据融合结果.实验结果表明：所提出的方法能够高效、准确地发现恶意数据融合操作,优化物联网传输安全.     

大数据驱动的创新方法论与创新服务平台

[目的]本文提出了一种大数据驱动的创新方法论并研制了大数据驱动创新服务平台.[应用背景]针对大众创新过程中,难以应用系统化的创新方法,难以处理信息碎片化等问题.[方法]基于大数据技术和众智汇聚的思想;以多源创新数据的跨界融合为基础,构建创新方法大数据和创新知识图谱;通过社会化公众参与和互动反馈,形成汇聚众智的创新模式;...     

基于知识图谱的多源异构信息通道耦合技术研究

政务数据资源来源广泛、类型多样、数据量大且分布情况不清晰,缺乏统一管理,数据获取和使用效率较低,无法持续释放数据价值。为解决上述问题,实现不同来源和不同类型数据的关联融合,该文采用多源异构数据融合技术,为政务数据的交换和共享提供技术支持。该文不仅提出了信息通道和通道耦合的概念,还提出一种基于知识图谱的多源异构信息通道耦合的方法,可先实现多源异构数据统一化,再进行数据融合。该方法包括构建初始通道耦合知识图谱、基于通道耦合知识图谱实现通道数据耦合和基于通道耦合知识图谱实现知识更新 3 个模块。基于知识图谱的多源异构信息通道耦合的方法将图谱构建、知识抽取、知识融合、知识加工、知识更新等技术相结合,通过一种自顶向下的排序检索模型,加快了知识融合和数据检索的速度和准确度。     

一种实时目标跟踪航迹数据融合算法

在研究多传感器的目标跟踪数据融合时,针对算法都需要事先了解数据的一部分先验知识,虽然能够提高数据的跟踪精度,但只能应用到事后的数据分析中.为了使融合中心能在传感器录取目标数据的同时进行跟踪数据的融合处理,数据融合算法必须实现实时性.为了解决数据融合算法在提高精度的同时不需要以先验知识为背景的问题,提出一种利用数据间支持度函数矩阵进行多组数据加权融合的结果来替代滤波测量值进行卡尔曼滤波,并得到多组测量数据的实时动态融合跟踪.仿真结果表明,能够实时跟踪目标,同时数据融合的跟踪精度大大提高.     

融入区块链技术的大数据征信平台的设计与应用研究

信用是一笔无形资产,良好的信用记录不仅可以带来更高的借款成功率和更低的借款利率,还可以让人们享受信用服务带来的便利。未来信用红利将会突显,但也伴随着个人隐私泄露、信用数据篡改、大数据征信商业化的合法边界不明确等问题。为营造一个良性的互联网信用生态环境,首先总结了现有征信平台中存在的问题,探讨并分析了采用新兴技术解决这些问题的可行性;然后融入区块链技术设计了一种辅助未来征信系统的多源数据共享框架;接着以区块链的多源数据共享为基础,应用人工智能、数据挖掘、智能合约等方法建立了多源异构数据融合的大数据征信平台;最后以互联网借贷为例,设计了一款基于大数据征信平台的去中心化借贷应用。     

An improved MPGA-ACO-BP algorithm and comprehensive evaluation system for intelligence workshop multi-modal data fusion

The digital economy is a new economic form taking data as an important production factor and digital and intelligent technology as a driving force for transformation. The core idea is to extract and fuse the knowledge implicit in data and transform it into intelligence to drive the transformation of traditional manufacturing industries, and one of its key technologies is multi-modal data fusion. In this paper, an improved MPGA-ACO-BP algorithm is proposed, and combined with an improved entropy-weighted TOPSIS method comprehensive evaluation system, which effectively solves the problem of “data scale inconsistency” between modal data leading to difficult model fusion and fusion accuracy. Finally, the validity of the theory and methods of this paper are verified using the example of multi-modal data fusion tool wear prediction in an intelligence workshop. By distilling the corresponding evaluation metrics inductively, the improved comprehensive evaluation system in this paper can also be extended to different production control scenarios to provide them with the corresponding integration information, which has a certain practical value.     

遥感大数据研究现状与发展趋势

目的 遥感数据空间分辨率、时间分辨率、光谱分辨率以及辐射分辨率不断提高,数据类型也不断增加,从航天、航空、临近空间等遥感平台所获取的遥感数据量急剧增加,遥感数据已经具有明显的大数据特征。本文旨在从系统应用的角度分析遥感大数据处理中涉及的关键技术与问题,为相关研究人员提供有价值的参考。方法 在参考大量文献的基础上,首先阐明遥感大数据的特点。其次,从GPU硬件加速、集群、网格、云计算、云格、复杂高性能计算等角度介绍了遥感大数据处理系统。再次,从分布式集群化存储技术等,分析了遥感大数据处理的关键技术。最后,从遥感大数据的多类不确定性、信息融合、机器学习、分析平台等出发,说明了目前研究存在的问题;从遥感大数据多类不确定性建模,面向遥感大数据的机器学习方法等角度说明了遥感大数据发展的趋势。结果 本文详细梳理了遥感大数据的特点、典型的处理系统、核心技术,力图总结出在实际应用与学术研究中该领域需要解决的关键问题以及未来的发展趋势。结论 大数据技术为遥感数据挖掘与知识获取带来了机遇与挑战,面向大数据的机器学习、数据统一分析框架、面向大数据的信息深度融合等问题的突破,将促进遥感知识挖掘的进一步发展。     

知识图谱研究综述及其在医疗领域的应用

随着医疗大数据时代的到来,知识互联受到了广泛的关注.如何从海量的数据中提取有用的医学知识,是医疗大数据分析的关键.知识图谱技术提供了一种从海量文本和图像中抽取结构化知识的手段,知识图谱与大数据技术、深度学习技术相结合,正在成为推动人工智能发展的核心驱动力.知识图谱技术在医疗领域拥有广阔的应用前景,该技术在医疗领域的应用研究将会在解决优质医疗资源供给不足和医疗服务需求持续增加的矛盾中产生重要的作用.目前,针对医学知识图谱的研究还处于探索阶段,现有知识图谱技术在医疗领域普遍存在效率低、限制多、拓展性差等问题.首先针对医疗领域大数据专业性强、结构复杂等特点,对医学知识图谱架构和构建技术进行了全面剖析;其次,分别针对医学知识图谱中知识表示、知识抽取、知识融合和知识推理这4个模块的关键技术和研究进展进行综述,并对这些技术进行实验分析与比较.此外,介绍了医学知识图谱在临床决策支持、医疗智能语义检索、医疗问答等医疗服务中的应用现状.最后对当前研究存在的问题与挑战进行了讨论和分析,并对其发展前景进行了展望.     

科学大数据管理：概念、技术与系统

近年来,随着越来越多的大科学装置的建设和重大科学实验的开展,科学研究进入到一个前所未有的大数据时代.大数据时代科学研究是一个大科学、大需求、大数据、大计算、大发现的过程,研发一个支持科学大数据全生命周期的数据管理系统具有重要的意义.分析了研发科学大数据管理系统的背景,阐述了科学大数据的概念和三大特征,通过对科学数据资源发展和科学数据管理系统的研究进展进行综述分析,提出了满足科学数据管理全生命周期的科学大数据管理框架,并从数据融合、数据实时分析、长期存储、云服务体系以及数据开放共享机制5个方面分析了科学大数据管理系统中的关键技术.最后,结合科学研究领域展望了科学大数据管理系统的应用前景.     

基于相似连接的多源数据并行预处理方法

大规模网络环境和大数据相关技术的发展对传统数据融合分析技术提出了新的挑战。针对目前多源数据融合分析过程灵活性差、处理效率低的问题，提出了一种基于相似连接的多源数据并行预处理方法，该方法采用了分治和并行的思想。首先，通过对多源数据中的相似语义进行统一、对个性语义进行保留的预处理方法提高了灵活性；其次，提出了一种改进的并行MapReduce框架，提高了相似连接的效率。实验结果表明，所提方法在保证数据完整性的基础上，使总的数据量减小了32%。与传统的MapReduce框架相比，改进后的框架在耗费时间方面减小了43.91%，因此该方法可以有效提高多源数据融合分析的效率。     

一种新的智慧城市数据共享和融合框架——SCLDF

智慧城市是物联网、云计算、移动网络、大数据等为代表的信息技术与城市化发展相结合的产物.如何有效地实现对智慧城市中海量、异构、多源数据的数据共享和融合是智慧城市必须要解决的核心问题.首先分析了传统数据融合技术的特点,然后阐述了当前可以用来解决智慧城市大数据共享和融合问题的技术.在此基础上提出了一种新的智慧城市数据共享和融合框架——智慧城市数据互联框架(smart city linked data framework),并详细阐述了其总体架构以及架构中每层的作用、关键技术和需要解决的问题,最后详细阐述了数据语义标注标签和数据互联层相关问题.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

食品安全大数据的融合及分类技术综述

食品是人们赖以生存和发展的基本物质基础,食品安全不仅仅关乎广大消费者的切身利益,甚至关系到国家经济的稳步发展和社会的繁荣昌盛。食品安全大数据具有数据容量大、来源多样、更新速度快、价值密度低却应用价值大的特点,通过将多源的食品安全大数据进行融合及分类并行处理可以帮助人们实现更多的价值。对食品安全大数据融合及分类技术进行了综述。首先,总结了食品安全大数据的来源特征以及数据处理关键技术,阐述了食品安全大数据预处理过程,分析了食品安全大数据融合三种融合层次以及融合关键技术,介绍了食品安全大数据的并行计算模式;然后,归纳了并行分类算法以及几种常见的分类算法,如朴素贝叶斯、决策树、神经网络等;最后,对食品安全大数据做出总结和展望。