基于多源地理大数据的城市空间结构研究

以东莞市主城区为研究区,利用夜光遥感数据、POI数据与手机定位强度数据,采用核密度分析、数据格网化与双因素组合制图方法,获得3种数据空间耦合相同或相异区域,并比较其与城市空间结构的关系.研究表明,3种数据的空间分布趋势总体一致,部分区域出现空间耦合相异:①受交通、功能区与夜光遥感数据的"溢出"效应等因素影响,城市道路、...     

浅谈大数据在智慧城市研究与规划中的应用

目前随着全球范围内掀起的技术革新浪潮,这股浪潮也在全球的城市中产生了深远的影响,西方国家是在这股浪潮席卷下最先受益,纷纷依照大数据技术建立了智慧型城市,改善了城市的体验.而我国在这股浪潮的席卷下,也开始进行了如火如荼的国内智慧城市的建设.同时伴随着大数据元年到来,智慧城市建设是以此为基础的,所以如何利用好大数据、挖掘出大数据中的潜在价值,帮助完善城市建设,具有非常高的价值和意义,在未来,全球范围内最大化的开发、利用、不断完善城市建设的价值,使得城市实现真正的“智慧”.     

大数据环境下多源异构数据的访问控制模型

大数据平台具有开放性和共享性，但随着数据量不断增加且用户访问上下文环境复杂多变，RBAC模型难以满足大数据环境下细粒度、灵活的访问控制。针对这一问题，提出了大数据平台下多源异构数据的访问控制模型。该模型根据属性动态地确定角色权限，并构建基于数据组的层次结构，实现数据属性的简单管理。对该模型进行了形式化定义，阐述了在 Hadoop 平台中的实现和工作流程，并通过实验验证了所提方案的性能开销相对较小。     

大数据环境下的多源数据演化更新研究

大数据环境下的多源数据呈现出数据量大、数据种类多、数据变化快的特点,这些特点对数据更新提出了新的挑战。通过分析大数据下多源数据的特点,定义了演化数据的概念,基于此建立了大数据的动态变频遍历更新模型。首先通过抽象数据的演化方式,建立了演化数据的势与稳定性概念,从而推导出更一般的代数意义上的演化运算工具;其次通过将运算工具导入大数据数据更新的实际应用中,推导出基于概率的变频遍历与动态权值模型;最后通过实验验证了在大数据环境下动态变频遍历模型(Dynamic Frequency Conversion Traversal,DFCT) 对多源数据具有较高的更新效率。     

网络大数据:现状与展望

网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇.因此,迫切需要探讨大数据的科学问题,发现网络大数据的共性规律,研究网络大数据定性、定量分析的基础理论与基本方法.文中分析了网络大数据的复杂性、不确定性和涌现性,总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状,并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望.     

地理社会网络数据可视化分析研究综述

随着移动互联网与社会网络的深度融合,基于位置服务(Location Based Service,LBS)的社交媒体应用更加流行,成为地理社会网络(Geo-Social Networks,GSN)的研究重点。基于位置信息的社会网络(Location Based Social Network,LBSN)由于具有时空特性,其海量数据可视化不同于传统信息可视化,必须结合其地理信息特征进行表达。该文以GSN中抽取出的海量时空数据为分析对象,从LBSN时空数据抽取、海量时空数据可视化等方面进行综述,对地理社会网络时空数据交互可视化分析技术开展研究,以期能够实现比较方便、快速、直接地从地理社会网络的海量数据中提取出有用、可靠、可知识化的综合信息,并通过信息可视化方式进行直观表达、展示与分析。     

大数据环境下的城市计算及其应用

介绍城市计算的技术内涵、数学模型及研究方法。包括数据流、图数据模型和排队论以及传感技术、城市数据管理、城市环境异构数据可视化等技术。并指出当前国内外的研究热点课题以及城市计算的应用和面临的挑战。     

基于电力企业大数据环境下的数据治理研究

随着大数据技术的不断成熟,大数据环境下数据治理工作对企业数据资产管理提出更高的要求。大数据时代,数据即为资产,且数据呈现出新的特点,即需要处理的数据量更大,需要处理的数据种类更多,数据产生和变化的速度更快。电网大数据具有多样性、一源共享、多源多标准、业务连动性等特点,如何针对全局数据的可用性、完整性、安全性和可用性进行全面管理,利用电网海量生产、运行数据从而产生实际的应用价值并且使得结构化和非结构化的信息价值最大化,已成为迫切需要解决的问题。本文针对数据分析问题,设计并实现一种完善的大数据调度管理平台,来满足可扩展的、分布式的、支持异构分析工具的、面向服务的大数据的要求,加快数据分析速度,为企业管理提供更好的服务。     

大数据背景下动态共乘的研究进展

共乘也被称为“合乘”、“拼车”、“顺风车”,通过有效整合运力资源减少路上行驶车辆数量,对缓解交通拥堵、降低出行费用、减轻环境污染都有重要意义.大数据背景下实时更新的车辆位置信息数据、城市交通数据、社交网络数据,为智能出行特别是共乘带来了全新的发展机遇.在车辆行驶中对乘客请求进行实时匹配的动态共乘,是大数据背景下智能出行发展趋势的代表.在统一归纳了解决动态共乘实时性的Filter and Refine框架基础上,介绍了动态共乘的各种类型;针对大数据背景下动态共乘问题遇到的问题,对Filter步骤中预先计算可行解、建立动态空间索引、基于请求分组预处理及并行优化方法,Refine步骤中简化计算模型、采用新型数据结构、利用启发式算法等优化方法进行了详细介绍;然后对大数据背景下保证动态共乘系统的价格机制、信用体系和人机接口等相关技术进行了分析;最后,总结展望了大数据背景下动态共乘中亟待解决的关键问题和未来的研究方向,以期为创造低碳生活、绿色出行,解决环境污染有所启示.     

深度先验图像特征在城市遥感大数据中的应用

图像特征提取始终是计算机视觉和图像处理的核心任务.随着深度学习的快速发展,卷积神经网络逐渐取代传统图像特征算子,成为特征提取的主要算法.本文针对城市遥感数据众包标记系统中的数据关联问题,结合卷积神经网络和池化编码,提出基于深度先验的图像特征提取方法.该特征能有效聚焦室外图像近处物体,并通过图像检索实验验证了其对室外图像的良好表征能力.     

大数据概念辨析及应对措施

首先介绍大数据的概念及其意义,指出大数据会给未来的社会生活带来深远影响。接着对大数据涉及的相关技术进行详细分析,指出需要解决的问题。然后对大数据与云计算进行比较分析,指出两者的异同,同时对如何应对大数据进行探讨,提出相关建议。     

量子算法在大数据时代的应用浅析

量子计算机的提出不仅在计算机领域,而且在物理、通信、材料等很多领域产生了巨大的反响,目前各国都加 入到量子计算机的研发中,量子算法、构建、物理实现等方面都有很多进展。随着信息技术的进步,人们对数据处理的需求和 速率要求变得日益苛刻,在这种背景下,量子技术与大数据处理技术的结合成为突破大数据处理的曙光。     

基于微服务的石油大数据挖掘平台

为推进大数据技术在油田领域的快速融合和应用，提出一种覆盖大数据处理整个生命周期的多功能大数据处理平台。平台融合各类大数据分析框架和机器学习框架，设计面向油田领域，能够支持实时和离线处理的数据挖掘功能。基于Docker容器封装各类计算框架和算法服务，并基于Kubernetes框架完成容器的编排与调度。在系统的架构方式上采用基于微服务的架构方式，将不同技术栈的应用独立分解为单个服务模块，以此来保证业务系统服务的可靠性、可扩展性。这使得企业数据分析人员能够专注于业务数据分析问题，而不必花费大量时间学习框架部署和其他大型数据挖掘技术细节。     

大数据时代下数据挖掘在银行中的应用

当今,随着计算机和网络的飞速发展,人们无论在工作中还是在日常生活中用到计算机的机会越来越多,由此产生的信息量也就越来越巨大,如此巨大的网络信息量,标志着人们已经进入了“大数据”时代。“大数据”时代下的信息具有体量大、高复杂性、增长速度快等特点,从具有如此复杂特性的信息中挖掘出用户所需要的信息,难度比以往要高了许多。特别对于银行这一行业,数据决定着它的未来发展。虽然有些银行可能还没有意识到数据爆炸性增长带来的问题,但是数据对于银行的重要性已经成为业界的共识。数据挖掘作为一种数据处理技术,在现如今数据量巨大的银行业领域中正逐步受到重视。     

一种大数据交互式挖掘框架与实现

在传统的数据挖掘过程中,用户需根据专业知识对数据进行预处理,为模型设定参数后构建模型,通过评估指标判断模型是否可行。该过程的不便性体现在模型以黑盒的方式构建,用户不可见其中间过程,模型产生的结果也不易被理解。在海量数据的环境下,传统数据挖掘过程在预处理时异常数据的定位和模型生成后知识的表达方面都有不便。为了解决传统数据挖掘过程存在的问题,本文提出了一种大数据环境下的交互式数据挖掘框架。该框架使交互贯穿整个数据挖掘的过程,使得用户可以轻松定位异常输入源数据,参与模型训练过程,对模型生成的结果溯源。本文还基于Spark对该框架进行了实现,并在食源性疾病爆发预测场景下验证了其可行性。     

基于绕质心聚类算法的大数据挖掘

针对大数据分析在大规模并行分布式系统和软件平台上可扩展的问题,提出了一个基于无参数围绕质心二进制分裂聚类（clustering using binary splitting,CLUBS）的大数据挖掘技术。该技术以完全无监督的方式工作,基于最小二次距离的准则进行分裂聚类将数据与噪声分离,通过中级精炼来识别仅包含异常值的块并为剩余块生成全面的簇,设计CLUBS的并行化版本以实现对大数据进行快速有效的聚类。实验表明CLUBS并行算法不受数据维度和噪声的影响,且比现有算法具有更好的可扩展性且速度较快。     

基于车牌识别流数据的车辆伴随模式发现方法

针对伴随车辆检测这一新兴的智能交通应用,在一种特殊的流式时空大数据-车牌识别流式大数据下,重新定义Platoon伴随模式,提出PlatoonFinder算法,即时地在车牌识别数据流上挖掘Platoon伴随模式.本文的主要贡献包括：第一,将Platoon伴随模式发现问题映射为数据流上的带有时空约束的频繁序列挖掘问题.与传统频繁序列挖掘算法仅考虑序列元素之间位置关系不同,本文算法能够在频繁序列挖掘的过程中有效处理序列元素之间复杂的时空约束关系;第二,本文算法融入了伪投影等性能优化技术,针对数据流的特点进行了性能优化,能够有效应对车牌识别流式大数据的速率和规模,从而实现车辆Platoon伴随模式的即时发现.通过在真实车牌识别数据集上的实验分析表明,PlatoonFinder算法的平均延时显著低于经典的Aprior和PrefixSpan等频繁模式挖掘算法,也低于真实情况下交通摄像头的车牌识别最小时间间隔.因此,本文所提出的算法可以有效的发现伴随车辆组及其移动模式.