大数据分析中的计算智能研究现状与展望

随着产业界和科学界数据量的爆炸式增长,大数据技术和应用吸引了众多的关注.如何分析大数据,充分挖掘大数据的潜在价值,成为需要深入探讨的科学问题.计算智能是科学研究和工程实践中解决复杂问题的有效手段,是人工智能和信息科学的重要研究方向,应用计算智能方法进行大数据分析具有巨大的潜力.对大数据分析中的计算智能方法进行综述,结合大数据的特征,讨论了大数据分析中计算智能研究存在的问题和进一步的研究方向,阐述了数据源共享问题,并建议利用以天文学为代表的数据密集型基础科研领域的数据开展大数据分析研究.     

网络大数据:现状与展望

网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇.因此,迫切需要探讨大数据的科学问题,发现网络大数据的共性规律,研究网络大数据定性、定量分析的基础理论与基本方法.文中分析了网络大数据的复杂性、不确定性和涌现性,总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状,并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望.     

基于大数据的生物医学信息安全管控平台建设研究

在信息化日益发达的时代,大数据也逐渐走入人们的生活中。基于大数据技术的挖掘和分析应运而生,在生物医学研究和临床诊治中广为应用,且发挥了重大作用。大数据为医学研究和诊疗带来便利的同时,也存在很多问题。在进行数据挖掘和分析过程中,一系列的信息安全问题和病患隐私泄露给生物医学发展带来了新的挑战和风险,也对生物医学研究和诊疗的社会公信产生了冲击。生物医学依托大数据、安全智能和态势感知技术,构建了一个基于大数据平台的生物医学信息安全管控系统。通过大数据技术对信息数据进行挖掘、大数据关联分析、共享和展现,实现更为有效的监督与管理。     

大数据时代下网络信息安全问题研究

科技的不断发展,使一些新的名词走进了人们的生活,成为了人们关注的一个热点.“大数据”就是这样的一个名词.大数据使目前学术界和和普通民众都比较关注的一个问题,造成这一现象的原因主要使两个方面,第一个方面是大数据对于普通民众的生活方式和生活习惯产生了非常巨大的影响:第二个方面的原因是大数据在收集,存储,挖掘,发布的过程中存在着一系列的安全性问题,这些问题给普通民众的财产安全和隐私安全造成了巨大的威胁.本文研究了现阶段大数据运用到的关键技术和成果从而分析了大数据运用过程之中造成信息泄露危机的原因.在本文的讨论之中涉及到了目前世界上最新的信息安全防护技术,论证了在整个社会走向信息化的过程之中,大数据在给我们的生活带来巨大便利的同时也给我们的信息安全带来了巨大的挑战.     

基于Flask的AIS大数据地理信息系统研究与开发

针对AIS大数据的信息挖掘及可视化等相关问题,研究并开发了一款前后端分离的大数据地理信息系统。本文对该系统的整体结构和技术方法进行了介绍,后端的数据和计算服务基于Flask框架,前端界面基于JavaScript语言进行开发,实现了地图基本功能、大数据统计查询可视化以及聚类分析等功能。系统运行结果表明,该系统对于进一步挖掘AIS大数据的内在时空信息及其数据内容提供了重要的保障和技术支持。     

Web架构驱动的石油工业知识挖掘系统

石油工业大数据具有无限潜力与价值,将大数据与数据挖掘技术应用其中,不仅可以提升石油行业工业化水平,而且对石油行业智慧化发展起到强有力地推动作用.由此提出了一个Web架构驱动的、集成了数据挖掘五大模块的新型工业知识挖掘系统-即石油工业数据挖掘系统,包含：数据集管理、预处理算法管理、数据挖掘算法管理以及数据挖掘流程管理和数据结果可视化五大模块.本系统实现了完全自助式的数据提取、数据预处理、数据分析与知识挖掘和结果可视化展示的完整知识挖掘流程.通过以Web的形式满足油田不同层级的用户在不同场景下的即时使用需求,极大提高了系统的灵活性.通过本系统,油田的技术开发人员可忽略大数据的搭建以及其他复杂构建过程,更好的服务于油田数据建模和分析.     

大数据在“智慧校园”中的价值研究

大数据作为一种新的数据管理技术,对当前基于物联网和云计算的“智慧校园”建设有着重要的作用。“智慧校园”作为一个教育实体的信息化建设方向,对大数据的价值挖掘有着新的意义。文章以大数据的定义和传统价值体现为基础,引出大数据在“智慧校园”中的新内涵和价值特点,并分析了大数据在“智慧校园”建设中可能遇到的问题。     

物联网与大数据技术在油田中的融合应用

油气生产过程中产生了大量实时数据,逐年积累形成海量的历史数据,而这些海量数据的价值未能得到充分挖掘。为了充分挖掘这些信息,文章设计了油气生产物联网与大数据技术融合系统。该系统架构将分布式存储、分布式计算和数据智能分析等技术,应用在油气生产过程的数字孪生、注水系统智能化和油井工况实时诊断等。大港某油田的应用表明,设计系统的实际效果良好。     

高校大数据实验室及实验体系的规划与建设

大数据产业已上升至国家战略, 建立大数据实验室及实验课程体系是培养大数据技术人才的必要条件. 本文对大数据的知识体系进行了梳理, 分析了“数据科学与大数据技术”专业和“大数据技术与应用”专业的培养目标及职业定位, 明确了大数据专业的学生应该掌握的关键知识和需要重点培养的专业技能, 介绍了主流的大数据生态系统, 选取了最通用的大数据架构, 提出了在单机环境、单机虚拟化环境、共享大数据集群环境、云计算环境下建设大数据实验室的不同方案, 并设计了大数据实验课程体系及实验项目.     

时空轨迹大数据模式挖掘研究进展

时空轨迹挖掘是数据挖掘领域的前沿研究课题,通过研究和开发时空轨迹挖掘技术,来发现隐藏在轨迹大数据中有价值的规律和知识以供决策支持。本文介绍了时空轨迹大数据模式挖掘与知识发现领域的研究进展;然后对时空轨迹模式挖掘技术产生的背景、应用领域和研究现状作了简介,并探讨了面向时空轨迹大数据模式挖掘的研究内容、系统架构以及关键技术,最后对时空轨迹频繁模式、伴随模式、聚集模式和异常模式的挖掘算法思想进行了阐述。     

大数据隐私保护密码技术研究综述

大数据是一种蕴含大量信息、具有极高价值的数据集合.为了避免大数据挖掘泄露用户的隐私,必须要对大数据进行必要的保护.由于大数据具有总量庞大、结构复杂、处理迅速等特点,传统的保护数据隐私的技术很多都不再适用.从密码学的角度,综述了近年来提出的、适用于大数据的隐私保护技术的研究进展.针对大数据的存储、搜索和计算这3个重要方面,分别阐述了大数据隐私保护的研究背景和主要研究方向,并具体介绍了相关技术的最新研究进展.最后指出未来大数据隐私保护研究的一些重要方向.     

Skill Requirements in Big Data: A Content Analysis of Job Advertisements

The technology behind big data, although still in its nascent stages, is inspiring many companies to hire data scientists and explore the potential of big data to support strategic initiatives, including developing new products and services. To better understand the skills and knowledge that are highly valued by industry for jobs within big data, this study reports on an analysis of 1216 job advertisements that contained “big data” in the job title. Our results are presented within a conceptual framework of big data skills categories and confirm the multi-faceted nature of big data job skills. Our research also found that many big data job advertisements emphasize developing analytical information systems and that soft skills remain highly valued, in addition to the value placed on emerging hard technological skills.     

安徽气象为农服务大数据平台设计与应用

从安徽省气象为农信息服务的个性化、精准化、智能化需求出发,采用Hadoop架构、自然语言处理、相关度分析、大数据可视化等大数据和人工智能相关技术,研发安徽省气象为农服务大数据平台。汇集安徽省多部门涉农数据资源,通过建立用户行为画像、网络服务热点的预测,开展精准化的服务产品相关性推荐服务,并跟踪评估信息服务产品的网络传播服务效果,指导后续关键农时农事建议和决策服务产品的研发与制作,同时建立气象为农服务大数据展示系统,探索实现气象为农信息服务从“人找信息”到“信息找人”的转变。该平台已在安徽气象为农业务服务中应用,提升了服务能力,具有较好的行业知名度和社会影响力。     

大数据环境下的电子数据审计:机遇、挑战与方法

电子数据审计的研究与应用是近年来审计领域的热点问题。大数据时代的到来给电子数据审计带来了机遇与挑战。首先阐述了研究大数据环境下电子数据审计的重要性;然后分析了电子数据审计的内涵及原理;在此基础上,重点研究了大数据环境下电子数据审计面临的机遇与挑战,并结合大数据的特点以及目前已有的大数据分析技术与工具,探讨了大数据环境下开展电子数据审计的方法;最后给出了大数据环境下开展电子数据审计的相关建议。研究结果为今后大数据环境下开展电子数据审计提供了理论基础。     

面向电力大数据的异构数据混合采集系统

随着智能电网的快速发展,电力系统数据量的增长也非常迅速,电力大数据急待开展深入研究.电力数据产生的速率跨度大,数据源众多且交互方式繁杂,数据种类繁多等特点,已有大数据采集方式难以适应多源异构数据的混合采集应用场景.本文针对电力大数据提出了新的解决方案,通过混合数据采集模型和采集集群实现了对异构数据源采集任务的混合调度和管理;通过数据置信度标签技术,在保留原始数据的同时,标示数据的质量,为后续大数据分析应用提供了便利;通过Sqoop、Kafka、文件传输等方式将采集与处理后的数据提交给大数据平台存储.系统已经在用户现场部署并投入使用,运行稳定,效果良好.     

生物医疗健康大数据应用支撑平台与关键技术

随着生物信息学的不断发展,生物医学领域积累了大量的数据,大数据已经贯穿基础研究、临床诊断、医药开发、健康管理等生物医学领域的各个环节。如何有效存储、管理、分析这些海量数据面临严峻的而挑战。基于超级计算机的计算分析和存储能力,在生物医学大数据处理的异构融合架构,面向生物医学大数据的层次式存储系统,生物医学大数据处理的异构并行计算和多源数据的汇聚机制与分析方法,突破生物医学大数据的汇聚、存储、分析等方面的关键技术,构建一个计算、分析处理和存储融合平台,以满足多种类型生物医学大数据应用的不同需求。     

大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。     

Big Data

“Big data” describes technologies that promise to fulfill a fundamental tenet of research in information systems, which is to provide the right information to the right receiver in the right volume and quality at the right time. For information systems research as an application-oriented research discipline, opportunities and risks arise from using big data. Risks arise primarily from the considerable number of resources used for the explanation and design of fads. Opportunities arise because these resources lead to substantial knowledge gains, which support scientific progress within the discipline and are of relevance to practice as well. From the authors’ perspective, information systems research is ideally positioned to support big data critically and use the knowledge gained to explain and design innovative information systems in business and administration – regardless of whether big data is in reality a disruptive technology or a cursory fad. The continuing development and adoption of big data will ultimately provide clarity on whether big data is a fad or if it represents substantial progress in information systems research. Three theses also show how future technological developments can be used to advance the discipline of information systems. Technological progress should be used for a cumulative supplement of existing models, tools, and methods. By contrast, scientific revolutions are independent of technological progress.     

基于大数据的发电量预测分析数据平台建设

现有电力企业发电指标统计渠道较分散,发售配电各个环节产生的数据种类繁杂且体量较大,因此针对电力数据质量差、已挖掘价值低的问题,本文采用大数据预测神经网络和数据平台可视化展示的方法,以某发电企业为研究对象,构建了发电量预测的模型及以此为核心的数据平台。发电量预测的应用服务支持PC和APP端,涵盖了某电力企业所有控股电厂及新能源项目,以滚动预测的模式迭代优化算法模型,提高发电量预测精度,有利于安排生产、燃料采购、物资计划,进一步做好污染物排放预测和管控。平台重点实现了数据多维管理和用户界面的可视化展示。数据层面,从源头做好数据采集清洗和数据库实时数据交互;用户层面,更直观形象展示大数据预测从获取数据、数据分析及预处理、数据训练到预测的四个阶段。     

云环境大数据工作流编排管理系统研究综述

随着大数据分析处理需求日益复杂,分析处理过程的表达需要转变为依据任务以及任务间依赖关系构建的大数据工作流的形式,以实现其结构化、可重复、可控制、可扩展以及自动化执行,大数据工作流的编排管理成为重要的研究课题,云计算环境下资源的异构性使得该问题变得更为复杂。本文首先将云环境下大数据工作流编排管理研究划分为大数据工作流构建、工作流划分、任务调度与执行以及容错处理4个方面,并在此基础上进行综述,列举并介绍各个方面近年来经典的、关注度较高的研究;然后,针对研究中的主流技术进行分类与梳理,对各项研究中提出的方法及其特性、优势、待改进项等方面进行分析;最后,将视角回归至大数据分析处理系统,分类分析各项研究给系统带来的收益。