大数据相似性连接查询技术研究进展

为了深入理解和全面把握大数据相似性连接查询技术的研究进展，更好地促进其在图片聚类、实体解析、相似文档检测、相似轨迹检索等领域的广泛应用，对大数据相似性连接查询技术相关研究工作进行了深入调研和分析。首先对相似性连接查询的基本概念进行了介绍，然后分别对集合、向量、空间数据、概率数据、字符串等不同类型大数据的相似性连接查询相关研究工作进行了深入研究，对其优缺点进行了分析和总结。最后，指出了大数据相似性连接查询面临的若干挑战性问题及未来的研究重点。     

基于工业互联网背景的大数据平台建设研究

随着信息技术和工业技术的迅猛发展,新型工业化道路应运而生,而工业大数据的平台建设对加快新型工业化道路具有十分重要的意义,本文通过对工业和互联网大数据进行对比分析,结合工业互联网与大数据的特点,阐述了二者之间的内在联系。基于此,提出了工业大数据平台架构以及相关的数据分级处理流程,最后指出了工业大数据平台的应用,包括资产管理、数据管理、数据分析和安全服务,为工业企业提供了平台支持和数据服务。     

基于大数据分析的潜射武器健康状态评估

针对潜射武器健康状态评估中的大数据分析问题,对大数据概念以及特点进行了论述,重点阐述了神经网络、群体智能、相关分析和粒计算四种大数据分析方法的主要思想、应用范围,提出了潜射武器健康状态评估与大数据分析技术相结合的技术路线;指出了当前大数据分析应用存在的存储问题、弱可用性问题、大数据建模问题;最后指出了大数据分析在潜射武器健康状态评估中应用的可行性。     

大数据本科专业申报及认识

从产业发展、数据科学的学科特征、大数据专业与其他相关专业的不同等3个方面,阐述增设大数据本科专业的合理性和必要性;以对外经济贸易大学专业建设为例,指出大数据专业人才应该能够围绕互联网平台上经济金融数据的商业价值进行挖掘并揭示数据间关系。     

医疗大数据可视化研究综述

随着"互联网+"的迅速发展,医疗大数据不仅数据类型繁多、关系复杂,且呈爆炸式增长,一般的数据可视化方法难以对其进行有效的展示,医疗大数据可视化技术面临巨大挑战。概述了医疗大数据的起源、特点及其研究进展,介绍了医疗大数据可视化的相关概念及其研究现状,将现有医疗大数据可视化方法划分为两大类,分类阐述了常见的医疗大数据可视化方法,给出了包括分类、图例、特性的可视化方法比较一览表。最后分析了医疗大数据可视化中存在的问题,指出其未来研究重点,对医疗大数据可视化方法研究与普及应用具有重要的参考价值。     

大数据隐私保护密码技术研究综述

大数据是一种蕴含大量信息、具有极高价值的数据集合.为了避免大数据挖掘泄露用户的隐私,必须要对大数据进行必要的保护.由于大数据具有总量庞大、结构复杂、处理迅速等特点,传统的保护数据隐私的技术很多都不再适用.从密码学的角度,综述了近年来提出的、适用于大数据的隐私保护技术的研究进展.针对大数据的存储、搜索和计算这3个重要方面,分别阐述了大数据隐私保护的研究背景和主要研究方向,并具体介绍了相关技术的最新研究进展.最后指出未来大数据隐私保护研究的一些重要方向.     

决策支持系统发展综述及展望

全面研究和分析决策支持系统(DSS)的发展轨迹,对研究DSS未来的新理论、新模型、新技术、新应用具有十分重要的意义。对DSS的发展历程尤其是它的结构与支撑技术进行了全面的探讨。在对其进行深入剖析的基础上,指出需求和技术是DSS发展的两个主要动力,在大数据时代更是如此。同时分析了DSS在大数据时代所面临的新需求与新问题,并结合大数据和云计算相关技术,对未来DSS如何满足这些新需求、解决这些新问题进行了分析与展望。     

大数据时代医学研究面临的机遇与挑战

利用大数据技术对医学数据资源进行分析、处理和挖掘,大数据时代的到来将对医学研究带来新的突破。本文主要讨论了医学研究大数据挖掘所面临的机遇与挑战,并指出了医学大数据发展存在的问题及对策。     

基于云计算的大数据研究

笔者结合云计算技术、物联网技术对大数据进行研究。首先对大数据的产生进行了阐述,对大数据的概念、特征和相关技术进行了分析,进而对云计算技术进行了分析,涉及云计算的概念、特征以及云计算架构等,最后结合云计算对大数据进行了研究。     

基于Selenium框架的大数据岗位数据爬取与分析

在对网页数据进行爬取时,由于很多网页不是静态的HTML文档,而是包含很多JavaScript程序,使用传统的爬虫方法不能有效地获得所需要的信息,采用Selenium模拟浏览器访问网站的方法以及Python语言对拉勾网中大数据相关岗位数据进行了爬取,并且对大数据开发工程师、大数据研发工程师以及大数据架构师这三个岗位中岗位的任职要求数据进行了分析,用词云进行了展示,可以为数据科学与大数据技术专业培养方案的制定以及相关课程授课学时的设计提供一定的依据。     

大数据管理系统的历史、现状与未来

大数据管理技术正在经历以软件为中心到以数据为中心的计算平台的变迁,传统的关系型数据库管理系统无法满足现在以数据为中心的大数据管理的需求,设计新型大数据管理系统迫在眉睫.首先回顾了数据管理技术的发展历史;之后,从大数据管理的存储、数据模型、计算模式、查询引擎等方面分析了大数据管理系统的现状,指出目前大数据管理系统具有模块化和松耦合的特点,并进一步介绍了大数据管理系统应具备的数据特征、系统特征和应用特征,指出大数据管理系统技术还在快速进化之中,预测未来的大数据管理系统应具备多数据模型并存、多计算模式融合、可伸缩调整、新硬件驱动、自适应调优等特点.     

一种面向云的大数据完整性检测协议

云计算的出现为计算机的发展提出了一个新的发展方向,但是其中的很多安全问题一直限制着云计算的发展,其中云存储的完整性检测问题最为突出。由于大数据的特性,现有的关于数据完整性检测的协议并不适合大数据的检测。通过对Juels协议的改进,文中提出一种新的更加适合大数据存储的数据完整性检测协议,改进了原有协议只能进行有限次数检测的缺陷,引入了纠删码技术,使得数据的可恢复性得到大幅提升。通过理论分析表明该协议在数据的计算量和用户数据存储量上都有明显优势。     

大数据下的典型机器学习平台综述

由于大数据海量、复杂多样、变化快,传统的机器学习平台已不再适用,因此,设计一个高效的、通用的大数据机器学习平台成为目前的研究热点。通过介绍和分析机器学习算法的特点以及大规模机器学习的数据和模型并行化,引出常见的并行计算模型。简单介绍了整体同步并行模型（BSP）、SSP并行计算模型以及BSP、SSP模型与AP模型的区别,主要介绍了基于这些并行模型的典型的机器学习平台和这些平台的优缺点,并指出各个平台最适合处理何种大数据问题。最后从采用的抽象数据结构、并行计算模型、容错机制等方面对典型的机器学习平台进行了总结,并提出一些建议和展望。     

关于大数据的几点思考——学会管理和利用信息资源

和物联网、云汁算、移动通信等技术进步一样,大数据对于经济的发展、科学的进步、人类生活水平和质量的提高一定会带来新的飞跃。然而,和面对任何科学进步一样,我们需要保持清醒的头脑,记住任何技术进步都是双刃剑,任何进步都会伴随着新的挑战和隐患。本文从信息资源特殊规律的角度,对于大数据带来的机遇和挑战进行了分析,并指出了需要注意防止的、忽视理论研究的、简单化的倾向。     

基于大数据的智慧公安系统研究与应用

大数据技术的兴起为各行各业的变革提供了新的方向。在厘定大数据概念和智慧公安系统体系框架的基础上,分析了智慧公安发展的突出问题,研究了大数据背景下公安工作新常态模式建立的途径和方法,设计建立了智慧公安系统,并对智慧公安系统效能进行了预判分析。该智慧公安系统符合公安工作实际,在服务国家政治安全、社会安宁和人民安居乐业方面意义重大。     

迭代式MapReduce研究进展

迭代计算普遍存在于大数据处理中,而传统的MapReduce不能显式地支持迭代计算。近几年,研究者扩展和改进原始MapReduce,已开发了若干迭代式MapReduce以更好地为大数据处理而支持迭代计算。对迭代式MapReduce编程框架进行综合评述,较详细地阐述了这些研究成果,给出了它们各自的基本思想,并分析了它们各自的特点、优势和不足,且对比了它们所采用的一些技术。对迭代式MapReduce未来的发展趋势进行了展望。     

电力大数据在配电网规划中的应用及效果

当前配电网规划中存在的规划存在不合理、数据处理效果不佳、系统故障诊断效率偏低等问题,为提高配电网规划水平,本文结合大数据在电力系统应用的时代背景,提出电力大数据在配电网规划中的应用对策,并分析电力大数据在配电网规划中的应用效果。电力大数据在配电网规划中的应用具有重要意义,能够实现对配电数据的精准处理,对电网状态进行准确评估,同时也为配电网结构优化提供技术支持。具体应用过程中,应该在主动配电网数据调度、主动配电网数据规划管理、配电网电压数据规划管理中运用电力大数据,并把握技术要点,合理进行配电网规划。实际应用表明,电力大数据满足配电网规划需要,能够提高配电系统数据信息处理效果和系统故障诊断效率。     

聚类算法综述

大数据时代，聚类这种无监督学习算法的地位尤为突出。近年来，对聚类算法的研究取得了长足的进步。首先，总结了聚类分析的全过程、相似性度量、聚类算法的新分类及其结果的评价等内容，将聚类算法重新划分为大数据聚类与小数据聚类两个大类，并特别对大数据聚类作了较为系统的分析与总结。此外，概述并分析了各类聚类算法的研究进展及其应用概况，并结合研究课题讨论了算法的发展趋势。     

基于深度学习的数据融合方法研究综述

数据融合是最大程度发挥大数据价值的关键,深度学习是挖掘数据深层特征信息的技术利器,基于深度学习的数据融合能够充分挖掘大数据潜在价值,从新的深度和广度拓展对世界的探索和认识。综述了近几年基于深度学习的数据融合方法的相关文献,以此了解深度学习在数据融合中应用所具有的优势。分类阐述常见的数据融合方法,同时指出这些方法的优点和不足。从基于深度学习特征提取的数据融合方法、基于深度学习融合的数据融合方法、基于深度学习全过程的数据融合方法三个方面对基于深度学习的数据融合方法进行分析,并做了对比研究与总结。总结全文并讨论了深度学习在数据融合中应用的难点和未来需要进一步研究的问题。