大数据分析关键技术与挑战

全面论述了大数据分析技术的概念、现状、技术及应用,包括大数据基本概念及特点、大数据分析产生的时代背景、关键技术以及大数据带来的变革和挑战,在大数据分析的关键技术中重点对大数据的清洗与融合、大数据处理框架、大数据的建模与分析进行了介绍。     

高职教育中的大数据应用技术

伴随着信息技术的迅猛发展我们进入了大数据时代,对传统教育模式产生广泛而深刻的影响。在这种背景下,高职院校教学服务和数据利用方式将发生显著变化,运用大数据技术,使得高职院校可以对教学管理和数据资源利用完全数据筛选的方式来分析、挖掘隐藏在数据背后的规律,获得有价值的东西。依靠数据作出科学决策,让高职教育的信息化管理更为科学有效。     

大数据探讨

大数据的重大意义正逐步被人们认识到。简要介绍大数据,从技术和工具、解决方案和应用案例等方面对大数据进行研究。并对大数据给计算机科学带来的若干问题进行探讨。     

当前大数据分析与云计算网络技术剖析

科学技术不断进步的今天,大数据分析以及云计算方面的网络技术,也获得了更为广泛的运用.基于此,本文通过对大数据分析以及云计算方面的网络技术予以剖析,进而对其所具有的优势与劣势进行了探究,供相关读者参考.     

基于Hadoop和Mahout的大数据管理分析系统

随着数据量的爆炸性增长、数据结构的多样化和数据的流动性,传统的关系数据库系统已经无法满足大数据管理和分析的要求。因此有必要对基于大数据的数据管理和分析系统进行研究,以达到快速地统计和分析特定领域中海量结构化/非结构化数据,最终为决策提供支持的目的。提出一种基于Hadoop和Mahout的大数据管理分析系统。通过数据特性的分析,将数据分解后存入对应的数据库中进行管理。并在特定的应用领域中实现和验证了所提出的大数据管理分析系统,获得了优于已报道相关研究工作的数据分析结果。     

大数据环境下的电子数据审计:机遇、挑战与方法

电子数据审计的研究与应用是近年来审计领域的热点问题。大数据时代的到来给电子数据审计带来了机遇与挑战。首先阐述了研究大数据环境下电子数据审计的重要性;然后分析了电子数据审计的内涵及原理;在此基础上,重点研究了大数据环境下电子数据审计面临的机遇与挑战,并结合大数据的特点以及目前已有的大数据分析技术与工具,探讨了大数据环境下开展电子数据审计的方法;最后给出了大数据环境下开展电子数据审计的相关建议。研究结果为今后大数据环境下开展电子数据审计提供了理论基础。     

大数据背景下海洋数据管理的挑战与对策

空天地底海洋立体观测技术的飞速发展催生了呈指数级增长的多精度、多频度、大覆盖、多模态的海洋数据。然而,目前的研究主要集中于通用大数据,针对海洋数据的专门研究仍处于起步阶段。海洋数据的时空性、多源多类性、海量性、敏感性等特性为其管理带来了新的挑战。阐述了海洋数据的特点和海洋数据管理的基本架构,探讨了海洋数据在数据存储、数据质量、数据安全等环节面临的挑战,分析了相应的对策,为海洋科学与工程技术的研究提供了重要的参考与依据。     

空间数据智能:概念、技术与挑战

随着空间数据体量的持续增长,空间数据所蕴含的价值巨大.传统的数据感知存储技术和处理分析方法已然不能充分挖掘海量空间数据的价值.因此,空间数据智能,一个专注于海量空间数据的研究与应用的多学科交叉的领域,正扮演着越来越重要的角色.介绍了空间数据智能的概念、空间数据智能领域所面临的技术挑战及空间数据智能的关键技术,同时介绍了...     

大数据概念辨析及应对措施

首先介绍大数据的概念及其意义,指出大数据会给未来的社会生活带来深远影响。接着对大数据涉及的相关技术进行详细分析,指出需要解决的问题。然后对大数据与云计算进行比较分析,指出两者的异同,同时对如何应对大数据进行探讨,提出相关建议。     

探析大数据在高职教育中的个性化应用

伴随着移动宽带、物联网、云计算的迅猛发展以及越来越多的移动终端、传感设备接入网络,现代社会正在以不可想象的速度产生海量数据,对传统教育模式产生广泛而深刻的影响。在数据量庞大、种类繁多、信息多样化的大数据背景下,高职院校教学服务和数据利用方式将发生显著变化,并因此带来新的机会.大数据技术的应用,使得高校可以对其数据资源采取完全数据筛选的方式来分析、挖掘隐藏在数据背后的规律,获得具有洞察力和新价值的东西依靠数据作出科学决策,让高校的信息化建设成果为办学所用,为素质教育所用。     

架构大数据:挑战、现状与展望

大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点.为了设计适合大数据分析的数据仓库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳,指出了各自的优势及不足,同时也对各个方向的研究现状及作者在大数据分析方面的...     

Big Data 2.0 Processing Systems: Taxonomy and Open Challenges

Data is key resource in the modern world. Big data has become a popular term which is used to describe the exponential growth and availability of data. In practice, the growing demand for large-scale data processing and data analysis applications spurred the development of novel solutions from both the industry and academia. For a decade, the MapReduce framework, and its open source realization, Hadoop, has emerged as a highly successful framework that has created a lot of momentum in both the research and industrial communities such that it has become the defacto standard of big data processing platforms. However, in recent years, academia and industry have started to recognize the limitations of the Hadoop framework in several application domains and big data processing scenarios such as large scale processing of structured data, graph data and streaming data. Thus, we have witnessed an unprecedented interest to tackle these challenges with new solutions which constituted a new wave of mostly domain-specific, optimized big data processing platforms. In this article, we refer to this new wave of systems as Big Data 2.0 processing systems. To better understand the latest ongoing developments in the world of big data processing systems, we provide a taxonomy and detailed analysis of the state-of-the-art in this domain. In addition, we identify a set of the current open research challenges and discuss some promising directions for future research.     

Genomic Big Data and Privacy: Challenges and Opportunities for Precision Medicine

Genome science is rapidly shifting from research labs and biobanks to the clinical setting. The resulting genomic big data, or large-scale networked genetic material, is a disruptive technology. On one hand, clinical genomics advances life-saving innovation through precision medicine. On the other, the digital databases they are built upon raise new concerns for informational risk to personal privacy. While a traditional biomedical approach focuses on risks and benefits to the human body, our socio-technical analysis sheds lights on the emerging terrain of the human body as digital code. In this paper, we analyze emerging issues related to clinical genomics based on a 3-year collaborative clinical research project to develop a genomic test for Acute Myeloid Leukemia (AML) cancer in British Columbia (BC), the first of its kind in Canada. We found the most pressing issues for genomic researchers and clinicians were challenges around informed consent, return of results and return of incidental findings. In light of technological advances and the emerging context of networked privacy, we outline several recommendations for best practices in diffusing clinical genomics to the healthcare system.     

大数据带给图书馆的影响与挑战

随着信息化的不断发展,大数据、人工智能逐渐改变了人们的生活,信息化大数据技术成为各行各业的发展趋势。传统时代的图书馆建设模式已不能满足人们的需求,大数据技术使得图书馆的建设发生了很大变化。笔者在此基础上做了一定的分析,重点研究了大数据环境对图书馆馆藏建设的影响。结合自己的实际经验,提出了几点意见,希望给相关工作者提供参考。     

运营商发展大数据的机遇和挑战

互联网、通信行业爆发式增长,形成了新时代的大数据。大数据在大容量、多样性和高增速方面,全面考验着现代企业的数据处理和分析能力。大数据不仅是数据大,最重要的是对大数据进行分析,只有通过分析才能获取有价值的信息,并为企业带来更深入、更准确的市场机会。     

大数据环境下数据读取关键技术研究

针对大数据环境下数据读取面临的主要挑战,文中重点研究了分布式文件系统中数据读取关键技术。根据数据存放结构的不同,从数据加载、查询处理和存储空间利用三个方面分析比较行存储、列存储和行列混合存储的优缺点和面临的挑战,重点介绍列存储中涉及到的压缩和物化技术,具体分析了存储压缩中经常运用的行程编码算法、词典编码算法、位向量编码算法和元组重构中运用的延迟物化技术。通过分析现有技术存在的问题,探讨相关的解决方案,并展望了未来研究的发展方向。     

普适医疗信息管理与服务的关键技术与挑战

随着区域医疗、移动医疗、转化医学等新兴技术的应用和发展,电子病历、电子健康档案及转化基因等数据都呈现出爆炸式增长.为了将医疗服务信任问题渗透到人与医疗信息系统可信交互中,提供以个性化、一体化、协同化与知识化为特征的现代医疗服务,必须有效管理和分析这些海量数据资源,达到医疗信息与服务普适共享、广大民众普遍受惠的目的.文中以社会计算为背景,提出一种面向现代医疗服务模式的普适医疗信息管理与服务体系PMIMSS,讨论了普适医疗面临的关键技术问题,包括医疗信息共享与集成、医疗知识发现与服务、医疗服务质量评价、个性化医疗服务推荐,以及基于人与医疗信息系统交互的可信机制等,并总结了当前的研究现状和进展,详细分析了存在的挑战性问题,提出了未来的研究方向.     

大数据应用的综合管理

随着互联网时代的不断发展和进步,尤其是近年来的云计算、社交网络、互联网等多种新兴服务正在推动着社会的数据种类多样化。大数据时代已成为目前社会的发展形势,数据可从简单的处理对象升级为一种较难的资源。那么如何更好地管理大数据,合理利用大数据已成为社会上比较热门的话题。大数据的应用可为人类带来有用的信息,从而实现数据的真正价值。笔者主要介绍了大数据的应用现状、综合管理和未来发展方向。