大数据机器学习系统综述

机器学习需要有大量的背景数据作为训练集,而大数据技术正好给机器学习带来了这样的大量数据训练集。结合机器学习和大数据技术,为了实现高效的大数据机器学习而设计的大数据机器学习系统面临着诸多的技术问题。大数据机器学习系统成为大数据技术和机器学习领域研究的重要课题。本文介绍了大数据机器学习系统应该具有的概念、特征及相关典型的大数据机器学习系统。     

大数据背景下机器学习研究

随着大数据时代的到来,海量数据处理具有复杂性、多样性、高维性等特点,数据挖掘难度大,传统的机器学习算法已无法很好地处理大数据问题,在此背景下机器学习算法研究成为热点。基于此,笔者分析了当前机器学习的关键技术,并运用分治算法、聚类算法、并行计算等技术让数据变得更有条理性,有效降低了数据处理分析的难度,大大提高了机器学习的能力。     

大数据环境下机器学习课程的教学实践探索

结合大数据应用的时代背景,高校教学科研的重心也随之发生变化。机器学习课程作为数据科学与大数据技术专业的专业核心课,依托于现阶段计算机技术的更新迭代,涉及多学科的交叉学科课程,兼顾理论与实践应用。正因为学科的复杂性和时效性,本科生学习该课程面临较大难度和挑战,基于这一现状,教师更应从理论出发,不断探索大数据环境下机器学习课程教学的新模式。     

基于大数据的水闸安全评价与预测研究

针对传统评价数据源单一、综合性和智能化不高的问题,在水闸安全评价相关理论、方法和应用经验的基础上,引入大数据理论与机器学习技术,协同应用多种水闸运行管理数据,设计了水闸安全评估及预测大数据总体应用框架,阐述了关键技术的实现方法,重点论述了基于大数据的机器学习模型库的建设流程。利用大数据和机器学习技术,建立基于大数据的水闸安全评价与态势预测的智能化应用模型,具有很好的技术支撑和应用价值。     

大数据与人工智能:大数据智能时代

继移动互联技术和云计算技术之后,能够称得上颠覆性信息技术的当属大数据技术了.它使得我们能够对数量大、种类多、价值密度低、本身快速变化的数据进行有效地、低成本地存取、检索、分类以及统计.但这不代表我们可以高效率和低成本地掌握这些数据中蕴藏的巨大价值,诸如隐性社会科学规律和经验.不过值得一提的是,人工智能技术在大数据分析、预测等领域已经开始崭露头角,展现出了强劲的发展势头,大数据的核心使用价值在人工智能技术的发展与运用下展示了巨大潜力.同时,大数据技术的发展也为人工智能领域带来了大量机遇和挑战,更加激发了该领域的无限发展可能性.     

大数据时代网络安全及预测技术研究

大数据时代信息技术的快速发展,依托于各类硬件防护设备的网络体系架构的异构数据量每天以指数级的量级递增,基于传统的网络安全防护技术无法有效的适用于具有海量数据的特征网络安全和分析预测等工作,因此海量数据的保存、使用、以及分析等信息挖掘和数据分析预测逐步成为社会各界重视和当前的研究趋势。本文以海量的异构数据为研究对象,识别网络安全大数据的典型特征,结合情报预测的主要方法,创新性的提出了大数据特征下的网络安全预测分析技术,提高网络安全风险识别和预测、俞静能力,有效的改善网络防护效果。     

面向大数据的在线特征提取研究

在大数据环境下,当利用机器学习算法对训练样本进行分类时,训练数据的高维度严重制约了分类算法的性能。文中应用L1准则的稀疏性,提出了一种在线特征提取算法,并用该算法对训练实例进行分类。利用公开数据集对算法的性能进行了分析,结果表明,提出的在线特征提取算法能准确地对训练实例进行分类,因而能更好地适用于大数据环境下的数据挖掘。     

网络大数据:现状与展望

网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇.因此,迫切需要探讨大数据的科学问题,发现网络大数据的共性规律,研究网络大数据定性、定量分析的基础理论与基本方法.文中分析了网络大数据的复杂性、不确定性和涌现性,总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状,并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望.     

基于大数据的电力环保数据平台建设

针对火电环保领域海量的环保数据无法高度利用问题,本文采用大数据、人工智能和机器学习等信息技术,构建国家能源集团的基于大数据的火电厂智慧环保平台,结合龙源环保公司脱硫、脱硝系统方面的专业技术和优化运行模型,将海量的脱硫脱硝等环保数据全部纳入管理,对电厂开展了深层挖掘数据使用价值的研究。建设覆盖公司全管理领域和业务领域的智慧环保大数据平台,打造集数据采集、数据处理、监测管理、预测预警、优化运行、深度分析于一体的大数据中心。实现火电厂环保岛系统的智能控制和智慧管控,提升公司脱硫脱硝系统专业化服务能力和智慧化服务水平。本文以北京国电龙源环保工程有限公司为例,进行了环保数据平台建设,实现设备的全生命周期管理,帮助运维负责人员实现对企业环保资产的有效管理。     

大数据环境下的数据治理框架研究及应用

大数据技术及应用创新促进了数据的业务化。从数据中发现问题到解决问题、从业务支撑到业务创新、从商业智能到决策指引,数据与业务相伴相生,大数据环境下的机遇与风险共存。通过对当前国内外数据治理理论、方法和新的应用需求分析,提出大数据环境下的数据治理框架,包含数据治理目标、治理保障、治理域和治理方法论等。并分析大数据治理框架的应用,对组织开展大数据环境下的数据治理具有重要的参考价值和意义。     

面向对象语言中的数据抽象和继承性

面向对象程序设计是一种实用的支持模块化设计和代码复用的程序设计方法。大多数面向对象语言均支持信息隐蔽的数据抽象和封装。然而继承性的存在却严重地削弱了封装带来的好外。本文讨论了信息隐蔽和继承性间的关系，并描述了一种支持封装的多路继承机制。     

几种数据格式描述语言的分析比较

介绍了三种数据格式描述语言SGHL、HTML、XML的发展过程,对它们在电子数据交换中表现出来的特性进行比较,得出结论。     

探索商业银行在大数据挖掘技术领域的应用

由于大数据的快速发展,传统的以业务经验模式进行的数据库营销面临极大挑战。针对这种情况,提出基于大数据的数据挖掘技术方法。首先了解业务需求,根据业务目标设计模型,接着进行数据整合、数据清洗等,最后建立模型、对模型结果进行评估。实验结果表明,应用大数据挖掘技术能有效提高精准营销的成功率,进行风险防控以及运营优化管理。     

大数据时代下的动态可配置数据采集系统的研究与设计

设计一个动态可配置数据采集系统。该系统在Java Web开发平台上,利用Apache POI插件,开发出一套可以直接导入Excel数据模板文件并快速生成数据采集网页的Web应用程序。该数据采集网页可以根据用户的需求进行个性化的动态配置,然后通过QQ、微信和短信等多种方式向信息被采集人推送,被采集人可利用个人电脑、手机以及各类移动终端随时随地打开数据采集网页填写并提交信息,信息提交后即写入服务器端数据库,所有信息采集完毕后,可从系统中导出数据生成Excel文档。利用该系统,用户可在Excel文档和Web网页之间进行快速灵活的相互转换,使得原本费时费力的数据采集变得快捷方便,从而为未来的大数据分析提供充足而真实的数据源。     

大数据时代美国个人数据保护立法借鉴

大数据技术削弱了互联网的匿名性和碎片化特征,新应用新软件的海量使用和对个人数据的肆意收集导致个体的隐蔽性不复存在,个人自由和家庭生活受到严重干扰,亟需构建我国个人数据保护法律制度。旨在采用法学、管理学、计算机科学等多学科交叉的理论研究法和组合思维法,剖析美国个人数据保护最新立法趋势;采用调研分析法,研究个人数据保护的新型法律风险,并在此基础上提出我国个人数据保护的立法建议。     

大数据中RDF语义数据存储优化探讨

结合大数据的特点和语义Web的理论,对大数据中的RDF语义数据的描述和存储进行研究。分析各种数据库存储RDF语义数据的优点和缺点,指出图数据库存储RDF语义数据的优势。最后采用Neo4j开源Java代码实现了一个图数据库系统,通过运行实例验证了以上结论。     

教学大数据监测预警平台设计与应用

发展性评价是我国教学评价模式改革的重要方向,但发展性评价存在组织困难、数据难以收集、反馈困难等问题。大数据技术为发展性评价提供新的技术推动力量。通过教学发展性评价中的大数据需求分析,提出教学大数据监测预警的概念,并探讨其内涵及意义。设计教学大数据监测预警平台,构建其总体架构、功能结构、实体画像和预警模型,并对其应用机制、硬件架构、模型应用进行分析和实证。该技术方案对大数据在教学过程中的应用具有积极的借鉴作用。     

大数据背景下云数据安全分析

大数据时代到来,使得数据变成一种无形资产,其安全性能也逐渐被人们所关注。数据库安全建设已经从数据库安全服务、数据库管理服务向海量信息处理发展过渡。数据库安全保障,应该以控制和预防为主,以先进的技术手段结合数据技术发展方向,以管理为核心,加强数据库生命使用周期的安全,并形成一定的安全保障机制。本文通过分析数据库技术发展现状及发展趋势,结合数据库管理应用,提出在大数据背景下,如何利用技术手段完善数据库内部环境,落实审计追踪备份、落实管理机制,保证云数据安全等方面建立相对应的安全系统,保证云数据的安全性和稳定性。     

大数据背景下高校"一站式"服务模型的探索和实践

大数据时代的到来为创新智慧校园管理和服务提供新的思路。为了破解跨部门业务流程打通的难题,解决数据流动性不足的问题,提出大数据背景下面向师生的业务数据融合的"一站式"服务设想。设计基于大数据的"一站式"服务模型,该模型以数据融合、业务融合为核心,包括服务展现、业务服务、业务支撑、数据中心等四个层次,并将此模型应用到网上服务大厅的建设。通过应用效果统计和分析,结果显示网上服务大厅的推广和应用解决了师生办事难的问题,提高了学校管理水平和效率,为大数据创新智慧校园管理和服务提供了参考。