关于大数据技术在人工智能中应用研究

随着互联网技术和移动互联网的快速发展，人们进入了一个信息爆炸的时代，产生和积累了大量数据。这些数据蕴含着许多有价值的信息，如果能够正确地利用这些数据，就能够带来更多的商业机会和社会价值。对此，文章重点探讨大数据技术在人工智能中的应用，包括数据采集和处理技术、机器学习和深度学习算法、数据可视化和数据探索工具等方面，并结合实际应用案例，展示大数据技术在人工智能中的实际应用效果，以期为相关领域的研究者和从业者提供参考和启示。     

一种数据采集与分析平台的研究与设计

随着互联网大数据技术的不断发展,网络数据采集技术成为热门的研究领域之一。基于Python语言下的数据采集功能库如Urllib、Requests、Selenium等模块效率低、易阻塞,并且目前的数据采集和分析平台都是独立的功能模块,没有形成闭环,用户体验差。为了解决上述问题,提出一种数据采集和分析平台,首先使用Scrapy框架完成数据采集,其次将采集到的数据通过Kettle工具进行数据清洗,再次,将处理好的结果存入MySQL 数据库,最后利用Flask框架,结合Echarts 技术搭建Web 系统,对数据分析结果进行可视化。以北京公交网站数据作为爬虫测试平台,通过对公交线路类型、公交路线等信息进行采集分析及结果展示,分析结果对城市公交的规划具有一定的指导意义,同时,平台具有稳定可靠、操作简单、实时性强等特点。     

基于互联网大数据的招聘数据智能分析平台的设计与实现

针对目前互联网招聘市场的兴起,大数据分析可以有效的帮助用户了解目前最热门的职业以及与职业相关的信息,提出了利用Hadoop-SpringMVC-Vue前后端分离的技术架构,进行技术方案的设计。本文首先分析了互联网大数据的招聘数据智能分析平台的需求;其次应用Hadoop集群搭建大数据平台,SpringMVC框架设计系统的架构,Vue框架设计项目前端;最后介绍了系统的实现。SpringMVC框架能简化互联网大数据的招聘数据智能分析平台的开发,可以有效的降低各层之间的耦合度,提高系统的可维护性。     

基于Hadoop的离线电商数据分析系统的设计与实现

随着互联网的普及和人们不断增长的消费需求,电子商务平台已成为人们生活不可或缺的一部分,由此产生大量数据。基于Hadoop,设计并实现一个离线电商数据分析系统,从系统架构、数据采集、传输、存储、分析处理和可视化等方面作了介绍,系统具有一定的数据分析能力,能将原本无用的数据进行整理利用,发挥数据本身的价值。     

汽车工业企业的Hadoop大数据平台设计

在万物互联大数据时代的海量数据处理中,如何大数据中挖掘出数据中的潜在信息价值并转化为决策依据的能力,特别是对于拥有高附加值数据的汽车企业,将是企业重要竞争力。开源Hadoop在大数据分析过程中,有着易扩展、成本低、吞吐量大等优势,Hadoop分布式平台已经成为绝大多数企业的首选。本文设计实现基于Hadoop开源技术为汽车工业中的企业进行大数据平台设计,实现高效率、高可扩展、高容错、低延时大数据平台,保证了平台的高容错性和灵活性。     

基于边云协同的数控机床高频数据采集应用

互联网和大数据是当今信息技术时代的热点。在工业领域,通过对数控机床运行数据的采集,利用工业互联网平台进行分析和优化,能大大提高设备的利用效率。而大数据的分析和优化,需要对机床运行数据进行高频次的采集,往往会超过现场接入网络的带宽,影响数据采集效率。针对上述问题,提出一种基于边云协同的数控机床高频数据采集方法,充分利用边缘设备的处理能力,有效实现数据高速采集和传输,结合网络云平台的应用,能方便地实现数据共享。同时,本方法还能灵活定义所采集数据内容以及数据采集区间,以满足不同的数据采集业务需求。通过在iSESOL云平台的实际应用,证明该方法能够合理使用工业环境下的通信带宽,满足大数据分析的业务需求。     

基于Android的移动互联网健康监测系统的研究

伴随着通信技术的发展,方便快捷的移动互联网及功能日益丰富智能终端在生活中扮演的角色越发重要。在人体局域网和移动互联网的基础上,利用使用广泛的Android终端智能平台,设计开发一种针对人的生理体征数据采集的健康监测系统。系统结合HL7医学信息传输标准,以一种新型的医疗方式探索移动应用软件在医疗领域的发展。Android终端作为数据采集控制端和监控客户端,通过移动互联网将采集的数据上传至服务器,实现监测中心对数据的监测。     

基于区块链技术的物流大数据可视化平台构建

针对传统物流大数据可视化平台缺少共享机制,可视化结果并不理想的问题,提出了基于区块链技术的物流大数据可视化平台构建方法。在区块链技术的基础上构建物流大数据管理平台,将大数据、云计算、移动互联网等新信息技术融入到平台构建中,在分层式的体系结构设计的基础上保证平台各个分层拥有适度的可扩展性与适应性。使用ML-T80型号电子标签,对货物所在位置进行实时跟踪,采用Symbol LS2208AP型号条码扫描器,实现手持模式和免提模式轻松地切换。根据用户展示端电路连接图,使用户在外界受到电磁干扰的情况下依旧能够直接查阅到想要的信息。规划服务范畴,设计数据管理功能、物流信息服务功能、物流资源交易功能和智能辅助决策功能模块。由实验结果可知,该平台共享周期短,最高共享效果可达到93%,以此实现物流大数据共享价值最大化。     

物联网信息的智能采集方法研究

随着近几年来互联网技术的不断发展,大数据技术开始应用到了各行各业的生产中,大数据技术已经与当前的互联网、物联网建设有了直接关联。大数据技术也因此成为了物联网信息智能采集系统设计的重要技术内容之一。在与大数据环境下,物联网信息智能采集方法的研究工作成为重点,本文对大数据环境下物联网信息智能采集方法进行了详细研究。     

面向治污企业集团的智慧运营平台的设计与开发

根据工业互联网平台现场采集的数据以及数据的整合，通过消息推送，部署分布式微服务，结合数据库设计一个能够实时展示治污企业下辖工厂的运行数据、安全状态监测并能够实现报警消警的智慧数据平台。该智慧运营平台实现了对各类工业物联网设备的数据采集，提高污水处理厂运营生产管理的智能化、自动化水平，对工业大数据进行了有效分析及呈现。     

一种多源统一爬虫框架的设计与实现

面向深层网数据的爬虫技术与反爬虫技术之间的对抗随着网站技术、大数据、异步传输等技术的发展而呈现此消彼长的趋势。综合对比当前主流的爬虫和反爬虫技术,针对高效开发、快速爬取的需求,MUCrawler(多源统一爬虫框架)被设计成一种可以面向多个网站数据源,以统一的接口形式提供爬虫开发的Python框架。测试结果显示,该框架不但能够突破不同的反爬虫技术获取网站数据,在开发效率、鲁棒性和爬取效率等方面也体现出较好的运行效果。     

基于Hadoop的广域网分布式主题爬虫系统框架

广域网分布式爬虫与局域网爬虫相比有诸多的优势,而现有基于Hadoop分布式爬虫的设计主要是面向局域网环境的。为解决Hadoop分布式计算平台不适合部署于广域网的问题,设计了一个基于Hadoop的广域网分布式爬虫系统框架。爬虫系统利用消息中间件实现分布式可靠通信,数据存储采用可伸缩的Hadoop分布式文件系统HDFS,网页解析利用MapReduce并行处理,并基于模板匹配实现框架可定制。系统的性能仿真显示该框架具有支撑大规模爬虫并发工作的能力。     

社交网络营销追踪

对社交网络营销效果追踪方面的研究尚处起步阶段.根据社交网络营销效果追踪的需求,设计了社交网络信息采集和数据处理平台.该平台使用爬虫技术的方式,在信息获取速度受限的前提下,尽可能多的获取信息.通过构建转发树的算法,得到社交网络营销追踪传播图.实验结果表明,平台自动获取所需求的数据并处理,绘制信息传播图,由此找到信息传播中的引爆点及其评论信息,即关系营销中重要关系节点及其反馈信息.平台还可以统计出互动用户的其他相关信息,便于社交网络营销效果的追踪.     

Sports performance prediction model based on integrated learning algorithm and cloud computing Hadoop platform

This article discusses the classification and research performance information properties. It also discusses construction and application of the Hadoop cloud computing platform. The model presented in this article is a one piece learning algorithm which is a predictive model and a model of cloud based data collection. This model is supported by Hadoop which is suitable for computing with different data sizes. A large number of simulations are performed on the Hadoop platform, under different working conditions, to verify the accuracy and characteristics of the training skill. Spark framework of this research is to develop computational engine efficiency and improve rain prediction models successfully and effectively using big data and Hadoop learning. Therefore, the planned high timeliness and accuracy of real-time hurricane forecast with rain, can solve the problem.     

基于Hadoop的车辆调度算法优化及应用

随着互联网技术的快速发展,各行各业所产生的信息数据也在以指数级的速度增长.传统的车辆调度算法已经不能够很好地解决车辆调度问题中出现的实时性,大规模等问题.因此,本文构建了一种基于Hadoop的动态车辆调度并行智能优化算法.该算法以传统遗传算法为基础,通过改善遗传算法全局优化能力弱和收敛于局部次优解的问题,并利用Hadoop平台的并行计算机制对传统遗传算法进行改进,使其能够有效应对大规模、快速响应的车辆调度.数值计算结果表明：基于Hadoop的车辆调度算法能够有效提升传统调度算法的优化性能,在处理大规模车辆调度问题时具有良好的加速比.     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

一种基于模拟登录的微博数据采集方案

随着Web 2.0时代的到来,舆情信息在微博上能够更快速的产生和传播。为了有效地分析微博舆情信息,微博数据的获取显得尤为重要。文中以新浪微博为研究对象,提出了基于模拟登录的网络爬虫采集方案。此方案解决了调用微博API接口对开发者的次数限制,解决了传统的网络爬虫需要身份验证的问题,加快了微博数据的采集速度,可以在短时间内获得海量的微博数据。实验表明,用该方案开发的系统具有快速的微博信息采集速度,更加灵活,可以很好地为舆情系统分析提供大量准确的数据支持。     

中国蚌科物种数据库的特点及应用

近年来,随着计算机及网络技术的飞速发展,大数据及网络数据库技术的发展呈加速趋势,并在越来越多的领域中获得了成功的应用。本文主要分析了中国蚌科物种数据库的特点及其应用。数据主要来源于本实验室多年来对长江中下游大量淡水蚌类的调查数据、标本及一些重要的国内外文献资料。该数据库最终可收录中国蚌科 120 余种,包括国家重点保护物种、中国特有属种及部分具有重要经济价值、科研价值的珍稀物种。根据中文名、拉丁名及特定地理范畴 (产地、模式标本所在地) 等查询条件,可使用户快速获取所需的信息及相关资料。     

企业级Hadoop 大数据平台安全管理方案的研究

本文旨在对企业级Hadoop 大数据平台安全管理机制进行探究。首先介绍当前企业级Hadoop 大数据集群安全管理方案存在的问题和不足;然后结合当前Hadoop 生态圈安全管理组件的发展现状和第三方安全信息管理解决方案,针对现有的Hadoop 大数据平台安全管理机制的不足进行优化和整合;最后提出了以Ranger+FreeIPA(Kerberos+LDAP)为整体的Hadoop 大数据平台安全管理解决方案。     

Selenium框架的反爬虫程序设计与实现

随着爬虫技术的发展,越来越多的网站加入了反爬虫技术.本文应用Python语言和Selenium框架设计一个爬虫程序,并在文中加入了反爬虫机制.该程序成功爬取了淘宝商品名称和价格等信息,并对所爬取的信息进行存储.结果表明,本文的爬虫程序可以绕过淘宝的反爬虫验证,且可以准确地获取所需的商品清单和得到商品的相关信息.