基于大数据的企业精细化营销系统设计

本文通过微信二维码设计、数据采集模块构建、品牌微信采集模块、营销模块集成,设计了基于大数据的企业精细化营销系统,即消费者扫描二维码,企业可采集消费者相关基础信息;企业间数据交互,工商协同系统数据信息获取,可助于企业采集行业市场、既有品牌、竞争品牌等大数据.最后系统功能实现表明系统的大数据处理精确性与及时性较高,可满足企业对于现代化营销业务的个性化需要,可为企业带来良好经济效益与社会效益,值得大力推广与应用.     

云计算数据库在海量用电信息采集系统的应用研究

本文主要探讨如何将云计算技术应用在海量用电信息采集系统中,从而解决海量用电信息数据实时并发采集入库的速率问题、历史大数据的秒级查询和计算问题,提高了系统数据的实时性和可用性,满足了用电信息采集系统自治区级集中模式下的各盟市、县级操作人员对实时采集数据的查询、统计和分析工作,提高了工作效率。     

物联网信息的智能采集方法研究

随着近几年来互联网技术的不断发展,大数据技术开始应用到了各行各业的生产中,大数据技术已经与当前的互联网、物联网建设有了直接关联。大数据技术也因此成为了物联网信息智能采集系统设计的重要技术内容之一。在与大数据环境下,物联网信息智能采集方法的研究工作成为重点,本文对大数据环境下物联网信息智能采集方法进行了详细研究。     

基于物联网的统计大数据安全采集系统构建路径

物联网作为依托传统通信网络与互联网的信息载体,将能够被寻址的独立物理个体之间通过信息交互连接起来,同时也加大了数据收集与管理维护的难度.该文基于当前国企与事业单位在数据安全方面的问题,从物联网当前的发展与概况出发,综合我国当前企业行业大数据采集系统的构建现状,提出基于物联网的统计大数据安全采集系统的构建方案,以期为行业...     

安全日志统一收集平台的数据架构设计与实现

1 数据架构 安全日志统一收集平台采集的业务系统信息数据和安全日志数据信息在一定轮询周期（时间较短）内需要进行一次存储,数据特征为数据量大、插入操作频繁、查询操作范围小。因此对采集上来的数据存储逻辑进行优化,     

基于Flume的分布式日志采集分析系统设计与实现

互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。     

南疆地区的大规模农田远程监测系统设计?

针对南疆农业信息化需求,本文就实现大范围、远距离、低成本数据监测系统展开研究。设计了一套能实现基本功能的远程农田数据采集系统,在农田现场搭建无线采集网络;采用网络化嵌入式数据采集节点采集农田信息;数据通过无线信道远程传回农田监测中心;服务程序通过网络从采集节点采集数据,并完成处理和存储的工作。通过该系统可方便地查看地农田的状态信息,为从事农业生产、农业指导等工作带来便利。     

一种基于FCS的企业INTRANET信息网络的设计与实现

现代工业生产趋向于信息控制一体化,而信息控制一体化的前提是对生产现场的数据集成和信息共享。本文针对当今日益分散化、大规模的现代工业生产的数据集成和信息共享提出建立以SHCAN2 0 0 0为底层现场总线数据采集系统的企业IN TRANET信息网络。该系统不仅能实时采集生产数据并产生数据记录文件,同时还有在线监测智能节点和网络故障、系统定时清零、远程标准信号自动校验、产生网络数据信息供企业INTRANET网络共享等功能,满足现场实际的需要。     

基于大数据平台的海南省突发事件预警信息发布系统设计

建设突发事件预警信息发布系统是防范灾害风险的重要手段。根据海南省突发事件预警信息的特点及预警信息数据特征,开展系统需求分析,提出突发事件预警信息发布系统体系结构,采用数据挖掘、数据仿真等大数据技术辅助应急决策,分析发展态势,并制定应急预案,对预警效果进行评估,动态调整应急策略。系统总体架构分为业务应用、平台服务、数据支撑、基础设施等四个层级,并设计了一个大数据预警信息发布模型。系统功能框架分为实时采集、预警信息发布与预警信息发布渠道三个子系统,对原有系统和新系统的预警信息采集、数据处理和发布性能进行对比测试,基于大数据平台的海南省突发事件预警信息发布系统响应能力提高1.8至2.5倍。     

基于LoRa自组网无线传输技术实现用电信息采集系统设计

针对传统通信技术存在经济需求高、易被外界干扰、功率损耗高等问题,设计了一套非常适用的解决方案,该方案基于LoRa自组网无线传输技术,与A/D用电信息采集系统结合,组成一套很好的方案;通过LoRa扩频技术和低功耗技术来解决远距离无线通信易受到干扰和功率损耗高的问题,利用A/D用电信息采集系统解决大数据环境下传统采集方法准确率低的问题;经过仿真实验结果表明,该方案LoRa无线传输技术的远距离通信和低功耗能够实现,在大数据环境下A/D用电信息采集系统的准确率比WEB自动采集程序高达3%。     

着力提升"大MES"数据的应用分析水平

本文以赣州卷烟厂为例,为加快提升信息系统的应用水平,对通过信息化系统采集的产量、质量、消耗、设备运行等数据,介绍了如何通过信息化手段提升"大MES"数据("大MES"是指以MES系统为主体,以制丝集控系统、卷包数采系统、高架库物流系统、动力能管系统等信息化系统为支撑的信息化体系;"大MES"数据是指通过采集设备自动采集或人工录入到信息化系统的数据.)的分析与应用水平.利用采集数据来指导企业的生产制造实践工作,以实现降本减耗,提质增效,提高生产组织效率和效益的目的.     

基于大数据的航道采集系统的架构设计

随着大数据技术的迅速发展,智能航道应运而生。航道的水文、水深、岸线等要素数据是实时监测获取的,其具有大数据 4V 的特征。同时,航道行业中没有标准统一的通讯协议,智能采集设备和业务系统高度耦合,各业务系统存在信息孤岛的状况,无法满足大数据量的要求。因此,本文提出一种基于大数据的航道采集系统的架构设计,构建了高通量、高可靠、高保密的航道数据的采集通道。该系统架构包含四个中心模块：采集处理中心、指令下发中心、数据生命周期管理中心和配置管理中心。各中心模块采用大数据技术分布式/集群架构,能够高效、可靠的处理大规模的实时数据,且能根据数据的规模动态调整集群的大小。本系统通过配置管理中心动态配置协议、设备,实现了对智能设备的可插拔式的管理。所有的智能设备监测的数据均通过采集系统处理后,由业务系统从分发模块订阅,降低设备与业务系统耦合度,且实现所有数据的汇聚整合,有利于后期航道大数据的分析挖掘,进而发现更多有重要价值的航道知识。     

基于分布式计算的大学就业信息管理系统

针对大学生面临就业难现状,有效管理就业信息,提升就业率,设计基于分布式计算的大学就业信息管理系统。利用网络爬虫技术采集学生、企业与教育管理部门的相关信息,将采集信息存储起来并形成数据库;利用分布式计算框架处理数据库内的信息,提升系统的实时性,挖掘获取处理后数据内隐藏的有价值信息,并设计了基于企业生命周期理论的就业推荐算法为学生推荐合理的职位。实验证明:该系统可有效管理就业信息,系统读取数据效率与信息检索完整度高,具备较好的就业推荐性能。     

基于Scrapy的大数据学情分析系统就业岗位数据爬取

大数据学情分析系统开发主要涉及构建大数据平台、采集岗位信息、数据存储、数据处理、数据分析、数据可视化、上线部署等关键环节.其中,采集岗位信息环节需要借助Scrapy爬虫框架从招聘网站采集就业岗位数据,配置爬虫数据萃取表达式,对采集到的HTML内容提取出csv格式,数据内容包括岗位、公司、月薪、福利、职位描述、职位要求等.对采集数据进行简单的筛选,保留有价值的信息.在资源条件有限的前提下突破网站的反爬策略实现数据爬取是一个难题,以实现某网站爬虫为具体案例,简要介绍从需求分析、设计方案以及具体技术实现过程,并对爬取过程中页面结构不一致、边界、去重、突破反爬机制等问题进行总结.     

EMS系统Mosaic与Oracle间接口的设计与实现

利用Mosaic系统对企业能源管理系统实时数据进行采集和监控,并将能源量进行统计管理,把EMS内部或外部原本孤立的系统和数据流程化地整合在一起是企业解决信息孤岛的一种方法.介绍EMS系统Mosaic与Oracle通信关键技术,设计实时数据的接口方案和通信规约,利用API方式进行不同系统间相互通信,实现不同系统的集成,达到信息的共享.     

互动交流：实体零售共话大数据分析和O2O落地

另眼看大数据,实现理性分析 《信息与电脑》主编苏建东：大数据给未来零售带来了契机、带来了机遇。很多企业事实上已经储存了很多数据,但是数据的质量、采集的精准性,数据价值的挖掘都无法把控,它有没有成为企业运营和决策的依赖呢,有没有发挥出它的商业价值呢？     

基于大数据技术与网络爬虫的创新创业竞赛服务

针对传统创新创业竞赛服务数据采集效率低下,信息过于分散,导致信息质量差的问题,设计一个基于大数据技术与主题网络爬虫技术的创新创业竞赛服务系统。系统主要分为数据采集、消息订阅、智能推荐和大数据存储功能模块。首先采用主题网络爬虫方法进行信息爬取;然后采用大数据技术的向量空间模型VSM算法和改进协同过滤推荐算法对采集数据进行过滤清洗和智能推荐,以此实现各个功能模块的设计。实验结果表明,提出的主题网络爬虫方法对不同信息的平均采集速度均保持在8.6 ms上下,系统数据采集效率显著提升。提出的VSM算法对数据处理后的平均相似度取值为0.833,十分接近标准值0.75,说明本系统提升了数据采集质量。由此可知,设计的系统满足创新创业竞赛服务需求,具有一定的可行性。     

基于大数据的资料信息管理服务系统设计

传统的资料信息管理服务系统逐渐无法满足当前海量信息数据管理、存储与服务的需求,不能为企业决策提供匹配度较高的资料信息,因此设计了基于大数据的资料信息管理服务系统。设计的管理服务系统采用浏览器/服务器模式（Browser/Server,B/S）集成性硬件架构,为海量资料信息管理服务系统的高效运行提供了稳定的硬件环境。设计的软件可通过数据采集模块采集并预处理资料信息文件,利用大数据技术统计分析资料信息。依据数据库实体-联系（EntityRelationship,E-R）属性关系设计资料信息数据库,可以实现安全存储并管理资料信息。通过测试分析可知,设计的管理服务系统的各个功能模块运行状况均符合预期设计要求,且在整体性集成并发访问数量不断增长的趋势下,仍能保持系统资料信息查全率在96%以上。     

能源大数据智能监管系统设计

能源大数据量级的不断增加给能源大数据智能监管带来了极大的困难。为此提出能源大数据智能监管系统，搭建能源大数据架构单元，设计采集单元和访问接口单元，完成系统硬件设计。通过处理计算能源大数据信息，追踪控制能源数据源头，设计全景态势可视化呈现，实现能源大数据智能监管系统的软件运行。经实验证明系统能源大数据的压缩率高、数据态势预测误差小，具有一定应用性。     

用电信息采集系统电能计量数据异常原因分析

用电信息采集系统每天都需要采集大量的数据,采集系统通过数据自动分析能力保证数据的正确性。本文介绍了用户用电信息采集系统的概念和存在的问题即数据处理问题,通过对电能计量装置的异常分析数据的异常,对电能计量数据异常的特征进行了有关分析。