大数据环境下的多源数据演化更新研究

大数据环境下的多源数据呈现出数据量大、数据种类多、数据变化快的特点,这些特点对数据更新提出了新的挑战。通过分析大数据下多源数据的特点,定义了演化数据的概念,基于此建立了大数据的动态变频遍历更新模型。首先通过抽象数据的演化方式,建立了演化数据的势与稳定性概念,从而推导出更一般的代数意义上的演化运算工具;其次通过将运算工具导入大数据数据更新的实际应用中,推导出基于概率的变频遍历与动态权值模型;最后通过实验验证了在大数据环境下动态变频遍历模型(Dynamic Frequency Conversion Traversal,DFCT) 对多源数据具有较高的更新效率。     

大数据与数据挖掘

大数据指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据.所涉及的数据量规模巨大到无法通过人工在合理时间内完成信息的采集、处理、管理,并将其整理成为人类所能解读的信息.通过对大数据的认识和大数据带来的机遇,因此数据挖掘对大数据的管理来说至关重要.通过数据挖掘,从大数据中找到关键信息,从而为我们带来商机和社会价值.     

无线传感器网络数据收集问题综述

数据收集问题研究外界用户如何通过无线传感器网络从监控区域收集感知数据。传感器节点通过自组织方式构成网络,数据收集问题就是寻找高效可靠的方式将感知数据通过多跳的方式传输给用户进行分析和处理。近几年对数据收集问题的研究非常广泛,主要包含减少数据收集过程中的数据传输量、数据收集协议和大规模网络数据收集调度等问题。从以上几方面对数据收集问题进行综述。     

数据挖掘中数据约简的研究与应用

数据约简是数据挖掘中的一个重要领域.由于海量数据集在决策支持和数据管理方面引发很多问题,因此在数据预处理阶段通过层次分析法约简数据集中的属性,通过距离度量统计变量约简数据记录,从一个大数据集中选择一个子集,可以更加有效地进行数据挖掘.     

基于智能电网的安全监测云平台设计

为了保证智能电网的安全运维,设计了基于智能电网的安全监测云平台.利用监控数据收发器的工作原理,将智能电网数据分类.通过监控收发器的通信原理,实现数据的采集和提取,完成监控数据收发器的设计.将数据收发器采集到的智能电网数据,通过电能计量芯片提取出智能电网的传感电流.利用芯片外端接口完成电能计量芯片的设计.通过监控数据收发...     

微博分析与可视化系统的设计与实现

为营造良好的网络环境,系统使用人工智能相关技术,自动化构建语料库,进行微博数据分析与可视化.系统通过网络爬取数据技术获取微博的相关数据;通过机器学习对获取的数据进行情感分析和主题聚类;通过自然语言处理相关技术提取关键词;通过Vue相关技术将数据可视化.     

一种数据总线模型在电信企业运营支撑中的应用

本文针对电信企业数据集成现状及存在问题,提出了一个基于EAI平台的企业数据总线模型.该模型通过引用EAI平台功能实现企业元数据定义及数据浅加工,通过ETL、数据集成技术实现数据深度加工,并通过数据总线组件的部署实现了提供给企业数据消费系统应用的松耦合数据接口.该支撑体系在电信企业数据集成项目中得到了较好的实际应用.     

车联网大数据的安全访问控制模型设计

本文设计了车联网大数据安全访问控制模型.通过数据感知层采集车联网数据,并利用数据加密标准算法实施加密处理.将加密后的数据通过网络通信层传输到安全访问控制中心,再通过安全认证模块赋予或限制用户访问权限.在异常数据监测模块中,应用孤立森林算法检测拥有访问权限的用户,并识别数据异常状况,将识别到的异常数据存储到异常监测存储数...     

地籍数据网上汇交系统关键技术研究

国土地籍数据采用分级管理机制,不同地区的地籍管理系统是异构的,为实现分布异构环境下,国土地籍数据网上汇交,不允许改变已有现有数据存放方式,不允许操作现有数据库,必须要在保证地籍数据安全的前提下,通过元数据技术定位下级数据存放服务器,实现异构数据库间表与字段的映射,通过数据监听实现数据变化的提取,通过Web和XML实现数据实时同步.通过地籍数据汇交中间件,建立了区、市、省,国家四级地籍数据的汇交机制.实践结果表明,地籍数据汇交中间件,具有通用性,同时独立于数据库平台,实现地籍数据的实时、准确传榆,但也存在着数据传输速度较慢的问题,有待下一步工作解决.     

远程容灾系统的设计与实现

设计并实现了一种远程容灾系统。通过实时监控本地存储服务器上的数据变化,并将变化数据通过Internet发送到远程灾备服务器来实现数据的远程备份,通过将远程备份数据写回到本地存储服务器来实现灾难恢复,生产服务器的容灾数据存储于本地存储服务器中,通过iSCSI技术访问。该系统提供了多种数据同步与恢复策略,并提供了图形化Web配置管理平台,支持多种操作系统。     

地检质谱仪上位机软件系统的设计与实现

设计并实现了质谱仪上位机软件系统,可完成对质谱仪的状态信息接收、各项重要参数的监测与实时设定。软件能够在试验时通过串口发送控制命令来实时控制质谱仪的状态,也可通过串口采集质谱仪的相关参数及实时数据,并在数据采集后提供数据处理、分析和特定格式谱图保存功能。     

一种支持多接口的高速数据采集与转储系统

为了满足高速信号数据采集与存储的准确性及数据的实时分析需求,该系统支持多接口的高速数据采集与转储功能。通过多接口转储数据对比,保证数据准确性。通过光电转换板实时透传保证数据可实时分析。经测试,可实现基于高速Aurora接口的1.25 Gbps数据采集速度,基于网口的70 Mbps的数据转储速度,以及基于光口的625 Mbps数据转储速度和基于光口的1.2 Gbps数据透传速度。     

基于FPGA的智能串口模块设计

基于FPGA的智能串口模块用于扩展3U Comapct PCI工业控制计算机的RS232串行接口。智能串口模块在硬件设计采用FPGA,在FPGA内部实现NiosⅡ软核,作为处理器实现串行通讯的智能控制功能,通过设计通用异步串行控制器（UART）IP核,实现串行接口的通讯协议,使模块具集成度高、有可灵活配置性、易功能扩展等优点,模块采用处理器管理串行接口的数据收发,从而提高了串行接口数据传输的稳定性,降低了在传输过程中出现数据丢失现象的几率。     

基于SJA1000的RS-232转DeviceNet模块的设计与实践

介绍一种利用单片机与SJA1000组成的RS-232转DeviceNet模块。该模块作为现场总线DeviceNet节点接口，一端连接在DeviceNet网络中，另一端通过串口与其它设备相连，实现了串口数据与网络数据之间的重组与转换，完成了串口转换为DeviceNet网络的接口功能，使得不具备DeviceNet网络接口的设备也可以很容易地通过串口连接到DeviceNet网络中。通过典型应用测试，论证了传输功能完全满足DeviceNet网络的实时性要求。     

嵌入式IP的网络化传感器模块设计

为了实现传感器模块的双网络结构设计,通过TMS320C6713的同步串口和主机接口接入标准网络,提出了FPGA对网络物理层器件物理介质无关接口操作的方案;分别对物理介质无关接口与同步串口和主机接口的连接进行了详细分析,提供了同步串口和主机接口通过物理介质无关接口收发网络数据的实现方案,并实现了传感器模块DSP程序的网络下载;结合TMS320C6713强大的数据处理能力对数据进行预处理和灵活的网络协议封装,从而实现了基于TMS320C6713的双网络结构的传感器模块设计.     

面向物联网的高速数据交换节点设计方法

针对当前高速数据交换节点设计方法存在功耗高、整体性能低下的问题,提出一种新的面向物联网的高速数据交换节点设计方法.设计了节点所处物联网的拓扑结构,并分析设计了调制模块、码字相加模块和解调模块.令每个和高速数据交换节点的IP模块经输入端口与输出端口和交换节点相连,在各输入端口处设置一个缓冲队列,通过调制模块读取数据,传输至码字加法器模块进行加法运算,将计算结果发送至各个解调模块进行处理后,把数据传输至目的IP模块.通过码分多址技术实现高速数据交换节点的软件设计.实验结果表明,所提方法带宽使用率高、传输速度快、响应能力强.     

基于并行口的手臂机器人控制系统数据通信设计

针对串行口数据传输速度慢、数据传输量小等缺点,提出了一种在手臂机器人控制系统中上位计算机和下位控制器之间基于并行口实现双向数据通信的方法,它充分利用了传统并行接口的优势．文章采用并口的EPP工作模式进行数据的双向通信,实现了高速的实时控制通信功能,并给出了硬件设计电路、软件设计流程图和试验结果。实验结果表明,采用文中给出的设计是可行的;系统在实时性、准确性上都能达到良好的效果,实现了廉价高速的双向数据通信。     

PLC编程口与上位机之间通讯格式的获取方法

为了实现PLC通过其编程口与上位机进行数据传输,介绍了获得通过编程口对PLC进行读写控制的通讯格式的方法,建立了相应的通讯系统,给出了对PLC位元件和字元件进行读和写的四种类型指令通讯格式的实现步骤,用获得的操作指令和PLC的响应信息,就可以通过编程口对PLC的RAM区数据进行操作,为监控和管理PLC的运行提供了另外一种途径.     

基于LabVIEW的单片机数据采集系统的设计

介绍了89C51单片机及其外围数据采集电路构成的下位机的原理及程序框图,并详述了LabVIEW环境下的串口通讯的实1现方法,从而设计了一种LabVIEW环境下用单片机进行数据采集,PC机为上位机,二者之间通过串口实现数据通讯的数据采集系统。     

Linux服务器下多网口负载均衡算法的研究

网络存储架构需要一个高可靠性和高可用性的后端存储服务器来提供网络存储服务,而单网口配置制约了服务器数据传输性能。目前Linux内核bonding技术已经实现了将多个物理网口聚合为一个单一虚拟网口的方法。但这种不对称的技术在实现接收数据负载均衡时,只是通过ARP协商机制实现静态分配多网口,因此在实际应用中存在性能上的缺陷。鉴于此,在对现有的相关技术和算法进行研究后,提出了另外一种在此基础上改进的算法,即基于适应性负载均衡的动态接收算法,利用netfilter等技术对此算法进行了实现,进行了实际测试验证。新算法能显著提高多网口服务器接收数据时网络传输吞吐率。