云计算平台下的大数据分流系统的设计与优化

设计云计算平台下的大数据分流系统,实现优化数据聚类和模式识别。传统的云计算平台下的大数据分流系统采用的是开源码Linux嵌入式系统设计方法,分流系统通过耦合线圈连接到云计算平台的交换机中,导致分流系统中的数据出现漏分和错分。提出基于功能子程序动态加载和Tiny OS优先级调度的云计算平台下大数据分流系统优化设计方法。设计的云计算平台下大数据分流模块主要包括控制器模块、电源管理模块、数据存储器模块、传输通信模块、以太网模块和显示模块。采用Tiny OS优先级调度方法进行大数据信息流的特征采集和调度,得到大数据分流系统主控制器的芯片接口电路图和串口通信电路图。选用MBM29LV400BC作为片选和读、写信号的地址线,将大数据从12位的A/D结果转换成16位,最后在Linux操作系统中采用功能子程序动态加载方法进行系统的软件开发,实现系统优化设计。仿真结果表明,采用该系统能有效实现对云计算平台中的大数据分流,准确度高,性能优越。     

基于分布式数据流的网络处理器数据收集分类平台

自适应分布式数据流处理调整技术进行分布式数据收集与分类时,未构建精准的数据分类器,导致分类精度有所偏差,设计基于分布式数据流的网络处理器数据收集分类平台。所设计平台总体架构包括平台管理层、分布式数据收集层、分布式数据分类层;网络处理器通过网络交换机端口接收分布式数据流,采用变压器、PHY处理所获数据,与主控芯片FPGA交互将数据保存,实现分布式数据流收集;网络处理器实现分布式数据流分类过程包括训练阶段与测试阶段,训练阶段采用分布式数据流更新规则完成数据特征选择,测试阶段进行分布式数据流分类特征更新,对关联度较大的特征数据实施筛选,实现分布式数据流的分类。实验结果表明,所设计平台分类精确度均值高达99.5%,且用时短、使用内存小。     

基于虚拟仪器的数据处理系统设计与实现

传统数据处理系统主要以SCADA的数据为核心,采用跨平台为数据架构进行处理系统设计,对无共享内存的系统数据处理不准确、效率低,为此提出并设计基于虚拟仪器的数据处理系统。该系统主要分为硬件、软件两部分。硬件主要由虚拟仪器、数字I/O卡、循环数据采集卡、数据调度模块组成;软件部分给出数据处理系统软件实现的流程,最后进行实验分析。实验结果表明,采用改进设计系统对数据进行处理,其运行效率要优于传统系统,且数据处理结果准确度较高,具有一定的优势。     

基于关联规则的漏洞信息数据挖掘系统设计

针对当前漏洞信息数据挖掘系统挖掘效率过低、不具备实时查询能力的问题,设计一种基于关联规则的漏洞信息数据挖掘系统。对系统的硬件进行重点设计,硬件分为数据处理层、数据挖掘层、数据存储层和数据查询层四个层次。数据存储层利用HBase数据库存储数据,数据挖掘层负责读、写和挖掘三项工作,显示层采用MVVM框架,以模块化的方式绑定数据,填写标签。根据硬件设计结果给出软件流程,软件分为数据量化、可量化的数据子集抽取和模糊聚类三步。为检测系统的实际应用效果,与传统数据挖掘系统进行对比实验,结果表明,设计的数据挖掘系统能够在短时间内挖掘出大量的漏洞信息数据,挖掘效率更高。     

基于关联数据的图书个性化智能推荐系统设计

针对传统图书推荐系统存在匹配度不高、用户满意度较低的问题,引入关联数据技术设计一种新的图书个性化智能推荐系统。系统硬件结构由智能数据存储层、智能数据挖掘层、数据用户界面层组成,系统选用的处理器为嵌入式处理器,存储器为静态存储器。软件模块分为信息获取、信息匹配、信息推荐三个部分。为了检测系统工作效果,将其与传统推荐系统进行对比。结果表明,所设计的推荐系统能够精准地将用户所需信息与图书信息匹配到一起完成推荐,达到用户满意的效果。     

基于PLC的智能分流井电气组态控制

分流井可实现雨污分流,避免自然水体倒灌管网,提高污水处理效率,杜绝雨污水直排进入自然水体。智能分流井目前在我国沿海城市污水治理领域被广泛应用。文章利用西门子PLC S7-1200控制器和有人PLCNET路由器,设计了智能分流井的硬件组态、软件组态和云台数据传输,实现了分流井各种输入输出量的智能控制。能以三种不同的模式(人工、智能、云平台)操控堰门和闸门的动作,并在PLC云平台中实现了各种参量的监控。     

多源数据决策技术在红外目标检测中的应用

针对各个滤波算法的适用范围不同,仅仅依靠单一的滤波算法不能适应红外系统的实际需求,提出了复杂背景下红外图像弱小目标的多算法并行处理硬件结构,该结构采用了基于自适应"投票表决"的多源数据决策技术,能根据外场的实际情况自适应地将各种滤波算法的优势集合起来,可以极大地改善滤波效果,提高点目标的检测概率,为后续处理降低数据量及运算量.针对硬件仿真阶段注入原始红外图像数据流困难,无法实时对比图像处理前/后效果的问题,基于Wishbone-PCI桥核设计并实现了以FPGA为主处理器、主机为从处理器的红外图像处理仿真平台.实验表明,多源数据决策技术很好地满足了系统的实际需求,多算法并行处理硬件结构运行稳健有效,硬件仿真平台可靠稳定,整个系统有很强的工程实用价值.     

大数据环境下复杂网络入侵数据智能检测平台设计

现有复杂网络入侵数据检测平台易受环境因素影响,检测准确度无法满足实际需求,为此,提出并设计了一种大数据环境下复杂网络入侵数据智能检测平台。该平台由产生层、逻辑层、输出层三部分组成,利用产生层对复杂网络数据进行捕获,为平台设计提供基础;利用逻辑层对数据进行预处理、数据特征提取以及数据存储;输出层主要包括检测模块与响应模块,负责输出检测结果,并做出响应。平台中的检测程序通过复杂网络入侵数据智能检测软件完成。实验结果表明,该平台检测准确度可高达83%,且能有效避免网络环境的影响,稳定性较强。     

大型多媒体网络通信中的安全监测平台设计

由于受到大型多媒体网络通信中不安全因素更新迅速的影响,导致以往设计出的大型多媒体网络通信安全监测平台监测能力和响应效果均不高。因而,设计监测能力强、响应效果好的大型多媒体网络通信安全监测平台。该平台的监控中心为数据采集模块,数据采集模块利用RTL8019AS控制器采集大型多媒体网络通信中的节点传输数据和通信节点安全状态数据,为处理模块提供统一格式的待测数据。处理模块利用MSP430处理器对待测数据进行安全检测,其与传输模块直接相连。传输模块会对已处理过的待测数据进行错误检测和传输,其处理流程在软件中给出,软件还给出平台功能图。实验结果表明,所设计的平台监测能力强、响应效果好。     

基于多维分层采样的时间维度型大数据流整合系统设计

现有大数据流整合系统采用统一随机采样策略,当整合环境存在干扰时会出现严重的数据丢失现象,为解决上述问题,引入多维分层采样策略,分别从硬件和软件两个方面实现对时间维度型大数据流整合系统的优化设计。在硬件方面主要改装微处理器、存储器以及数据分类器等元件,提高硬件系统的运行稳定性。在此基础上,搭建多时间维度数据分层模型,并通过大数据流业务系统数据实现数据探查,并以多维分层的聚类算法为底层逻辑,检测数据质量。最终将质量检测合格的数据流整合在一起,从而实现系统的数据流整合功能。通过系统测试得出如下结论:在复杂环境下,基于多维分层采样的时间维度型大数据流整合系统的丢失数据量为1.25 MB,与传统整合系统相比减少了15 MB。     

大数据环境下的数据安全工作探讨

大数据就是用广泛存在的应用需求、浅显易懂的方式以及可展望的经济效益,成为云计算机和移动互联网等信息技术领域的又一大热点。然而,因数据安全与隐私等问题给大数据的发展造成了不小的影响。本文就大数据环境下的数据安全工作展开了相应的探讨。     

Benefit-oriented data retrieval in data broadcast environments

Broadcast disk technology has become a popular method for data dissemination in wireless information systems. However, factors such as intentional periodic disconnection by the mobile hosts (MH) result in further needs for managing access modes so as to let the mobile hosts procure highest benefit through the disconnections. We address this issue in this paper and propose solutions for the MH to retrieve the broadcast data. Our performance results show that the proposed algorithms indeed achieve almost the optimal performance, but require only 5–30% of the cost of an algorithm that is otherwise designed.     

基于数据挖掘的快速记录存储器数据处理技术

针对目前国内缺少专门分析快速记录存储器(QAR)数据的有效手段的情况,研究了一种新的基于数据挖掘的QAR数据的分析方法。首先结合聚类和概率分析对k-means算法进行改进,解决了聚类数目难以确定的难题,形成了良好的聚类效果;然后,在此基础上结合加权最小距离分类器及概率分析的方法,对待分类的QAR数据的类别属性进行判断以确定异常数据;最后给出了仿真实验,验证了该方法的可行性和有效性。     

利用数据挖掘技术实现LIS数据共享的开发实践

构建一个以"智慧医疗"为理念的检验数据共享平台,为患者建立一个有关检验数据的数字账户。利用数据挖掘技术对现有医院实验室信息管理系统（LIS）的大数据进分析,并利用WEB或手机APP的方式呈现给客户诊断结果。系统经过半年的调试运行,大大缩减了病人的排队等待和就诊时间,减轻了医生的门诊工作压力。采用数据挖掘技术对LIS数据分析后的结果精确高效,实现了真正意义上的检验数据共享。     

Hiding data in multitone images for data communications

Two novel data-hiding schemes for secure data communications are presented. These two schemes perform on the pixel differences between the original (host) image and the decompressed image, which is inspired from Wu's and Chao's methods. The first scheme, referred to as 'scheme-1', utilises the differences between two similar images and then embeds the secret data into the different parts. In the embedding process, two auxiliary techniques, zero-replacement and complement-bit, will also be incorporated. In addition, to enhance the hiding efficiency of scheme-1, the authors have followed the bit-plane hiding strategy and created scheme-2. The proposed schemes have two advantages. First, the error distortion can be measured before the hiding process begins. Second, there is no complex computation, which means the hiding process can be executed very efficiently. The experimental results show that the two proposed schemes can achieve better image quality than other data-hiding schemes. At the same time, the new schemes can also satisfy the three basic requirements a data hiding scheme should live up to: invisibility, capacity and data security.     

用于智能电表数据分析的大数据平台

智能电网所产生的海量计量数据对数据存储和数据处理的系统架构提出了苛刻的性能要求,为此,文中提出了一种以内核、代理和客户端为主的模块化的大数据平台架构。所提议的大数据平台是基于Hadoop平台扩展,针对TB级别的静态智能电表数据集的存储和查询。实验结果表明,提议的大数据平台能够为电力行业提供一个具有竞争力且易于操作的大型能源数据管理和可视化知识平台,具有支持数据密集型决策的潜力。     

在商业数据仓库系统中使用空间数据

首先论述了在商业数据仓库系统中使用空间数据的必要性和可行性 ,然后总结了至今为止主要的几种使用方式 ,最后着重阐述了其中代表发展趋势的第三种方式的系统结构和关键技术。     

数据采集与转换中的一些关键问题

数据采集与转换系统用于将模拟信号转换为数字形式进行分析或传输。模拟信号输入通常是由互感器和传感器将压力、温度、应力或张力、流量等真实信号转换为相应的电信号。系统保存信号准确性和完整性的能力是衡量系统的主要指标。如何设计一个高性能的数据采集与转换系统需要考虑多方面的因素，本文就其中的一些关键问题给出自己的讨论。     

Biological data integration: wrapping data and tools

Scientific data is inevitably digital and stored in a wide variety of formats in heterogeneous systems. Scientists need to access an integrated view of remote or local heterogeneous data sources with advanced data access, analysis, and visualization tools. Building a digital library for scientific data requires accessing and manipulating data extracted from flat files or databases, documents retrieved from the Web as well as data generated by software. We present an approach to wrapping web data sources, databases, flat files, or data generated by tools through a database view mechanism. Generally, a wrapper has two tasks: it first sends a query to the source to retrieve data and, second builds the expected output with respect to the virtual structure. Our wrappers are composed of a retrieval component based on an intermediate object view mechanism called search views mapping the source capabilities to attributes, and an Extensible Markup Language (XML) engine, respectively, to perform these two tasks. The originality of the approach consists of: 1) a generic view mechanism to access seamlessly data sources with limited capabilities and 2) the ability to wrap data sources as well as the useful specific tools they may provide. Our approach has been developed and demonstrated as part of the multidatabase system supporting queries via uniform object protocol model (OPM) interfaces     

大数据时代的光存储技术

概述了光存储技术的发展历史和现状，分析了在大数据时代光盘的作用和存在的意义。面对传统光盘容量低、速度慢等问题，介绍了能够妥善解决此问题的光盘库技术。最后介绍了可替代传统光盘的全息光存储技术。其中，同轴全息光存储既可与传统光盘相兼容，又可作为大数据高密度高速率长期保存的解决方案。