基于ML-kNN算法的大数据分类系统设计

传统的大数据分类系统无法对海量数据的独立标签进行相关处理,导致系统内大数据的分类处理结果精确度较低。针对这一问题,提出了基于ML-kNN算法的大数据分类系统设计。系统硬件部分采用C/S混合式架构,处理器的设计选用单片机模式;系统软件部分通过设计大数据准备模块将数据集群的节点信息分配传递到系统的处理器中,通过数据模拟层提取大数据的分类特征,依据大数据的非结构文本特点设计大数据分类模块,同时基于ML-kNN算法设计分类结果分析模块,计算出数据集的样本特征标签概率,从而完成大数据分类系统的设计。测试证明,随着数据量的不断增多,该系统分类处理数据的准确率与召回率较传统的数据分类系统具有显著优势,在大数据的分类处理方面具有更好的性能。     

基于FPGA的TOE网卡设计与实现

为进一步减轻CPU的负担,有效增加系统性能,描述一种基于FPGA的TCP减负引擎系统的设计与实现。该TOE网卡将部分TCP协议软件处理下移到FPGA中实现,以硬件的方法实现报文分类和TCP流还原等流量处理功能。实验数据表明,使用TOE网卡可以大幅降低主机的CPU占用率。     

云计算下低占用率大数据智能分类仿真研究

针对大数据智能分类效率低、占用率较高的问题,提出了一种云计算下低占用率大数据智能分类方法,采用贝叶斯算法构建智能分类模型,使其后续分类时通过朴素贝叶斯智能分类器可以将容错率降到最小,并构建压缩函数及选择特征使其能够和源数据之间的区分程度相同的,对智能分类模型进行训练,通过训练后的分类模型对源数据进行特征分类,最终完成云计算下大数据智能分类的目的 .仿真结果表明,使用改进方法对大数据分类,其计算过程简单、空间占用率较低,能够有效的缩短数据分类时间,鲁棒性较强.     

电力大数据调度云的优化

由于电力大数据的体量大、类型多、速度快等特点,传统计算难以对其很好地处理.在深入研究云计算技术的基础上,尝试在调度业务中引用云计算.介绍了一种调度云框架,详细说明了调度云基础设施层、平台层、服务层的层次结构,阐明了调度云的五种应用服务,并设计了调度云的拓扑结构和工作流程.通过仿真比较了云计算和传统计算的效率,验证了利用云计算处理电力大数据的可行性.最后,提出了一种在系统内存中对电力大数据进行处理的云计算方法,并通过实验证明云计算方法能够实现调度云的优化.     

基于云计算的网络大数据均衡调度系统设计

由于传统大数据均衡调度系统应用下的网络吞吐量较低,因此提出基于云计算的网络大数据均衡调度系统。在系统硬件方面,设计了动态调度器和网络数据管理服务器,其中动态调度器执行系统均衡调度策略来辅助系统完成数据均衡调度任务,网络数据管理服务器对系统接收的网络大数据集成管理。在系统软件方面,首先采用网络爬虫技术对网络大数据样本进行采集,在数据矢量空间中建立映射关系;其次利用模糊循环迭代控制技术对网络大数据样本进行均衡处理;最后利用云计算技术对网络大数据均衡调度策略进行计算分析,以此实现系统设计。经实验证明,应用设计系统的网络吞吐量高于传统系统。     

基于大数据的物联网接入身份安全认证系统设计

目前已有的物联网接入身份安全认证系统密钥编排时间过长，系统内存泄露过多。为此，基于大数据设计一种新的物联网接入身份安全认证系统。通过硬件支持，利用大数据分析数据信息，通过用户注册、数据安全认证、密码修改、安全性能分析实现软件流程设计。实验结果表明系统能够在短时间内实现密钥编排，降低系统的内存泄露风险。     

基于GemFire的海量数据计算性能实验分析

针对交通领域多源动态海量数据高性能计算的实时性、动态扩展性处理要求,提出了一种基于GemFire的分布式内存数据库实验平台。采用键-值数据存储结构和分布式动态成员关系,通过加载浮动车系统的真实数据在完整的云计算架构下,进行了计算性能测试与分析。实验结果表明,平台可将千万级以上大数据量的计算时间缩短至原系统的10%以内,满足了交通物联网云平台整合利用各子系统数据资源的应用需求。     

云计算平台上的增量分类研究

针对已有增量分类算法只是作用于小规模数据集或者在集中式环境下进行的缺点,提出一种基于Hadoop云计算平台的增量分类模型,以解决大规模数据集的增量分类。为了使云计算平台可以自动地对增量的训练样本进行处理,基于模块化集成学习思想,设计相应Map函数对不同时刻的增量样本块进行训练,Reduce函数对不同时刻训练得到的分类器进行集成,以实现云计算平台上的增量学习。仿真实验证明了该方法的正确性和可行性。     

基于Dymola的大数据可视化教学辅助系统

大数据可视化教学辅助系统运算较为复杂，导致系统中央处理器（CentralProcessingUnit,CPU）占用率增加，影响系统的稳定运行，因此设计基于Dymola的大数据可视化教学辅助系统。硬件方面，设计MC68HC908GP32芯片和SDIN5C2-8GB存储器。软件方面：建立教学辅助权限控制模块，对不同的权限实体采用不同的权限控制；基于Dymola构建大数据可视化教学辅助模型，简化系统运算程序，从而提高系统的运行稳定性。测试结果表明，该系统的CPU占用率更低，能够保持良好的运行状态。     

云环境下基于多虚拟机的在线视频监控系统设计

针对常规视频监控系统在线实时性不强,海量视频数据传输迟滞,任务管理单一等问题,提出了构建在云计算环下基于多虚拟机技术在线视频监控系统;利用云计算平台中的物理资源与服务资源提升在线视频监控系统数据处理能力,虚拟机可同时处理大量的视频监控数据,并将视频数据以云存储的方式存储于云端服务器,降低了设备建设成本,可根据不同用户需求定制相关服务;本系统基于云计算平台设计,应用数十台乃至数百台虚拟机对在线视频监控数据进行处理,设计实现了云平台下在线视频监控系统的结构设计、以太网通信接口设计、服务器硬件配置和虚拟机控制;在软件设计方面通过对各虚拟机资源利用率的计算而动态分配资源,从而可以有效减少网络传输系统状态信息的带宽开销;通过系统功能与性能测试表明,在常规公共网络10 M带宽的情况下,本系统在线视频监控数据的传输延迟时间相比于传统视频监控减少了85％以上,监控视频数据量减少了75％以上.     

一种适应GPU的混合访问缓存索引框架

散列表（hash table）作为一类根据关键码值（key value）提供高效数据访问的数据索引结构,其广泛应用于各类计算机应用中,尤其是在对性能要求极高的系统软件、数据库以及高性能计算领域.在网络、云计算和物联网服务方面,以散列表为核心结构已经成为缓存系统的重要系统组件.然而,随着大规模数据量的大幅度增加,以多核CPU为核心设计散列表结构的系统已经逐渐出现性能瓶颈,亟需进一步改进散列表的高性能和可扩展性.随着通用图形处理器（graphic processing unit,简称GPU）的日益普及以及硬件计算能力和并发性能的大幅度提升,各类以并行计算为核心的系统软件任务在GPU上进行了优化设计并得到可观的性能提升.由于存在稀疏性和随机性,采用现有散列表的并行结构直接在GPU上应用势必会带来高频次的内存访问和频繁的总线数据传输,影响了散列表在GPU上的性能发挥.重点分析了缓存系统中散列表索引的内存访问、命中率与索引开销,提出并设计了一种适应GPU的混合访问缓存索引框架CCHT（cache cuckoo hash table）,提供了两种适应不同命中率和索引开销要求的缓存策略,允许写入与查询操作并发执行,最大程度地利用了GPU硬件的计算性能与并发特性,减少了内存访问与总线传输.通过在GPU硬件上的实现与实验验证,CCHT在保证缓存命中率的同时,性能优于其他用于缓存索引的散列表.     

The rise of “big data” on cloud computing: Review and open research issues

Cloud computing is a powerful technology to perform massive-scale and complex computing. It eliminates the need to maintain expensive computing hardware, dedicated space, and software. Massive growth in the scale of data or big data generated through cloud computing has been observed. Addressing big data is a challenging and time-demanding task that requires a large computational infrastructure to ensure successful data processing and analysis. The rise of big data in cloud computing is reviewed in this study. The definition, characteristics, and classification of big data along with some discussions on cloud computing are introduced. The relationship between big data and cloud computing, big data storage systems, and Hadoop technology are also discussed. Furthermore, research challenges are investigated, with focus on scalability, availability, data integrity, data transformation, data quality, data heterogeneity, privacy, legal and regulatory issues, and governance. Lastly, open research issues that require substantial research efforts are summarized.     

基于异构计算平台的规则处理器的设计与实现

对于身份认证机制中的安全字符串恢复,字典结合变换规则是一种常用的方法。通过变换规则的处理,可以快速生成大量具有针对性的新字符串供验证使用。但是,规则的处理过程复杂,对处理性能、系统功耗等有很高的要求,现有的工具和研究都是基于软件方式进行处理,难以满足实际恢复系统的需求。为此,文中提出了基于异构计算平台的规则处理器技术,首次使用可重构FPGA硬件加速规则的处理过程,同时使用ARM通用计算核心进行规则处理过程的配置、管理、监控等工作,并在Xilinx Zynq XC7Z030芯片上进行了具体实现。实验结果表明,在典型情况下,该混合架构的规则处理器相比于单纯使用ARM通用计算核心,性能提升了214倍,规则处理器的运行性能优于Intel i7-6700 CPU,性能功耗比相比NVIDIA GeForce GTX 1080 Ti GPU有1.4~2.1倍的提升,相比CPU有70倍的提升,有效提升了规则处理的速率和能效。实验数据充分说明,基于异构计算平台,采用硬件加速的规则处理器有效解决了规则处理中的速率和能效问题,可以满足实际工程需求,为整个安全字符串恢复系统的设计奠定了基础。     

面向数据中心的服务器能耗模型综述

伴随着云计算技术的快速发展,数据中心的服务器能耗日益激增,带来了严重的经济和环境问题,降低数据中心能耗,对缩减数据中心运营成本、实现全球“双碳”战略目标具有重要意义。因此,不同层面的服务器能耗模型构建和预估成为了近年来研究的热点。据此,从硬件、软件层面系统地总结了服务器能耗模型的相关工作。在硬件层面,对服务器的整体能耗按加法模型、基于系统利用率模型和其他模型分类；同时,还总结了服务器部件粒度的能耗模型,涵盖CPU、内存、磁盘和网络接口。在软件层面,按机器学习的类别将服务器能耗模型归纳为监督学习、非监督学习、强化学习。此外,还比较了不同能耗模型的优缺点、适用场景,展望了能耗模型的未来研究方向。     

Hybrid Access Cache Indexing Framework Adapted to GPU

Hash tables, as a type of data indexing structure that provides efficient data access based on key values, are widely used in various computer applications, especially in system software, databases, and high-performance computing field that requires extremely high performance. In network, cloud computing and IoT services, hash tables have become the core system components of cache systems. However, with the large-scale increase in the amount of large-scale data, performance bottlenecks have gradually emerged in systems designed with a multi-core CPU as the core of the hash table structure. There is an urgent need to further improve the high performance and scalability of the hash tables. With the increasing popularity of general-purpose Graphic Processing Units (GPUs) and the substantial improvement of hardware computing capabilities and concurrency performance, various types of system software tasks with parallel computing as the core have been optimized on the GPU and have achieved considerable performance promotion. Due to the sparseness and randomness, using the existing parallel structure of the hash tables directly on the GPUs will inevitably bring high-frequency memory access and frequent bus data transmission, which affects the performance of the hash tables on the GPUs. This study focuses on the analysis of memory access, hit ratio, and index overhead of hash table indexes in the cache system. A hybrid access cache indexing framework CCHT (Cache Cuckoo Hash Table) adapted to GPU is proposed and provided. The cache strategy suitable to different requirements of hit ratios and index overheads allows concurrent execution of write and query operations, maximizing the use of the computing performance and concurrency characteristics of GPU hardware, reducing memory access and bus transferring overhead. Through GPU hardware implementation and experimental verification, CCHT has better performance than other cache indexing hash tables while ensuring cache hit ratios.     

云计算数据中心可扩展服务器节能优化研究

摘要：云计算数据中心越来越庞大,硬件规模也日益增大,而且还会有大量的计算资源、存储资源会出现在云端,促使出现了一大批十万级、百万级、乃至千万级服务器的数据中心,且服务器还可以增量扩展与增量部署,高能耗问题已经日益凸显,严重制约到云计算数据中心的可持续性发展。本文提出了一种新型的云计算数据中心可扩展服务器节能优化策略——效能优化策略,能够基于全局角度来降低能源消耗,优化服务器选择过程,并且还可促使不同服务器之间实现负载均衡。仿真实验结果表明：基于能耗大小来看,本文提出的效能优化策略要比DVFS策略、无迁移策略所对应的能耗分别节约15.23%、24.33%;基于迁移数来看,本文提出的效能优化策略要比DVFS策略所对应的迁移次数减少2425次,总之,本文提出的效能优化策略总体而言要明显比DVFS策略、无迁移策略更优越。     

一种基于PC机的高速16位并行数据采集接口

介绍了一种在PC机上实现的高速16位并行数据采集接口。该接口由高速光电隔离电路,双端口FIFO存储缓冲器电路及由FPGA芯片构成的计算机接口逻辑与控制电路等组成。该接口电路将终端显示处理系统与前端数据处理系统通过光电耦合器隔离开来,避免了它们之间的相互干扰,较好地解决了16位并行数据高速传输中存在的电磁干扰问题和大数据量实时有效传输问题。采用现场可编码门阵列FPGA芯片,使硬件设计软件化,既实现了复杂逻辑功能设计,又减少了硬件电路规模,提高了系统的可靠性,在雷达、声纳等复杂系统中具有良好的应用价值。     

基于FPGA的水声信号高速采集存储系统设计

介绍了一种基于FPGA的水声信号数据采集与存储系统的设计与实现,给出了系统的总体方案,并对各部分硬件和软件的设计进行了详细描述。系统以FPGA作为数据的控制处理核心,以存储容量达2 GB的大容量NAND型Flash作为存储介质。该系统主要由数据采集模块、数据存储模块和RS-232串行通信模块组成,具有稳定可靠、体积小、功耗低、存储容量大等特点,实验证明该系统满足设计要求。     

基于龙格-库塔的弹道微分方程解算的FPGA实现

针对火控计算中求解弹道微分方程组的速度、精确度以及资源配置间的冲突,设计了一种在FPGA硬件平台上实现、基于龙格-库塔的微分方程组求解器。通过在方程组之间以及方程内的计算步骤中采用多通道二级并行的方式实现算法硬件加速。实验结果表明,对于精度要求高、计算复杂度大的微分方程组,FPGA硬件实现的运算性能较传统的软件实现方式加速性能明显。     

基于业务流程的财务数据自动化分类系统设计

针对当前的财务数据分类系统误分率较高的问题,设计一种基于业务流程的财务数据自动化分类系统。该系统以财务数据分类算法为中心,在程序加载和交叉编译模式下,采用分布式云计算技术对采集到的财务数据进行融合处理,提取其高阶统计特征量;采用分组样本检验分析方法分析财务数据间的关联性,结合业务流程进行财务数据的属性分类识别;以业务流程的模糊聚类分布为中心矢量,采用分段检测方法实现财务数据的自动化分类;将上述过程采用程序加载方式移植到处理器终端,进行财务数据分类系统的交叉编译控制,实现财务数据的自动化分类系统的设计。仿真实验结果表明,采用该系统进行财务数据自动化分类的准确性较高、误分率较低,提高了财务数据的业务管理和分析能力。