海量互联网数据中英语翻译术语高效搜索系统设计

针对海量的互联网数据经常产生翻译歧义的问题,设计英语翻译术语高效搜索系统。所设计系统的工作模型从海量互联网数据中收集英语翻译术语,搜索模型构造映射线程来剖析目标英语翻译术语的基本概念和学科范围,通过搜索链接来驱动工作模型进行搜索。工作模型分5条路径采集搜索结果中英语翻译术语的结构特征,提取相关比率高的结果并存储于搜索链接中,将相似度小的搜索结果排列在搜索链接前端,反馈给搜索模型供用户查看。实验测评显示,系统的查全率和查准率等级很高,也可保证搜索效率。     

基于云计算的海量数据处理平台设计与实现

针对传统并行处理技术在海量数据处理中存在的实际应用问题,利用云计算技术强大的计算能力、高效的海量数据处理方式,结合关系数据库实时访问的优点,在Hadoop分布式计算框架基础上,采用Map-Reduce架构,设计并实现了基于云计算的海量数据处理平台.实践证明,该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术,能有效解决海量数据大并发访问.     

基于云存储的异构海量数据搜索平台设计

针对云储存中充斥的各种各样异构数据带来的数据搜索复杂的问题,采用多核网络处理器技术构建平台内部硬件加速,结合MapReduce模型设计了API应用程序接口。在数据的搜索过程中,利用Sheduler为媒介对chunk Num个数据子模块划拨给操作模块,并在CPU-GPU并行条件下进行MapReduce流程操作,异构数据搜索平台又将工作chunk进行细化以提升数据的搜索能力。利用WC、SM、MM和KM四种负载测试信息对系统平台进行性能测试,结果显示四种信息的不平衡性均随着数据粒度不断上升,其中,MM数组相乘轨迹的非平衡性自4000开始向上攀升,而SM字符串配、WC字数统计和KM迭代聚类的非平衡性分别对应8000、12000和12000粒度级。     

一种安全性的海量数据处理平台设计与实现

提出了一种开放分布式海量数据处理平台的设计方案。该平台以HDFS、Hive和HBase等作为底层数据存储方式,以Map Reduce、Spark和Storm等作为底层数据处理方式,向用户提供了统一的接口,同时使用Kerberous进行权限控制,保证了数据安全性。这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。     

基于大数据的政务数据全网搜索系统的设计与实现

全网搜索系统是政务大数据平台的重要基础性应用。该系统通过对海量数据的采集、治理、挖掘和分析,建设规范的核心基础库、通用指标库和领域基础数据库,并应用数据标注、元数据梳理、主数据服务、指标构建、模型分析、自然语义等核心技术,将数据与业务关联起来。其还通过语义识别和语义对齐来智能判别用户的搜索意图,提供标准、个性、精准的数据搜索,并结合数据实际对搜索结果进行可视化分析与呈现,实现跨层级、跨区域、跨系统、跨部门、跨业务的数据关联查询与共享,实现政务数据的全网搜索。     

面向OLAP的高效海量数据存储技术研究与实现

文章在分析了OLAP大规模海量多维数据特点的基础上,针对当前一般规模关系数据库处理海量多维数据能力的不足,通过使用数据库分区技术和并行磁盘组技术,设计并实现了一种高效的、面向OLAP应用的数据存储管理结构。并针对传统查询优化器对于大规模海量数据统计信息更新不及时的问题,设计了一种基于分区技术的统计方法。实验证明,该设计可以对百TB级的多维海量文本数据进行有效的管理。     

海量数据的一致性研究

实现海量数据管理的关键技术之一是数据复制,维护多节点副本间数据的一致性是提高分布式数据库的容错能力与性能的重要保证。文章在介绍数据一致性基本理论和比较分析各种数据一致性维护方法的基础上,对海量数据一致性维护过程中出现的更新传播模型、更新传播内容及解决更新冲突等进行分析,并提出了相应的解决办法。     

面向高性能计算机的海量数据处理平台实现与评测

随着科技的飞速发展,计算机应用不断完善,各个领域产生海量数据,这些数据有着巨大的查询分析价值。海量信息的利用离不开底层的数据操作,但是数据膨胀给应用系统带来不良影响,导致系统运行过程所需的资源日益增大同时运行效率降低,这就要求充分利用高性能计算机来解决海量数据的查询效率问题。     

海量数据信息管理系统设计与实现

为了提高不同场景的绘制效率,对网络中海量数据信息进行可视化管理,设计一种基于三维虚拟的海量数据信息管理系统。系统分为三维图像处理模块、信息感知模块、数据交互模块、三维模型重构渲染模块和输出程序控制模块。采用视景仿真渲染工具Vega Prime进行海量数据信息管理系统的三维立体建模和视景分析,采用3ds MAX软件进行海量数据信息管理建模,结合自适应图形跟踪渲染方法实现网络中海量数据可视化三维图形绘制,提高对海量数据信息的跟踪能力,构建视景分析模型数据库,实现对海量数据信息进行实时管理。仿真结果表明,设计的系统具有很好的三维虚拟重构能力,提高了海量数据显示与交互操作的绘制效率。     

海量弱关联图像数据的检测系统设计与实现

当前设计的图像数据检测系统大都依据特定关键词完成数据检测,对海量弱关联图像数据的检测效率和精度较低。为了解决这些问题,设计基于PMML规范的海量弱关联图像数据检测系统,其将数据检测算法同PMML标准融合,由表示层、应用服务层和数据资源层构成。其中应用服务层中的数据检测模块将形成的检测模型通过PMML文档输出,模型应用模块通过PMML模型采用自定义的数据检测查询语言CMQL完成语言检索,实现海量弱关联图像数据的有效检测。系统实现部分给出了PMML模型的创建和应用过程。实验结果表明,所设计检测系统具有较高的检测性能和较低的虚警率。     

水文数据多维分析系统设计与实现

针对水文数据海量,多维的特点,结合数据仓库在多维数据分析方面的成熟技术,设计了水文数据多维分析系统。建立了面向水文要素统计分析主题的数据仓库模型,并对数据进行了分析展示。在一定程度上解决了因为原始数据量庞大,数据关系复杂而导致的数据查询速度慢等性能问题。     

无人值守气象站数据采集系统的设计与实现

针对传统有线数据采集技术存在的可移动性差,电线铺设受环境影响大等问题,运用短距离无线通信技术,采用挪威Nordic公司的单片射频发射器nRF905设计出了一个自动气象站系统,采集湿度、压强、温度、光照等气象站数据。通过nRF905芯片,将采集而来的数据经无线通信信道传输至接收端并用LCD12864液晶显示器显示出来。nRF905芯片工作电压为1.9³.6 V,工作于433 MHz/868 MHz/915 MHz三个ISM频道(全球免费波段),芯片功耗非常低。此系统可广泛应用于无线数据采集、环境监测等场合,有很好的灵活性和良好的实时性。     

Design and VLSI implementation of QMF banks

The authors consider the design of multirate filterbanks for applications such as subband coding with IIR QMF (quadrature mirror filter) pairs. These offer reduced complexity and low latency at the expense of the loss of exact linear phase. In particular, consideration is given to the use of all-pass sections where linear phase is approximately achieved by being part of the objective in numerical optimisation experiments. This approach compares favourably with previous IIR based approaches. Finite wordlength design using simulated annealing shows that low coefficient wordlength may be used. This leads to efficient realisations with three-port adaptors. Using pipelining implementation, a flexible VLSI architecture is designed that can be used for a variety of subband decompositions. Layout and simulation of the design have been performed.     

超声电机数据采集系统软件设计与实现

为了改善现有的超声电机数据采集系统不能处理大量数据、采集数据精度不高的现状,提出将MFC和多线程技术应用于超声电机数据采集系统。在Visual Studio 2012开发平台下,应用多线程技术的编程方法,设计对超声电机控制器实时收发数据以及串口监控的上位机软件程序,可实时测试超声电机在不同驱动电压和占空比的条件下转速和转矩与时间变化的关系。该软件可实现实时监测超声波电动机并对其进行操控的功能,已经成功地应用在实验室超声电机数据采集系统中。实践表明,该数据采集软件可有效控制电机启停,数据处理速度快、精度高,绘制曲线清晰、准确,可平稳可靠的运行。     

海上遇险搜救综合通信系统的设计与实现

为了提高我国海上搜救应急反应的调度、指挥能力,利用现代通信、计算机、计算机电信合成(CTI)等技术,实现了海上遇险搜救综合通信系统.该系统采用程控调度交换和无线电台适配的方案,使用无线电台适配器将无线通信转换为有线通信,再通过程控交换机将各级海上搜救中各类卫星、语音电话、视频系统等异构终端综合互联,实现有线通信系统与无线通信系统的无缝连接,从而为值班和搜救指挥人员提供专业、便捷的通信、操作手段,提高指挥判断的准确性和效率.     

电磁场数据可视化系统设计与实现

探讨了电磁场数据可视化的表现形式,相应系统显示的数据内容、流程、总体设计与各模块功能设计,研究了随机分形地形生成,等值线算法,结合计算机图形学,实现等值线图,彩色云图,传播路径图显示。     

大规模网络数据存储系统的设计与实现

当前的网络数据存储系统在处理大规模数据时需要较长时间,增加了网络数据存储周期,存储性能较差。因此设计并实现一种大规模网络数据存储系统,该系统主要包括A/D高速采集模块、FLASH存储模块和FPGA数据接收模块。A/D高速采集模块采集大规模网络数据,采用FPGA数据接收模块对采集到的网络数据进行接收和处理,过滤其中的噪声因素,再将处理好的网络数据保存在FLASH存储模块中。依据三层架构模式设计大规模网络数据存储系统软件架构,并给出了业务逻辑层完成数据传递的关键代码。实验结果表明,所设计的大规模网络数据存储系统具有较高的数据存储和读取速度,能够实现网络数据的负载均衡存储。