采用八叉树和OSG分页结点的海量点云三维可视化

针对现有海量点云可视化方法存在索引构建时间长、内存占用大等问题，研究一种八叉树索引结合OSG分页结点的快速可视化方法，可在占用较小内存的基础上快速建立点云索引并实时调度。采用八叉树索引结构对海量点云进行数据组织，建立各层级的八叉树结点并以文件映射的方式分块保存，对结点文件重组织转换为支持OSG渲染引擎的多分辨率点云数据。采用基于OSG分页结点的实时调度技术，对海量点云进行高质量可视化。与目前两款主流的点云数据处理商业软件进行实验对比分析，结果表明所提方法具有索引建立速度快、内存占用小等优点，同时可视化交互更加流畅，适用于各种配置计算机下海量点云数据的调度管理与实时可视化。     

行政事业海量题库管理系统设计

提出了行政事业单位海量题库管理系统,给出了系统总体架构设计思路,论述了各主要功能模块的实现。着重讨论了题目重复度判别、题目难度系数调整等关键算法的实现,给出了系统部署、配置与应用实例。     

海量数据库迁移与升级

目前数据库中数据越来越多,应用对数据库在线时间的要求也越来越高,使得数据库迁移和数据库升级成为了一件非常困难的事情.为此,介绍了几种迁移和升级的方法,用以实现以尽可能少的停机时间对TB级数据库完成数据库的迁移和升级.     

支持语言监测的海量数据处理技术

基于大规模语料库进行语言监测是近年来国家语言资源监测与研究中心实施的一个项目,其目的是对语言使用的实际状况进行记录、调查,调查的内容包括年度字词语的使用情况、年度流行语、新词语等。本文介绍了支持这些调查项目的海量数据的处理技术,包括语料的获取方法,年度字、词语表的提取,流行语、新词语的提取技术。最后对语言监测中存在的问题和需要继续深入的研究进行了探讨。     

混凝土行业中基于JCS的海量数据协同模块的研究

随着国内预拌混凝土行业的发展,混凝土企业高层越来越意识到搅拌站信息化管理的必要性,各种混凝土搅拌站ERP软件在国内得到了迅速的发展,通过这种软件的信息化管理,后台数据库每天都会产生大量的生产数据。为了避免搅拌站之间的恶性竞争,混凝土行业协会和政府部门需要对某个区域乃至整个行业的搅拌站的生产运营情况有实时的了解,以便对其进行监管,最终促进行业的公平竞争。本文结合国内混凝土行业自身的特点,阐述了混凝土行业海量数据协同的总体构想和数学模型,之后从多维度论述了基于JCS多级缓存的海量数据协同模块的设计,最后,采用Socket的方式最终实现了Server端与Client端的一对多的数据通信。     

烟草企业基于Hadoop的数据处理研究

Hadoop是一个开源分布式计算平台。具有高容错性,高伸缩性等优点,允许用户将Hadoop部署在低廉的PC上,充分利用集群的计算和存储能力,完成海量数据的处理。结合国内烟草企业面对不断剧增的业务数据,而现有的业务数据处理能力明显不足的现状,分析烟草企业构建Hadoop分布式数据处理平台的可行性,并详细介绍了Hadoop平台技术及其项目结构和体系结构。     

数据库系统应用分片中间件

随着国家电网信息化系统一级部署的陆续实施, 业务数据库的表越来越多, 表中的数据量越来越大. 海量数据的存储与访问对数据库造成了相当大的负载, 数据处理能力和访问能力均遭遇瓶颈. 本文针对国家电网一级部署数据量快速增长的特点, 提出了数据分片中间件UAPDS(UAP DB Sharding). UAPDS以集群、分区、分片三层拆分模式, 通过读写分离、单库分表、多库分表等多种解决方案将数据按照一定的规则切分到不同的库或表中, 有效的缓解了对数据库的压力, 提高了数据访问效率, 在实际应用中取得了较好的效果.     

基于Hadoop的用户搜索行为分析

用户搜索网页行为的分析是目前信息搜索的研究的热点,本文针对云计算中的并行计算搜索存在的检索速度慢,效率低等缺点提出了一种基于Hadoop海量用户搜索网页行为的方法,该方法主要是在网页PageRank算法的基础上,将用户影响因子,时间向量和网页相关性因素加入到算法中,使得改进后的PageRank算法得到了提高,进一步提高用户搜索网页行为的效率,实验中通过使用优酷实验室中的查询日志分析证明了本文的算法具有良好的效果,并对云计算中的用户行为分析具有一定的指导意义.     

基于大数据集群架构的数据管理系统设计

由于传统存储设备容量、传输带宽有限,而且设备节点扩展难、使用难、数据管理难,不足以应付不断增长的用户及数据存储要求。针对这种情况,通过对现有大数据底层支撑技术的梳理,搭建了一种基于大数据集群架构的数据管理系统,该系统为满足支持不同地域海量数据服务的需求,考虑了高性能、易用性、易扩展和可靠性等方面的因素,解决了在用户激增的情况下,较容易的通过增加硬件就完成系统的扩容,并具备异地就近服务、异地互备的能力。     

基于大规模MIMO网络的低复杂度块对角化算法

在多用户MIMO系统下行链路中,块对角化（Block diagonalization, BD）预编 码算法的和速率性能要优于匹配滤波算法（Matched filter, MF）和迫零算法（Zero forc i ng, ZF）。然而,传统的BD算法利用矩阵分解来构造除当前用户的其他所有用户信道的零空 间,需要O(N2)浮点运算次数（Float point operations, FLOPs）。当 基站的天线数N趋向于大规模时,BD算法计算复杂度巨大。本文 提出一种基于投影子方法构造其他用户合成信道的零空间的BD算法,该算法仅需O( N)FLOPs。仿真表明：同传统的BD算法相比,本文所提出的低复杂度BD算法显著地降低 了实现复杂度,而和速率性能损失微小,仍然优于MF和ZF,并且当N趋 向于大规模时,它的和速率性能趋向于传统的BD算法和SVD算法。