基于Mahout的个性化推荐系统架构

针对互联网企业的实际和用户需求,构建一种基于Mahout的个性化推荐系统架构。通过分析网站的数据特点,将数据分为静态数据和动态数据。当数据量不大时,根据数据特点选用Mahout单机内存推荐算法进行计算;当数据量很大时搭建分布式集群,将业务系统的静态数据定时地增量导入到Hadoop的HDFS中,然后用Mahout分布式推荐算法访问HDFS。计算后的结果,保存到业务系统的数据库中,与动态数据合并作为在线响应的输出。实验证明该方案可以绕过海量数据的高并发在线分析的问题,有效地缓解系统响应时间的压力。     

一种基于数据图划分的关系数据库关键词检索方法

不同于常用的一次性将图加载入内存的检索方法,提出了一种基于数据图划分的关系数据库关键词检索方法,该方法首先将大图细分成多个相互之间具有简单连通性的小图并存储于缓存中,然后通过超图查询算法获取与查询条件相关的子图,进行关键词检索获取候选结果时,只需加载相关子图并恢复子图的初始结构,通过遍历子图获得最终结果.实验表明,该方法可以有效解决对无法放入内存的大型数据图的处理问题,使得关系数据库关键词检索实用于庞大而复杂的数据图中而不受内存约束.     

基于虚拟中心数据源的飞机装配数据集成

为了解决飞机装配数据中存在的多源异构问题，促进数据共享和充分利用，提出基于虚拟中心数据源的飞机装配数据集成方法.通过在所有局部数据源之上构建一个虚拟中心数据源，解决飞机装配数据的多源异构问题并改善数据的可访问性.将飞机装配数据分为装配对象数据、装配系统数据和装配任务数据3类.提出5层支全局系统数据模型，建立全局统一的索引规则，持数据请求者无歧义地表达数据需求，避免出现语义异构问题.对提出的数据集成方法进行软件实现，构建了装配数据集成中间件，并利用该中间件实现外翼翼盒装配的数据集成.进行中间件的应用验证与测试，结果表明数据集成中间件能够以毫秒级额外数据访问时间为代价，实现多源异构飞机装配数据的集成，改善多源异构数据的可访问性，具有较高的并发性能.     

分布式数据镜像系统研究

针对由于数据量的迅猛增长，在存储系统性能和整个系统性能之间出现的严重失衡问题，研究提出了分布式数据镜像系统的架构和运行机制。分布式并行数据传输技术充分利用多个互联服务器的总带宽，实现高数据吞吐量，从而较好地解决了这一难题。     

基于均值滤波的大规模无线传感网能耗及海量数据去冗余方法研究

随着无线传感网络结构日趋复杂及逐渐朝大规模方向转变。科学、高效地解决传感网内的海量数据冗余及巨大能量消耗问题变得十分困难,本文通过对节点数据图像化建模,提出了一种基于节点数据图像的均值滤波算法来达到降低大规模无线传感网中的冗余数据量及能量消耗。首先从传感网的部署结构出发,通过节点之间的位置关系进行节点分簇并标记簇头节点,然后依据各簇内节点获取的数据信息进行图像化建模,建模完成后以各簇簇头节点获取的数据为参照标准对图像化后的簇内节点进行均值滤波,从而将簇内节点划分为活跃节点与休眠节点,活跃节点为传感网提供有效数据而休眠节点提供冗余数据,需要进入休眠状态。从仿真结果可知：在实际数据集与模拟数据集结合验证下,一个大规模、结构复杂的无线传感网被分为若干个簇并有效的完成了各簇内的节点数据图像化建模。在整体数据有效且不失真的前提下,各簇内实现了将可能存在的部分节点转化为休眠节点且成功将休眠节点转为休眠转态,不再产生、传递数据,从而降低传感网内的整体数据量及数据传递消耗的能量。因此本文提出的算法能够有效地处理规模大、结构复杂的无线传感网中存在的数据冗余及巨大能量消耗问题,通过该算法不仅降低了无线传感网中的冗余数据量,而且降低了无线传感网的能量消耗,提高了无线传感网的生命周期。     

分布式数据镜像系统研究

针对由于数据量的迅猛增长,在存储系统性能和整个系统性能之间出现的严重失衡问题,研究提出了分布式数据镜像系统的架构和运行机制。分布式并行数据传输技术充分利用多个互联服务器的总带宽,实现高数据吞吐量,从而较好地解决了这一难题。     

异构数据集成在数字校园中的应用

解决数字校园建设中存在的大量异构数据集成问题是目前教育信息化过程中的关键．针对异构数据导致的信息与资源分散,管理成本高,决策支持弱,网络基础服务平台与应用系统脱节等问题,提出了一种数字校园的异构数据集成方案一数字校园公共平台．然后根据数字校园公共平台的体系结构,详细描述了分层设计的体系结构的各层内容,给出了全局数据库模型建立、数字校园公共平台架构和统一数据访问等关键技术的实现．     

基于数据截止期的实时并发控制策略

针对调度具有实时数据的并发控制问题,通过对数据时间特性及数据截止期对事务并发控制的影响进行分析,提出了基于数据截止期的实时并发控制策略,能够有效解决调度具有时间限制的实时数据并发控制问题.分析表明与已有的实时并发控制方法相比,降低了事务重启个数及超截止期百分率,提高了系统的性能,更适应于实时应用.     

影像数据在嵌入式系统中的应用研究

探讨并实现了适用于嵌入式系统的影像数据应用方案。在深入分析嵌入式系统与影像数据特性的基础上,提出了综合应用外存储模式和数据金字塔等方法解决嵌入式系统中应用影像数据的两大瓶颈——处理效率与数据量,并用某市0．6m高分辨率影像数据作为实验数据,证明本方案的可行性与有效性;对其在提高外业调绘和土地利用现状更新调查等方面的效率做出了展望与评估。     

浪涌气象数据采集系统及其关键技术

针对无人值守大规模自动气象站的数据采集特点和要求,基于无线通信网络,设计了一种浪涌气象数据采集系统,并对其关键技术进行了深入讨论。首先,分析了系统数据传输的协议结构及存在的问题,设计了基于UDP协议的可靠应用协议,并就其工作过程及可靠性传输进行了详细的讨论,解决了无线数据传输的不稳定性问题;然后,利用多线程技术和大规模通信事件响应处理技术,提出了实现数据接收线程池的方法,通过引入“数据分区管理”的概念,论述了数据并发处理缓冲区的设计,解决了大并发系统容易丢失数据、堵塞和低效率等问题;最后,通过对系统测试及其在业务中应用的分析,表明该系统实时、高效、可靠,能满足目前业务的需求,并对未来业务的发展具有同样的适应性。     

知识产权专有性与科学数据共享性的冲突研究

运用冲突分析模型，对科学数据共享系统知识产权专有性和科学数据共享性所引发冲突产生的必然性从理论上进行论证。模型分析结果表明，该冲突属于非完全对抗性冲突，只要在共享系统中引入中立的协调人，并赋予该协调人一定的权利，就会出现稳定解，从而实现科学数据的共享。     

基于关联规则的网格资源分域管理

为有效优化网格资源管理和任务调度方案,提出了一种基于关联规则模型进行子任务分组的网格资源分域管理机制。该方法对业已切分的用户任务根据切分后的子任务间的关联性,对所有子任务予以分组,以达到增强子任务组内的关联性及组间的独立性。分组完成后,管理机制将以子任务组作为运行单元,从而使得子任务组在运行过程中减少相互间的频繁通信,达到提高系统运行效率的目的。然后,在事先分好类的网格资源中根据需求临时为子任务组的运行划分“资源域”并以“域”为单位进行管理。最后,通过仿真实验分析,在调度性能上将本机制与传统多队列Backfilling、FCFS等调度方案的性能差异进行比较,证明了该机制的优越性与实用性。     

高性能行任务散列法GPU一般稀疏矩阵-矩阵乘法

针对一般稀疏矩阵-矩阵乘法（SpGEMM）的性能问题,提出了一种基于任务分类和低延迟散列表的图形处理器上的加速SpGEMM算法RBSPARSE.该算法由一种低成本子任务复杂度预分析方法和一种低延迟共享内存上的散列表的方法组成,以达到最大效率.通过解决负载均衡和内存延迟问题,RBSPARSE可以显著减少计算的总时间.比较了RBSparse和BHSparse,前者是最快的SpGEMM算法,结果表明RBSparse的性能是BHSparse的平均3.1倍,在最佳情况下可达到14.49倍.     

A RBPF Algorithm with Non-intact Particle Data for FastSLAM

一种应用于FastSLAM的非完整数据RBPF算法

陈炜楠,管贻生,张宏,朱蕾

（广东工业大学 机电工程学院, 广州 510006）

创新点说明：

本文研究了SLAM问题中的RBPF算法,进行粒子数据分离,根据权重将粒子个体的携带数据分为完整及非完整两个集合,以实现RBPF算法中数据存储量的控制;并通过对非完整数据粒子的数据补全,实现对原有算法框架的兼容。通过实验证明本算法有效提升了原有算法效率。

研究目的：

尝试解决SLAM问题中RBPF算法数据量巨大,时间耗时长问题。

研究方法：

使用FastSLAM 2.0作为研究基础,利用激光雷达SLAM数据集以及实际实验数据进行算法验证,以普通计算机作为运行平台统计算法的精度以及运行效率,以验证本研究工作。

结果：

实验证明,在相同算法耗时内,本算法可通过增加粒子数目,以提高SLAM结果精度（13%）;在相同粒子数目条件下,本算法可在一定幅度降低精度情况下（16%）大幅度提升（34%）算法效率

结论：

本算法通过对粒子集合进行分类以及数据分离,实现RBPF算法效率的提升,并随着粒子规模的增大,该提升优势更为明显;同时,通过对非完整粒子集合的数据补全,实现对原有算法框架的兼容。

关键词：RBPF,非完整粒子数据,SLAM

     

企业局部信息管理与ERP的整合方案

本文以企业中局部信息管理与企业ERP衔接的解决方案为例,讨论了局部数据与ERP衔接中所涉及的数据独立性和数据一致性问题以及相应的解决办法.     

一种新的可实现安全公钥密码体制——4次同余方程的应用

提出了一种新的、可实现安全的公钥密码体制,在采用原有的公钥、私钥的基础上,增加数量庞大、开销极低的公开参数集合;在每加密一批数据时选择一组新的不重复公开参数。提出了判断4次同余方程解结构及其求解的线性时间快速算法,以实现公开参数集合的操作。该安全方案可以主动抵御选择明文攻击与各种选择密文攻击,包括IND-CCA2,并且可以达到类似一次一密的安全效果。对于大批量数据的加密解密,计算和存储开销集中于第一个数据,自第二个之后只需要简单的异或操作;可应用于如RFID标签的低端产品或如无线网络等计算、存储、带宽等资源受到极大限制的设备中。     

关于实时数据仓库架构的研究

作者分析了实施实时数据仓库面临的问题,对比现有方案,提出一个基于ODS(操作性数据存储)的架构方案,方案改变传统直接装载最新数据到数据仓库,解决频繁更新与数据仓库复杂查询之间的资源竞争问题,通过ODS与数据仓库之间即时数据融合实现敏感数据对用户的实时感知。另外对实时数据集成、事件处理及数据融合三项关键技术给出了具体的实施方案。     

动态共享内存缓冲池技术

针对传统的共享内存区管理方式存在的内存资源浪费、使用效率低等问题,提出了一种可滑动的动态共享内存缓冲池技术来实现线程间的大批量数据通讯,即为所有线程申请一整块空间作为存放数据的缓冲池,建立一定数量的单向指针链表,每个指针链表代表一个数据缓冲区,管理内存时,可按需要动态地增减每个指针链表的节点数,使每个数据缓冲区占用的内存按需滑动,理论分析与测试结果表明,该技术提高了整个内存缓冲区的利用率和数据传递的效率。     

数据分布模型的应用研究

分析和研究了一种分布式数据模型的策略 ,利用聚类分析算法和智能 Agent技术 ,对相关数据进行聚类统计 ,按照同类数据聚合的原理 ,决定需调整和转移的数据 ;在此基础上 ,提出了系统集成中数据分布不合理时的数据动态转移 ,以及在数据转移过程中 ,异种数据库之间的数据格式转换等问题的解决方案