飞腾平台中硬件数据压缩的驱动设计与实现

数据压缩是有效处理大数据的关键技术,在飞腾处理器平台上基于zlib库的数据压缩通常采用软件的方式实现,在数据处理量大而且实时性要求较高的情况下,已经难以满足需求。针对这个问题,通过研究zlib编程函数库,结合飞腾处理器的特性,完成了飞腾平台中硬件数据压缩的驱动设计与实现,其中提出了双向DMA传输技术和基于一致性内存的命令环机制,从而进一步提高了基于硬件的数据压缩的效率。通过实验证实了飞腾平台中采用硬件数据压缩改进的有效性。     

一种基于元数据静动态数据联合查询方法的研究与实现

研究和实现一种结合股票静、动态数据进行实时行情信息联合查询的方法。描述运用元数据定义和管理各数据源关键信息的虚拟表,通过复制、移动和分割虚拟SQL查询语法树分支,实现对数据表的查询分割和根据查询返回合成查询结果集的技术思路与做法。研究的方法屏蔽了异构数据源查询的复杂细节,能够为用户提供一个统一、简便的SQL查询接口,使静、动态数据之间的联合查询更加便捷,有效地提高了联合查询的执行效率。     

云计算环境下异构数据节点冗余存储模式的优化

现有的纠删码假设存储节点的可用性是相同的,而现实的应用系统往往由可用性不同的异构存储节点组成,这使得系统的实际可用性与设计的最优值之间存在一定的差异。为了减小系统的实际可用性与设计最优值的差异,将存储节点看作是异构的,提出一种异构存储节点下的可用性分析框架,以及优化的纠删码部署方法。实验表明,所提出的纠删码部署方法的可用性与系统实际可用性的差异小,性能明显优于现有的相关工作。     

一种对时间连续数据进行分析查询的SQL扩展语言

在家庭电子医疗平台中,存在生理学时间连续数据,实现对其分析和查询是数据利用的基础。针对这类数据的特点,提出以关系型数据库结构化查询语言SQL为基础,定义相似查询算法,快速有效地从给定信号序列中找出符合某一相似度等级的相似子序列。相似匹配使用了分段聚合近似法和小波变换两种算法,易于进行子序列的相似度分级。实验结果表明,该试验系统能够高效、准确地完成设计功能。     

教育公共服务平台基础数据的采集与应用

基础数据是教育管理公共服务平台的核心与基础。提高基础数据的应用服务能力,数据采集是基础、数据整合是关键、数据安全是保障、智能分析是需要。结合云计算的应用,分析教育基础数据的组成、基础数据采集与应用中存在的问题与困难,探讨在教育云环境下,教育基础数据的采集与存储、交换与共享、应用与服务等过程中的挑战及其解决方案。     

基于聚类和动态LOD的三维地形建模方法

为提高基于DEM高程数据的三维大地形绘制效率,提出基于K-means聚类和动态LOD的三维地形建模方法。对高程数据集使用K-means聚类分析方法,发现地形数据的自相似性,建立数据采样点与地貌特征分类的自动关联;依据采样点的地貌属性值完成粗化处理,构建不规则三角网模型;采用局部优化算法进行有限域内的三角形分裂以实现三角网的动态更新,结合克里金插值法实现插入点的精确计算,形成LOD层次细节多分辨率模型。实验结果表明,该方法对不同类型地形都获得了较高的数据简化率,提高了三维模型的绘制效率,具有较好的地形特征保持性。     

基于有向图的静止气象卫星故障检测模型

为解决基于卫星单个遥测值超限进行报警的方法会引起故障的误报和漏报这一问题,提出一种基于有向图的静止气象卫星故障检测模型。定义组合条件报警故障知识规则的描述方法和故障知识库,能够同时对卫星多个通道的遥测值进行综合分析与诊断,提高故障的诊断效率;基于有向图实施卫星故障的自动检测,省去关联故障的判别工作,减少冗余告警,提高故障检测的正确性。实际业务运行结果验证了该模型的可行性与有效性。     

基于Word文档的数据隐藏方法

在分析当前数据隐藏与恢复相关技术研究基础上,参照微软官方最新公布的复合文档存储规范,从利用载体Word文档现有空间中未真正使用部分和适度扩展新空间两条思路出发,设计一种利用Word文档作载体隐藏秘密信息的解决方案,包括在文字、各种嵌入式对象及其相应控制结构数据中隐藏信息。实践表明,隐藏数据后的载体文档可以被正常拷贝和使用电子邮件传送,根据需要隐藏的信息随机选择使用该方案,被隐藏信息更不容易被侦测出来,被二次编辑后被隐藏信息一般不会被破坏,鲁棒性不错,具有一定的实用价值。     

异构Hadoop集群下的比例数据分配策略

针对异构Hadoop环境下仍采用均等的数据分配方法将严重降低MapReduce的性能,提出比例数据分配策略。通过计算异构集群中各节点的计算比率,将已经分割好的数据块重新进行组合,形成数个按比例划分的数据块。每个节点根据自身性能来选择所分配和存储的数据块,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间数据的移动量。实验验证了提出的比例数据分配方法可以有效地提高MapReduce的性能,并使数据负载均衡。     

彩色自然纹理分类识别的研究

为了建立描述彩色自然纹理的参数体系,选用木材纹理这种典型彩色自然纹理为研究对象,提取了木材图像颜色矩和高斯-马尔可夫特征参数,采用改进的模拟退火算法进行了特征优化筛选及特征级参数融合,得到纹理参数体系并进行分类识别实验,识别率为97.25％,明显高于融合前单参数体系.研究表明用该参数体系对彩色木材纹理进行分类识别是可行的,也可用于与其相近彩色自然纹理的分类识别.