图书馆海量网络学术数据的关联检索技术研究

为解决传统PIT图书馆学术数据检索方法存在索引定位数组数量有限、检索承载额度较低等弊端,设计新型图书馆海量网络学术数据的关联检索技术模型。通过定义数据包类型的方式,判断网络学术数据的衍生结构、设置准确的数据命名机制,完成图书馆海量网络学术数据的结构分析。在此基础上,利用关联数据节点的空间编码,确定严格的检索分级法则、完善数据的关联检索流程,实现新型技术模型的搭建,完成图书馆海量网络学术数据的关联检索技术研究。对比模型应用结果可知,与传统PIT检索方法相比,应用新型关联检索技术模型后,索引定位数组数量提升至5.0×10~(11)TB以上,检索承载额度也达到预期水平。     

基于图像特征细化的海量数据挖掘系统设计与实现

传统基于图像内容的图像数据挖掘算法,对海量图像特征的分类效率低,对图像数据的挖掘准确率受样本数量影响较大。因此,提出一种基于图像特征细化的海量数据挖掘系统,其中的人机界面可赋予系统较高的交互性。图像搜索引擎能够智能地从互联网海量的图像数据中,采集有价值图像数据和特征。图像预处理模块对图像格式进行变换,完成图像噪声因素的过滤等操作,并对采集图像特征进行细化。数据挖掘模块依据采集的图像特征细化结果塑造CMQL语句,从图像数据库中挖掘出有价值的图像数据。系统实现部分给出了数据挖掘查询语言CMQL进行图像数据的挖掘过程。实验结果表明,所设计系统具有较高的查准率和查全率。     

基于关联数据的图书个性化智能推荐系统设计

针对传统图书推荐系统存在匹配度不高、用户满意度较低的问题,引入关联数据技术设计一种新的图书个性化智能推荐系统。系统硬件结构由智能数据存储层、智能数据挖掘层、数据用户界面层组成,系统选用的处理器为嵌入式处理器,存储器为静态存储器。软件模块分为信息获取、信息匹配、信息推荐三个部分。为了检测系统工作效果,将其与传统推荐系统进行对比。结果表明,所设计的推荐系统能够精准地将用户所需信息与图书信息匹配到一起完成推荐,达到用户满意的效果。     

海量题库中的特定数据搜索系统的设计与实现

在挖掘海量数据集过程中,传统海量数据检索方法无法适应海量题库中数据的快速增加趋势,不能在有限时间内获取高质量的挖掘结果。因此,采用Elastic Search分布式架构技术,设计并实现了海量题库中的特定数据快速搜索系统。该系统由用户界面、数据库连接模块、数据抽取模块、索引塑造检索以及索引检索和数据搜索模块等构成。详细介绍了数据抽取模块、索引塑造模块以及索引检索模块的设计和实现过程,3个模块共同实现海量题库中的特定数据快速搜索任务。实验结果表明,该系统的搜索平均响应时间、系统资源消耗以及索引检索性能三方面的性能较高,能够满足用户快速检索特定数据的需求。     

海量冗余数据干扰下的网络数据捕获和分析系统研究

传统的网络信号捕获方法通过滑动相关法分析本地样本信号与接收网络信号的关联性,实现信号捕获,但当网络中存在海量冗余数据干扰时,占空较小,容易在无信号时间区间形成大量的噪声,导致网络信号误捕获的问题。因此,提出基于Winpcap网络和kd-treed模型的数据捕获方法,设计网络数据捕获和分析系统,捕获系统包括用于捕获和过滤数据的内核模块、用于数据变换和协议分析的用户分析模块并分析系统实现数据捕获的功能模块。通过Winpcap底层网络分析体系结构,实现网络数据包的捕获,采用kd-treed模型过滤海量数据干扰,提高数据捕获的精度。实验结果表明,所设计系统稳定性高,数据捕获精度高。     

海量数据信息管理系统设计与实现

为了提高不同场景的绘制效率,对网络中海量数据信息进行可视化管理,设计一种基于三维虚拟的海量数据信息管理系统。系统分为三维图像处理模块、信息感知模块、数据交互模块、三维模型重构渲染模块和输出程序控制模块。采用视景仿真渲染工具Vega Prime进行海量数据信息管理系统的三维立体建模和视景分析,采用3ds MAX软件进行海量数据信息管理建模,结合自适应图形跟踪渲染方法实现网络中海量数据可视化三维图形绘制,提高对海量数据信息的跟踪能力,构建视景分析模型数据库,实现对海量数据信息进行实时管理。仿真结果表明,设计的系统具有很好的三维虚拟重构能力,提高了海量数据显示与交互操作的绘制效率。     

云计算环境下多服务器多分区数据的高效挖掘方法设计

云计算环境下的多服务器多分区系统中存在海量数据,传统串行数据挖掘方法对这些数据进行挖掘的过程中,无法对海量数据进行并行处理,挖掘效率低。针对该问题,设计云计算环境下多服务器多分区数据挖掘系统,其包括基础设施即服务层、平台即服务层、软件即服务层,可实现大规模数据的高效挖掘。系统通过平台即服务层中的多服务器多分区数据处理模型,实现海量数据的分布式运算,并基于MapReduce机制实现K均值聚类数据挖掘算法的并行化,通过Map和Reduce函数实现多服务器多分区数据的并行挖掘。实验结果表明,所设计系统大幅度降低了云计算环境下多服务器多分区数据的挖掘时间,提高了数据的挖掘效率和稳定性。     

云服务器中的不稳定数据挖掘系统的研究与设计

针对当前的云计算服务器缺少对不稳定数据的识别与检测,设计并实现一种云服务器中不稳定数据挖掘系统。介绍系统的总体结构,利用数据采样预处理模块实现从源数据到挖掘数据的映射,完成离散化、数据过滤等处理过程。依据2.0 mm ERmet Hard Metric连接器,采用Rapid IO协议,通过接口模块完成数据间的传输,以达到信号传输效率与稳定性的要求。通过数据挖掘模块对云服务器中不稳定数据的确认与挖掘,将挖掘结果传输至控制模块进行处理。软件设计过程中,对云服务器中不稳定数据挖掘系统进行了详细地分析,并给出不稳定数据挖掘的实现过程以及系统部分程序代码。实验结果表明,所设计的系统具有很高的实用性和可靠性。     

Hadoop分布式的海量图像检索

传统基于内容的图像检索方法通过相似度测量算法获取检索结果,对海量图像存在检索效率低和精度差的弊端,因此设计基于Hadoop分布式的海量图像检索方法,其基于Hadoop云平台对海量数码图像实施分布式运算,采集图像SURF特征,采用K-Means聚类方法将相似图像SURF特征聚集起来,通过TF-IDF数据挖掘技术对图像特征实施量化,进而基于Hadoop平台中的Lucene框架塑造海量图像数据的索引模块和搜索模块,依据用户输入的图像SURF特征塑造海量图像数据索引,完成相似图像的准确检索。实验结果说明,所提图像检索方法检索出的图像质量佳,对海量图像进行检索的效率和精度高。     

基于大数据的教育智慧平台的设计与实现

传统教学方式中教师与学生的活动受教案约束,教学方式老化,不具备通过大数据拓展学生学习的能力,导致学生课后自主学习和课外交流能力低。为此设计基于大数据的教育智慧平台,其总体结构包括物理层、虚拟资源层、逻辑层、展现层、应用层、网络层和用户层;平台中大数据中心模块通过网络和传感器等设备采集所有业务数据,并将业务数据保存在海量数据存储设备中;软件设计部分使用多特征融合采集算法采集学生数据后,通过基于关联分析技术的成绩预警算法完成学生成绩的预警。实验结果表明,所设计平台不能提升课后自主学习和课外交流能力的学生仅占比5.15%,4.49%,95%以上的学生使用该平台后反馈较好,说明该设计平台可有效提高学生课后自主学习与课外交流能力,应用效率较高。