基于大数据挖掘的图像检索方法研究

针对传统的图像检索方法对大规模图像数据进行检索时,耗费时间巨大以致无法满足用户需求的问题,采用大数据挖掘技术将大规模图像数据进行分布式存储和并行处理,缩减了图像数量对检索耗时的影响,并且快速挖掘出图像中与语义概念有较强关联的视觉模式,提高了检索效率。     

基于Android系统的大数据推送平台研究

移动互联网与社交网络的兴起将大数据带入新的征程,在大数据时代,移动互联网用户如何及时有效地获取信息也成为一个问题。针对大数据对移动互联网用户的影响,提出一种基于Android系统的消息推送平台,推送平台通过建立数据与用户之间的连接,将经过分析后的优质数据及时的传递给用户,分析推送平台的实现原理,并对其应用场景进行简单的分析。     

基于大数据的数据分析平台构建研究

大数据中隐含了许多有价值的信息,能够辅助人们做出科学决策,但是大数据很难被充分利用起来,其根本原因在于数据量巨大.为此,为提高大数据利用率,构建一个基于大数据的数据分析平台.该平台首先利用多功能采集卡将采集的数据集中到一起,并转存到中心处理器当中,在中心处理器中根据数据类型和数据挖掘目的选择合适的大数据挖掘技术,进行大...     

基于大数据和云计算平台应用研究

大数据和云计算是现代计算机中主要数据应用,大数据能够实现数据资源的智能存储,而云计算能够实现网络数据的综合计算.本文对大数据和云计算平台应用的研究,主要基于大数据和云计算的基本理论,对其实际程序应用实际进行探究.     

基于递归随机搜索算法的Hadoop平台大数据软件系统研究

随着互联网时代的到来,互联网数据的产生和收集数量呈爆炸式发展。使用金融机构大数据抓取软件系统处理和存储相关数据成为许多商业机构和研究机构的常态化选择,金融机构大数据抓取软件系统可以简化使用者对于信息传输和信息计算的具体操作,便于提高使用者的使用效率和准确率。本文研究的金融机构大数据抓取软件系统通过Python和Java语言完成,主要包括:金融机构大数据抓取软件系统分析模块、金融机构大数据抓取软件系统优化模块、金融机构大数据抓取软件系统预测模块。在研究的过程当中本文采用了递归随机搜索算法、Java图形界面、Hadoop平台进行设计研究。经过测试,在选用服务器为Intel Atom D510时,金融机构大数据抓取软件系统优化模块在Hadoop集群上开展优化,系统任务执行时间变短,比原来的数据时间缩短了5%以上,优化有效。     

基于概念的多媒体数据语义检索模型*

基于概念的检索是多媒体数据语义检索的解决途径之一。对概念进行了语义扩展,提出了基于概念的多媒体数据语义检索模型,包括人机接口、知识获取、数据获取、概念检索以及语义获取等模块,并对各模块所涉及到的问题进行了分析和探讨。     

基于大数据的电力环保数据平台建设

电力生产对生态环境的污染愈发严峻,若无法从根本上解决此问题,既可能限制电力行业的整体发展趋势,还可能对生态环境造成巨大破坏,增加环保工作的开展难度。为了解决电力生产的污染问题,应以大数据技术为基础,建设环保数据平台,基于此,本文先阐明基于大数据电力环保数据平台的建设意义,再提出环保数据平台建设中的相关要点,最后指明环保数据平台在检测电力故障、优化电力物耗等方面的具体应用。     

基于大数据云平台下的教学模式研究

目前我国对于高等院校的教育情况十分重视,对于高等院校的信息化教育发展,教育部提出了采用大数据加云平台的教学方法来提高教学水平,促使传统的教育模式不断更新发展,融入线上教学的优点长处.将融合之后的线上线下相互结合的云平台教育模式作为当前的常态化教学模式.及时转变高校的教育理念,尽早实现信息化教学,从而实现教学质量的提...     

大数据智能检索与大数据区块元智能分离

文中利用逆P-集合生成∨型大数据结构,给出∨型大数据的新概念,如大数据区块、区块矩阵、区块元、区块元矩阵与数据元概念;利用这些概念给出区块属性推理结构、区块矩阵推理结构、区块元智能分离定理、区块元智能检索定理、区块与区块元等价类定理;给出区块元智能分离准则、区块智能检索准则;给出区块元智能分离-区块智能检索算法与算法过程;给出大数据智能检索-大数据区块元智能分离-获取的应用。∨型大数据满足"属性析取"的逻辑特征。     

基于大数据、云平台和微服务的水文综合平台建设

随着社会对水文服务需求的不断提高,为解决水文信息化发展的同时出现的水文应用繁多,资源不共享,标准不统一等问题,江西省建设基于大数据、云平台和微服务的水文综合平台.解析水文综合平台实现水文业务数据的一数一源和业务协同集成的脉络,分别阐述大数据平台、云平台和微服务架构技术结合在数据层和平台层的支撑作用;同时在分析应用支撑、...     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

基于私有云和物理机的混合型大数据平台设计及实现

大数据分析技术的广泛应用离不开大数据平台的支撑,构建大数据平台已经是很多企业和机构的重要需求。构建大数据平台需要复杂的系统性的技术,特别是需要考虑系统性能和可扩展性两方面需求。随着数据体量不断增大、用户需求不断增多,规划时的数据平台规模很可能不能满足不断变化的需求。因此,设计了一种混合的大数据平台架构:混合使用物理服务器和私有云云主机的大数据平台。这样就兼顾了性能和可扩展性:由于物理服务器性能一般要高于云上的虚拟机,所以构建在物理服务器上的大数据平台,性能一般要好于构建在私有云上大数据平台;从私有云上启动云服务器非常方便、快捷,所以大数据平台的计算和存储结点可以动态弹性地扩容到私有云上,从而保证高峰期的时候大数据平台仍然可以有充足的处理能力。在生产环境实现了这种混合型设计,在生产环境中的测试也表明了这种设计的有效性。     

基于气象大数据云平台的海南气象数据共享平台设计与实现

为打破“数据孤岛”，推动气象数据跨部门融合使用，充分发挥气象数据科学价值，针对海南省气象部门与外部门数据共享方式杂乱、共享水平低、管理滞后等问题，依托专线网络，从气象数据需求类型、数据格式出发，设计了一套气象数据跨部门的分发处理流程。在气象大数据云平台数据环境的基础上，整合各类数据资源，基于B/S架构、SSH框架，采用分布式存储技术、数据缓存技术，建立了跨部门跨行业的气象数据共享平台。目前，该平台已经投入业务使用, 为海南省气象数据跨部门跨行业使用提供稳定、高效的实时数据共享服务，取得了较好的应用效果。     

基于行键的HBase大数据文件存储转换与快速检索研究

针对传统关系型数据库很难满足数据的快速存储与检索的问题,研究了基于数据文件字段映射表、文件对象字段、HBase列映射表和存储转换执行方案映射表解决文件对象的异构性和存储转换的通用性问题。提出了自定义RowKey行键的规则与生成算法;给出了基于映射表与行键的数据转换与存储流程及算法;最后基于行键前缀匹配或关键字匹配方式实现了不同需求的数据快速访问与检索,且具有较强的通用性。     

基于区块链技术的物流大数据可视化平台构建

针对传统物流大数据可视化平台缺少共享机制,可视化结果并不理想的问题,提出了基于区块链技术的物流大数据可视化平台构建方法。在区块链技术的基础上构建物流大数据管理平台,将大数据、云计算、移动互联网等新信息技术融入到平台构建中,在分层式的体系结构设计的基础上保证平台各个分层拥有适度的可扩展性与适应性。使用ML-T80型号电子标签,对货物所在位置进行实时跟踪,采用Symbol LS2208AP型号条码扫描器,实现手持模式和免提模式轻松地切换。根据用户展示端电路连接图,使用户在外界受到电磁干扰的情况下依旧能够直接查阅到想要的信息。规划服务范畴,设计数据管理功能、物流信息服务功能、物流资源交易功能和智能辅助决策功能模块。由实验结果可知,该平台共享周期短,最高共享效果可达到93%,以此实现物流大数据共享价值最大化。     

基于移动医疗大数据平台下深度最优匹配算法的机会网络转发机制

通过分析在移动医疗大数据平台下,机会网络中节点传递信息方式的特点,遍历所有邻接节点,对两节点的数据进行比较,通过最优匹配方式,选择匹配结果最优的邻接节点作为下一跳的节点,从而找出一条使数据高效转发的路径。根据此过程,提出一种基于移动医疗大数据平台下深度最优匹配算法的机会网络转发机制,即DOM算法,用来匹配节点中的数据分组,从而选择一条数据高效转发的路径。通过与机会网络中的经典算法比较,表明DOM算法能够在数据传播的过程中减少冗余数据并且显著提高传输成功率。     

医院大数据集成与服务平台的建设与应用

为了实现医院核心业务之间的互联互通,推动医院内部信息资源整合和共享,建立了由主数据管理、患者主索引、患者360试图、大数据应用、临床科研平台、综合运营BI六大模块组成的,以电子病历为核心的医院大数据集成与服务平台.该平台的建设,实现了医院各个异构系统的集成并提供了统一的医疗数据访问服务,为智慧医院建设打下了坚实基础.     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

基于大数据分析的低频电磁信号光纤传感检测装置设计

为了提高低频电磁信号光纤传感检测能力,提出一种基于大数据分析的低频电磁信号光纤传感检测装置,采用光纤传感器进行低频电磁信号采集,构建低频电磁信号的时频特征分析模型,提取光纤传感检测的低频电磁信号谱特征量,采用大数据融合方法进行光纤传感检测的低频电磁信号谱特征融合,构建光纤传感检测的低频电磁信号时频分解模型,采用快速分数阶傅里叶变换实现低频电磁信号光纤传感检测和噪声分离,结合盲源检测结果,提高对低频电磁信号的光纤传感检测能力。仿真结果表明,采用该方法进行低频电磁信号光纤传感检测的准确性较高,联合感知能力较强,信号的主瓣展宽较高,说明检测的抗干扰性较好。