基于Hadoop的森林公安网络舆情监测系统设计与实现北大核心CSCD

在走访调研中发现,国内森林公安应用系统中对网络舆情的收集、分析、上报工作尚处于人工方式的原始状态,导致收集效率低、分析时间长、研判准确率不高,特别是有效舆情的转化率低。为完善森林公安网络舆情监测工作机制,文章针对森林公安网络舆情监测的现实需求,设计了基于Hadoop的森林公安网络舆情监测系统,用Hadoop集群MapReduce分布式处理框架,实现森林公安网络舆情的并行爬取和分析。实践证明,基于Hadoop的森林公安网络舆情监测系统有效提高了森林公安网络舆情的收集和分析效率。     

基于Hadoop的大数据高校舆情监测系统研究

基于大数据平台Hadoop对高校学生的校园生活、学习等方面数据进行抓取,再进行关联、聚类分析,将学生进行不同维度的预警画像,给出预警,从而达到减少各类安全事故的发生,促进学生在校园健康积极向上生活的目的。基于Hadoop的高校舆情检测系统是智慧校园的重要组成部分,具有较高的实际应用价值。     

基于Hadoop的微博舆情监控系统

随着在线社会网络如社交网站、微博、在线社区等的快速发展, 一个真正的双向传播和新媒体时代逐步形成. 在线社会网络让每个用户都能创造自己的内容, 并且快速传播出去. 据不完全统计, 新浪微博平均每秒有超过1000条的新微博产生, 日增量数据为5TB, 因此海量数据给舆情监控带来了严峻的挑战. 将介绍一种基于Hadoop的微博舆情监控系统, 能够对大规模采集数据进行挖掘、分析, 实现对舆情热点话题的发现及追踪、对微博的社会网络分析, 分析结果可视化呈现, 为党政机关、大型企业等单位和组织及时发现敏感信息、掌握     

微博舆情的Hadoop存储和管理平台设计与实现

随着Internet技术的迅速发展,网络舆情监控系统正在得到广泛应用。网络舆情监控系统的数据量也急速膨胀,如何高效地存储和管理这些海量的非结构或半结构化数据成为网络舆情系统研发中的挑战课题。传统的关系数据库和分布式计算等数据处理的方式也越来越不能适应日益增长网络大数据。针对微博数据的特点建立了一种面向微博舆情应用的Hadoop存储平台的多层体系架构,并采用列数据库设计多种微博结构化数据的表结构,以及表之间的关系模型。测试结果表明,设计的存储管理平台具有检索响应速度快、可扩展性好等特点。     

基于Hadoop平台的校本数据中心建设研究

本文通过搭建Hadoop平台搭建校本数据中心,并将数据集中存储在HBase数据库中。基于Hadoop的校本数据中心,提供了强大的数据统一存储和计算力,将校本数据进行了整合及标准化,形成数据中心的标准库和主题库,为广大师生提供数据查询、数据分析等各种数据服务。校本数据中心能够实现内信息化精益化运营分析,支持实时统计分析的管理辅助决策、基于大数据的数据分析决策以及科研数据辅助决策等;可满足高校的数据利用、教学质量管理、科研管理及绩效管理等需求。     

自媒体时代高校网络舆情云分析系统研究

互联网技术的进步推进了自媒体时代的到来,给高校舆情监管带来了新的挑战。对高校舆情现状及特点进行分析,提出网络舆情系统结构模型,并使用Hadoop技术构建高校网络舆情系统对海量数据进行分析,实现热点话题的发现追踪。     

基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

基于Hadoop的分布式数据库系统

云计算是当前研究的热点,包括分布式存储和分布式计算技术。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。基于对大量数据进行处理和分析的需求,本文分析了基于Hadoop的分布式计算平台,介绍基于Hadoop的分布式数据库系统。     

基于Hadoop的校园教育资源管理系统

针对传统海量数据存储和处理方法成本高、效率低、编写程序困难等缺点,该文搭建了基于Hadoop框架的云平台,设计和实现了基于Hadoop的校园教育资源管理系统。测试及实验结果表明,基于Hadoop的云平台在大数据和多用户并发访问环境下,系统运行稳定,数据处理快,能有效降低成本,较传统单机服务器具有明显优势,能够很好的在校园资源管理系统中得到应用。     

基于Python的网络舆情管理系统设计建议

随着互联网技术的快速发展和普及,网络舆论的传播速度和数量也大幅提升.然而广大网民在享受着技术发展带来的便利的同时,一些恶意扰乱社会治安的不法人员也趁机散布虚假、负面信息,给网络环境和社会健康稳定带来了消极的影响,破坏了政府在人民群众心目中的良好形象.因此,目前迫切需要开发一套网络舆情管理系统,及时发现并阻止不良舆论导向,帮助维护社会秩序的正常稳定[1].     

一种基于Hadoop+CUDA实现相关器的方法

根据21CMA相关器的算法特点,在对比基于CPU并行的MPI集群、MPI+CUDA异构并行集群和Hadoop+CUDA异构并行集群的架构特点的基础上,提出了一种基于Hadoop+CUDA平台实现软相关器的方法。本方法利用GPU在计算FFT、向量乘和向量加等密集型计算模型的优势,设计相关器的并行模型,使其性能较前期在CPU并行的MPI集群实现的相关器有了大幅提升。同时,本文选择广泛应用于大数据处理平台的Hadoop软件架构,利用Hadoop Streaming工具实现非Java编写的程序在分布式系统中并行执行,非常便捷地获得了集群系统的线性加速比。Hadoop HDFS并行文件系统管理结果数据和过程日志更加灵活可靠,为后续的大数据分析提供了支撑环境。     

基于ASP平台的建陶行业库存管理系统的设计与实现

主要介绍了基于ASP平台的建陶行业库存管理系统的设计与实现。该系统采用Browser/Server结构,功能集仓库初始化、开调库单、仓库盘点、货物出入库管理、查询统计等于一体,是适合我国建陶行业的一种新型的库存管理平台。本文重点讨论了本软件的通用性及针对建陶行业特点进行系统设计的方法与技术,并对设计过程中的几个重要流程和关键技术进行了描述。     

基于网络爬虫的舆情信息采集系统设计与实现

本文针对当前舆情信息系统信息采集的情况,提出了一种基于网络爬虫的网络舆情信息采集系统的架构,并对其予以了实现。通过对该系统的测试,验证基于该架构的网络舆情信息采集系统,可以有效地对网络中的舆情信息进行抓取和采集,并支持数据库存储,为网络中舆情信息的管理和监控提供数据支持。     

一种基于Hadoop的大数据仓库技术研究

介绍了大数据时代下最流行的分布式处理框架Hadoop产生的背景、架构和生态圈,重点研究了大数据仓库技术Hive,包括架构、存储、数据操作以及与传统数据库MySQL的一些差别.     

一种基于Hadoop的大数据仓库技术研究

介绍了大数据时代下最流行的分布式处理框架Hadoop产生的背景、架构和生态圈,重点研究了大数据仓库技术Hive,包括架构、存储、数据操作,以及与传统数据库MySQL的一些差别.     

基于Python的微博网络舆情监控系统设计与实现

随着网络和智能手机的发展,两微一端逐渐成为网络信息的主要渠道.为了更好地运用信息化手段提高网络舆情的管理,设计并实现微博网络舆情监控系统,开发了微博热搜舆情搜集、关键字舆情搜集、舆情筛选和舆情溯源等功能,极大地丰富了网络舆情搜集的手段,为网络舆情的分析与管理提供了帮助.     

电信行业大客户关系管理系统的设计与实现

在电信行业中,手工管理大客户存在诸多问题,对大客户无系统的了解和记录,本人结合软件工程方法,对大客户管理系统进行需求分析、功能划分和数据库结构设计等,实现了大客户信息的录入、查询、修改以及删除等功能,方便了电信公司对大客户的信息管理。     

基于Hadoop的矢量空间数据库技术

大型GIS系统中要存储海量的空间数据,需要面对大量用户高并发访问提供高效的服务,而传统的空间数据库设计方案难以满足需求。针对大型GIS系统中海量矢量数据存储组织,提出一种基于Hadoop的存储方案,并通过实验验证该方案的有效性。     

建立基于Solr平台的环境污染网络舆情监测系统

本文针对网络上通过微博、论坛等网络平台发布的环境污染相关消息的高效捕获,提出建立基于Solr平台的环境污染网络舆情监测系统,重点描述了基于Solr平台实现环境污染网络舆情监测系统的主要模块,并基于实际舆情数据对系统的功能和性能进行了分析。实验结果表明本文所述系统可有效满足环保部门等对网络舆情监测的需求。     

基于Hadoop的实验室数据管理系统的实现

构建基于Hadoop的实验室数据管理系统,实现了云计算带来的补偿与分析支持服务,解决了多种数据类型查询不便的问题,也对云计算在教育科研领域的应用进行了尝试性的探索,为将来大规模应用云服务奠定了可靠的基础。