基于Hadoop的流量日志分析

以电信类公司日志文件为分析模板,结合大数据技术,对流量日志的数据进行分析,获取用户的行为特征,明确网站改进方向,为电信类公司本身的业务提出合理化建议,实现数据的最大价值化。整体架构以Hadoop3.1为基础,搭建分布式数据存储分析的大数据平台,结合Sqoop、MySQL、Flume等,实现日志数据分析的架构设计,数据结果最终通过Sqoop工具由HDFS导入到MySQL数据库存储,并对结果进行分析,为完善系统提出改进方案。     

基于Hadoop的Web应用日志挖掘

互联网上的大型站点每天都会产生大量的Web应用日志,这些日志中通常蕴藏着丰富且宝贵的信息,单节点的数据挖掘系统已无法满足挖掘海量Web日志的要求.针对该问题,研究利用云计算技术在存储和分析数据的优势,采用分布式数据挖掘方法,验证了以分布式模式挖掘日志较单机的集中模式的效率优势,提高了海量日志挖掘过程中存在的时空效率.     

基于Hadoop的云教学资源平台

针对近年来高校教学资源呈现海量、复杂、异构等特点,通过融合HBase和My SQL两类数据库,设计并实现了基于Hadoop的云教学资源平台,并运用Map Reduce计算模型对海量日志进行分析。云教学资源平台能够提高资源查询、存储的速度及准确性,提升资源管理者的工作效率,与传统教学资源管理平台相比,其具有更高的可靠性和稳定性。     

基于Notes的办公自动化系统中日志文件的应用

介绍办公自动化系统中日志分析模块利用Lotus Domino／Notes系统提供的日志文件的方法，结合实例描述了应用层自己建立日志文件的方法和日志分析模块应用这种日志文件的实现要点，对这两种应用日志文件的方法进行了简要比较。     

一种基于Hadoop分布式气瓶管理系统设计研究

为了解决气瓶管理系统处理海量数据的性能问题,提出了一种基于Hadoop的分布式气瓶管理系统.首先对现有系统进行分析;然后设计基于Hadoop的气瓶管理系统架构;其次实现基于Hadoop的气瓶管理系统;并对系统性能进行测试.表明基于Hadoop的气瓶管理系统比现有系统性能有很大提高.     

Web访问日志安全分析技术研究

传统Web漏扫及防护技术不足以实时评估Web服务器本身所面临的威胁态势,为此,针对大型复杂环境下Web服务器的安全威胁态势,提出了一种基于Web日志的安全威胁分析方法和系统.该系统从海量日志中提取和分析安全威胁事件,基于威胁行为特征模型,分析出Web网站曾受到的各类威胁,并生成站点综合风险指数,有利于网站针对性加固和加强综合防御能力.     

一种基于Hadoop的大规模Internet频繁闭图挖掘算法

针对当前单机模式下频繁闭图挖掘算法无法处理大规模Internet数据集的问题,通过改进Apriori算法,提出了基于Hadoop的迭代式频繁闭图挖掘算法AMR（Apriori based on MapReduce）。首先将动态网络的边集存储在键值表中,并设计了序列化子图编码方案以确保频繁子图的唯一性;然后提出了一种传递子图编码的通信机制,通过整合每个分片的支持度得到全局支持度,从而确保了频繁闭图的准确性;最后通过剪枝得到动态网络的频繁闭图。将AMR算法分别运用于国家级和AS级Internet的动态网络中,结果表明,频繁闭图能够准确表征Internet骨干网络的拓扑结构,说明AMR算法能够快速且有效地挖掘大规模动态网络的频繁闭图。     

一种基于日志的U盘取证模型研究

为解决windows环境下U盘在计算机中的读写操作难以记录和保存的问题,对U盘与计算机的整个交互流程和U盘的惟一性标识开展研究,在该基础上设计了基于日志的U盘取证系统模型。该模型采用特殊的日志文件结构,通过基于WDM框架的过滤驱动程序来获取U盘在系统中留下的痕迹,并采用特殊的方式进行存储。分析结果表明,该模型切实可行,能够记录U盘从系统中获得的数据及行为,构建有效的证据链供司法取证调查使用。     

一种改进的Hadoop数据负载均衡算法

在介绍Hadoop,HDFS的原理的基础上,分析了Hadoop的数据负载均衡算法.Hadoop负载均衡算法只是根据空间使用率对各个结点的负载进行均衡,这种均衡方法没有考虑结点的处理能力、带宽、文件访问频度等因素,因此,造成了基本相同的文件的响应时间存在很大的差别.提出了一种改进的负载均衡的模型,该模型综合了文件大小、文件并发访问时间、文件访问频度、结点的处理能力、带宽、结点的可用存储空间等因素进行负载均衡.试验结果表明,改进模型不仅实现了存储空间的负载均衡,而且使得同类文件的响应时间更一致.     

基于系统调用的日志系统的设计与实现

为提高Linux系统安全性,在逐步分析Linux系统调用机制的基础上,设计并实现了基于系统调用的日志系统。通过在内核添加新的系统调用,从内核实时截获日志信息,并导出到用户态,使系统能够实时获取与系统安全相关的各种信息,从而分析系统的行为,审计系统的安全性。为尽可能减少内核代码的修改,核心功能模块以内核可加载模块机制实现,减少了调试难度,加大了系统的可扩充性。     

基于入侵检测技术的网络安全分析

计算机网络的安全已成为国家和国防安全的重要组成部分,而入侵检测技术是保证计算机网络安全的核心技术之一。本文首先剖析了网络面临的各种威胁,接着在分析防火墙技术的缺陷的基础上,引出了入侵检测技术,并对入侵检测方法进行了分析,最后指出了入侵检测技术的发展趋势。     

基于网络拓扑的网络安全事件宏观预警与响应分析

为及早发现并有效控制大规模爆发的网络安全事件的发生发展,本着主动测量和异常检测相结合的思路,设计实现了大规模网络安全事件协作预警系统,重点探讨了基于聚类算法的宏观预警分析、控制点选择、控制建议生成等关键技术,经可视化处理,取得了较好应用效果．     

基于Docker技术的静态安全分析云计算应用

为适应电力调度系统中响应多用户静态安全分析计算的并发性和扩展性需求的不断发展,通过分析静态安全分析计算的特点,并将其与Docker技术结合,提出一种基于Docker技术的静态安全分析云计算应用方法.首先,设计该应用方法的运行架构,对不同的潮流计算算法制作对应的Docker容器镜像;随后通过Protobuf按照给定格式实现用户和容器之间数据交互,根据计算请求动态创建新的容器或分配空闲容器,并在计算结束后释放容器资源;所提方法利用Docker技术提高云平台计算资源的利用率,满足静态安全分析计算功能的并发要求.最后,对实际算例进行分析,结果表明,该方法可以提高云平台下静态安全分析计算功能的并发性和扩展性.     

基于Docker技术的静态安全分析云计算应用

为适应电力调度系统中响应多用户静态安全分析计算的并发性和扩展性需求的不断发展,通过分析静态安全分析计算的特点,并将其与Docker技术结合,提出一种基于Docker技术的静态安全分析云计算应用方法.首先,设计该应用方法的运行架构,对不同的潮流计算算法制作对应的Docker容器镜像;随后通过Protobuf按照给定格式实现用户和容器之间数据交互,根据计算请求动态创建新的容器或分配空闲容器,并在计算结束后释放容器资源;所提方法利用Docker技术提高云平台计算资源的利用率,满足静态安全分析计算功能的并发要求.最后,对实际算例进行分析,结果表明,该方法可以提高云平台下静态安全分析计算功能的并发性和扩展性.     

基于射频识别技术的物联网空口安全体系

介绍了基于射频识别的物联网系统架构,分析了其来自标签、读写器、传输网络和应用系统等方面的安全威胁和安全需求,阐述了基于物理方法和针对无线网络的空中接口安全机制。提出了一种面向酒类防伪的低复杂度射频识别空中接口双向鉴别协议。该协议通过读写器和电子标签进行相互认证来确保彼此的合法性,并采用随机数来保证通信数据的安全性,该协议支持现有的AES、3DES和SM4等国际国内加密算法。     

浅析网络安全技术

随着Internet的发展,保障网络安全越来越重要,本文对分析了当前网络使用的主要安全技术,防火墙技术、加密技术、虚拟专用网技术进行了分析。     

基于ARM的小区安防人脸识别系统

针对小区安防,利用嵌入式技术进行了基于ARM的人脸识别系统的设计。系统使用三星S3C2440开发板,在OpenCV库的基础上,使用Bandelet变换对人脸图像进行预处理,使用2DPCA算法对变换图像进行主成分分析,并把人脸信息保存至数据库,通过Euclidean算法确认人脸是否可识别。嵌入式系统相比较于未经过Bandelet变换处理的人脸识别系统在识别率上有了进一步提升,可有效地应用在小区安防。     

基于多种安全技术的网络防护模型

从网络的安全威胁入手,介绍了几种常见的安全防范措施．讨论了实现网络安全应采取的策略和机制,给出了一个合理的网络安全防护模型MRFDR,该模型包括网络安全管理、入侵检测机制、安全响应机制、防火墙策略、网络安全恢复．通过多种技术的有效配合,能对网络起到防护作用．     

ASP服务平台安全体系构建

在资源分散性、异构性等条件下,使分布式资源共享的Web Services技术得到了广泛应用,并促进了网络化制造事业的发展.在网络化制造模式发展之后,随之而来的就是基于分布式资源管理使用Web Services的安全问题.结合ASP服务平台的应用,分析了数据安全的使用及构成,进行了有针对性的分析和处理,使信息的安全交互水平得到提高.     

通信系统安全技术应用--安全短信息系统

针对基于短信业务的安全性，提出了一个高标准的安全短信息服务模式，以增强GSM／GPRS网络的短信息服务的安全性，保证重要信息在移动网络中交换的安全和可靠性，加强利用短信息进行小额付款和其它移动电子商务的实用性。