MATLAB内存溢出及其解决方法

使用MATLAB进行大数据集的操作处理时的内存溢出会导致程序无任何预兆就直接异常终止,这一问题已经成为在MATLAB环境中高效率开发的最大障碍之一。本文首先简要介绍MATLAB内存限制,然后分析内存溢出问题产生的原因和背景,最后针对该问题提出两大类解决方法。     

如何有效预防.NET应用程序内存溢出

内存溢出是软件开发历史上存在了多年的"老大难"问题,导致内存溢出问题的原因有很多,如果不是特别注意在程序员开发的程序代码中包含的"内存溢出"漏洞也会很多。本文将结合当前使用最广泛的.Net开发程序导致内存溢出问题及预防方法进行论述。     

内存溢出和数据库锁表的分析与解决

软件系统的稳定与可靠是衡量软件系统质量的重要指标,内存溢出与数据库锁表是破坏系统稳定运行的重要因素.本文通过列举常见的内存溢出与锁表的原因,介绍了Java内存泄漏的基本原理,并结合实际,讲解了如何来解决内存溢出与锁表问题.     

一种Cisco IOS内存溢出攻击检测方法

“棱镜门”事件的曝出,使得Cisco路由器的安全性问题越来越受到重视。从提升网络环境的安全角度出发,通过引入动态污点分析技术来检测针对Cisco IOS的内存溢出攻击。通过分析Cisco IOS的指令格式,根据不同指令的特点制定相应的污点传播规则,实现了Cisco IOS上的动态污点分析技术。在此基础上,通过定位Cisco IOS中的安全库函数来确定安全性检测点,并在安全性检测点实现对内存溢出攻击的检测。实验结果证明了本文提出的攻击检测方法的有效性,并可以追踪攻击的来源,有利于提升网络的安全性。     

Hadoop平台下垃圾邮件过滤技术研究

传统的贝叶斯垃圾邮件过滤系统虽然具有较高的分类准确性,但是在处理邮件时存在效率低、消耗资源量大的问题。本文针对贝叶斯垃圾邮件过滤算法进行了在Hadoop Map Reduce下的研究,并对判定类别的阈值进行了优化,实验表明,本文提出的算法降低了正常邮件的误判率,提高了垃圾邮件判定的准确率和F值,同时提高了垃圾邮件过滤的效率。     

关于．Net中内存泄露的探讨

一直以来内存泄露都是程序员们非常关心的一个大问题,通过借助一些工具,程序员可以查找到程序中存在的内存泄露的问题。内存溢出的出现会给程序员带来很多的烦恼。本文针对．NET环境中的内存泄露问题进行分析并指出应如何正确使用c#的垃圾回收机制。     

Hadoop平台下改进的LATE调度算法

对Hadoop平台下的MapReduce现有的调度器进行分析研究。针对LATE调度算法在分配节点执行落后任务的备份任务时的不足,结合Hadoop集群的异构性和工作负载的特殊性,在LATE调度算法的基础上提出了一种改进的LATE调度算法。对该算法进行实验和性能分析,表明该算法在完成时间和负载均衡方面有很大改进。     

Hadoop平台下的动态调度算法

目前,云计算环境具有动态、异构和海量多类型任务并发等特征,随着集群规模不断增大、用户QoS不断增多,现有调度算法越来越难以适应动态变化的环境及满足用户的需求。针对Hadoop平台下现有调度器不能根据作业运行状态和资源使用情况进行动态调整的问题,提出了Hadoop下基于作业分类的动态调度算法。该算法在使用朴素贝叶斯分类算法对队列中作业进行分类的过程中,根据各个作业的类型,预先设定类别权值,将队列中的作业分类,并引入效用函数,根据用户提交时的预期完成时间QoS和作业完成情况估算其作业完成时间,实现动态设置作业优先级。实验表明,使用提出的算法不仅能有效减少 作业的分类时间,而且能明显提高 动态性和用户QoS。     

Hadoop平台下的分形图像压缩编码

借助Hadoop平台实现了分形图像压缩编码,并将其应用于云渲染中对渲染后的图像进行压缩并传至用户阶段。采用4台PC机搭建Hadoop平台,并在此基础上进行分形图像压缩编码,实验结果表明,采用4台PC机的Hadoop平台并行压缩时间不到单台PC机压缩时间的30%,证实了该方案的现实有效性。采用分形压缩编码将云渲染后的图像传给用户具有压缩比大、传输时间短、解压缩快等特点,对改善云渲染用户体验具有重要意义。     

利用DocMem诊断内存故障

朋友一电脑在上网时常出现IE非法操作,经多次重装系统也无效。经笔者判断很可能为内存故障。该电脑有两条32M和一条128M的内存,开机检测并无异常。于是笔者想到了内存检测软件DocMem(DocMem1.     

基于Hadoop平台的地铁NCC数据中心方案研究

线网指挥中心是地铁管理控制中的承上启下的重要环节,接入线网各线路的控制中心,实时的监测线网整体的运营状况;并通过与上级政府交通管理部门系统的对接,将相关数据提交至交通管理系统,配合交通管理部门的工作;数据中心是线网指挥中心的核心环节,存储线网所有线路的生产数据和业务数据;目前线网指挥中心的数据中心都是基于传统的数据仓库的架构来创建的,而随着线路的不断增多,数据的种类和数量都在不断增加,传统数仓暴露出成本高,扩容难,维护困难的缺点;该方案提出的基于Hadoop大数据平台的数据中心建设方案,极大地降低了使用和维护成本,Hadoop生态圈包含了各类的组件模块,能够解决建设和使用中遇到的各类问题,提高了数据中心的性能。     

基于SAML的Hadoop云计算平台安全认证方法研究

文章分析研究了Hadoop云计算平台当前的安全认证机制。通过分析Kerberos安全认证体系以及SAML认证标准,提出了适用于Hadoop云计算平台的安全认证方法——基于SAML的Hadoop云计算安全平台安全认证方法。该认证方法将认证授权票据简化为索引,避免了认证授权票据的直接传输。通过安全性逻辑证明该认证方法进一步保证了用户认证和服务授权的高效和安全。     

Hadoop云计算平台在高校实验室教学环境中的实现

云计算领域是IT发展的方向,其重要性正日益凸显,Hadoop是云计算领域的一项具体技术。该文以开源的分布式计算框架Hadoop为基础,详细介绍了在学院网络实验室中搭建云计算平台Hadoop教学环境的过程,并给出了具体实现方案。     

Hadoop平台上的云会议研究

针对传统多媒体会议规模小、媒体可靠性差和系统鲁棒性弱等缺点,提出一种面向服务基于云计算的多媒体会议-云会议.该系统利用面向服务的思想,采用松耦合结构,将信令、媒体服务相分离;利用云计算的规模大、扩展性和计算能力强的特点,扩大会议规模、高效处理媒体;改进云计算开发平台Hadoop,使其满足多媒体会议需求.实验表明,云会议在规模、可靠性、鲁棒性各方面比现有多媒体会议表现更佳.     

Hadoop平台下的并行Web日志挖掘算法

当面对海量数据时,基于单一节点的Web数据挖掘存在时间和空间效率上的瓶颈.针对该问题,提出一种在Hadoop平台下实现Web日志挖掘的并行FP-growth算法,利用Hadoop分布式文件系统和MapReduce并行计算模型处理日志文件.实验结果表明,该算法的加速比能随着数据集的增大而提高,其执行效率优于串行FP-growth算法.     

基于Hadoop平台的一种改进K-means文本聚类算法

K-means算法是进行文本聚类时使用最为广泛的一种推荐算法之一.该算法在进行文本聚类时每个属性的作用是同等的,而实际中每个属性对文本的影响是不同的,导致聚类效果受到影响.针对该缺点,通过引入属性权重提出了一种改进的K-means聚类算法,并在Hadoop平台加以实现,以更好体现改进算法的效率.通过实验进行了测试,表明...     

云环境下Hadoop平台的作业调度算法

云计算的研究和应用将有一片广阔的前景,详细研究和分析了Hadoop平台架构和核心原理,研究了Hadoop现有的典型作业调度算法,并针对算法存在需要预先配置的问题,提出了基于朴素贝叶斯分类的作业调度算法,通过仿真实验,可以看出改进的算法具备了良好的学习能力,性能良好,可以减轻管理员的负担,提高管理效率,减少人工错误的可能性.     

基于Hadoop 平台的聚类K-means算法的研究

针对当前数据规模不断增大，单机的数据挖掘运行效率低下的问题，本文采用Hadoop 平台对聚类K-means 算法进行研究以解决此类问题。首先对Hadoop 平台的架构和搭建进行了详细描述；其次详细分析了K-means 算法；最后给出了算法实现，并对算法进行了实验分析。