一种Spark作业配置参数智能优化方法

Spark的配置参数对作业运行性能有较大影响,针对配置参数种类多、参数搜索空间大、参数间相互影响导致人工配置参数调优效率低下的问题,提出了一种Spark作业配置参数智能优化方法。本文首先在Spark众多配置参数中选择对作业运行性能影响较大的关键配置参数,建立典型Spark作业的运行数据集,利用支持向量回归算法,构建作业性能预测模型,通过改变数据集的规模,对比分析了模型预测值和作业的真实运行时间,模型评估指标证明了作业性能预测模型的有效性和准确性。其次基于作业性能预测模型,设计并实现了基于爬山算法、模拟退火算法、递归随机搜索算法以及粒子群算法的配置参数优化算法,并对几种算法的求解质量进行对比分析,实验表明递归随机搜索算法在几种不同类型的作业上收敛结果较优且标准差较小,证明该算法对不同类型作业的适应性较强、稳定性较好。将本文的智能优化配置与传统经验优化配置相比,实验结果表明,智能优化配置为典型Spark作业分别带来了4%、15%、22%的平均性能提升,证明智能优化配置能够高效地获取到具备较好作业适应性的配置,提升作业运行性能。     

基于IDM3的跨系统平台技术研究

针对高等学校多业务信息系统资源整合的情况,该文基于Novell Nsure Identity Manager 3技术,建立了统一身份库,设计了数据同步机制,整合了与学生密切相关的教务系统、研究生管理系统、学费管理系统、助学货款系统、奖学金管理系统和图书馆管理系统的相关数据,建立了学生信息综合服务平台,实现了学生缴费、缓...     

数据包高效透明转发研究及实现

为了提高双网口相互转发数据包的透明模式防火墙的性能,在分析数据包收发流程以及Netfilter框架的基础上,提出了一种获取发送网卡信息的新方法,并且基于该方法设计并实现了带状态检测和简单包过滤两种功能的透明模式防火墙.测试结果表明,与使用Linux bridge结合Netfilter构建的透明模式防火墙相比,这两种防火墙中的数据转发和过滤更加简洁高效.     

基于OpenFlow的虚拟机流量检测系统的设计与实现

云平台下的虚拟机在物理机内部交互流量,而不通过防火墙等安全组件。针对这类流量无法在网络边界被获取并检测的问题,分析了OpenFlow技术的原理,提出了一种基于OpenFlow技术将虚拟机流量重定向到入侵检测系统进行检测的方案。方案使用OpenFlow虚拟交换机和控制器替代传统交换机,然后基于OpenFlow技术控制流量转发过程,将其导向外部的安全组件进行处理,并构建了由虚拟交换机、控制单元、入侵检测和系统配置管理4个模块组成的流量检测系统。实验结果表明,系统能够在满足虚拟机网络正常使用的前提下,将待监管流量导向入侵检测系统进行处理,而且能够同时提供交换机级及虚拟机级两种粒度的流量重定向控制。通过对虚拟机引流的方式实现在传统场景中解决云计算环境下流量检测问题,同时能够基于OpenFlow轻松实现流量处理的扩展操作。     

基于DHT的消息转发防御机制研究

DHT（Distributed Hash Tables）是结构化P2P（Peer to Peer）系统实现资源高效组织和定位的关键技术。对DTH系统中消息转发过程中的安全威胁及其解决方法进行了分析。以多路径算法为基础,对消息转发效率和安全性进行优化,提出了一种混合路由防御机制。首先结合迭代路由与递归路由的优点,设计了混合路由方式,保证了消息的转发效率并降低消息开销。然后改进了消息转发过程中的可靠性和消息源鉴别机制。最后,在四川大学校园网内进行了测试。仿真试验结果表明,采用混合路由下的防御机制在减少消息数量的同时提高了查询成功率,对于消息转发过程中的攻击有着较好的防御效果。     

虚拟应用网络的安全技术研究

针对信息系统集成中不同应用、不同网络结构等如何在有效实现信息共享、信息集成的同时，也保障信息系统自身安全性的问题，提出了虚拟应用网络的概念。网络借鉴了电路级代理工作的基本原理，以应用协议的会话数据流为对象，对信息系统进行控制和管理。阐述了如何实现统一、简便的认证和管理平台，如何实现与应用协议相对独立的细粒度访问控制，以及将基于角色的存取控制机制有效地与细粒度访问控制相结合等关键技术。通过对虚拟应用网络的研究和实施，可以为综合信息系统提供一个安全、统一、透明的网络应用平台。     

基于会话流聚合的隐蔽性通信行为检测方法

采用隐蔽技术对抗安全检测并实现长期潜伏与信息窃取的网络攻击已成为当前网络的重大安全问题。目前该领域面临3个难题:1）攻击本身的强隐蔽性使其难以检测;2）高速网络环境中的海量通信数据使检测模型难以细粒度构建;3）隐蔽通信的持续性和复杂性使标签数据缺乏进而加大了模型的构建难度。针对上述3个问题,该文在对长时间的校园网流量进行大数据统计分析的基础上,对基于隐蔽会话的隐蔽性通信行为进行了描述和研究,提出了一种隐蔽性通信行为检测方法。该方法首先通过并行化会话流聚合算法聚合原始会话流,然后从集中趋势和离散程度的角度刻画隐蔽通信行为,并引入标签传播算法扩展标签数据,最后构建多分类检测模型。通过仿真和真实网络环境下的实验,验证了方法对隐蔽性通信行为的检测效果。     

SOCKS V5服务器的安全策略配置

SOCKS协议及SOCKSV5服务器的策略配置,提出了对服务器安全策略配置的改进设计和对所配置的策略进行校验的方法。     

SOCKS服务器性能测试工具的研究与实现

该文在分析SOCKS协议的实现原理和过程的基础上,讨论并实现了运行在Linux操作系统上,支持SOCKSv5协议和TCP协议,测试SOCKS服务器并发连接数量和吞吐量两项关键性能的软件工具。并以NEC提供的SOCKS服务器软件包Socks5Server为测试对象,并给出了性能测试结果。