构建高性能网站的关键技术研究

分析了影响网站性能的各种因素,以及构建高性能网站关键技术。简述了互联网的发展趋势,描述了高性能网站要满足的要求,讲述了架构的原则、架构的演变过程,以及在架构中应该注意的各个方面,在信息数据从存储介质到用户浏览器的传输速度方面,分析了缓存的使用、CDN、负载均衡的各种方式等因素,在服务器对信息数据的处理效率方面,分析了服务器系统软件的选择和框架的使用等因素,如LAMP组合,SSH框架,讨论了服务器可扩展性和稳定性的各个方面,并给出了监控的一种实现方法。     

基于迭代填充的内存计算框架分区映射算法

针对内存计算框架Spark在作业Shuffle阶段一次分区产生的数据倾斜问题,提出一种内存计算框架的迭代填充分区映射算法（IFPM）。首先,分析Spark作业的执行机制,建立作业效率模型和分区映射模型,给出作业执行时间和分配倾斜度的定义,证明这些定义与作业执行效率的因果逻辑关系;然后,根据模型和定义求解,设计扩展式数据分区算法（EPA）和迭代式分区映射算法（IMA）,在Map端建立一对多分区函数,并通过分区函数将部分数据填入扩展区内,在数据分布局部感知后再执行扩展区迭代式的多轮数据分配,根据Reduce端已分配数据量建立适应性的扩展区映射规则,对原生区的数据倾斜进行逐步修正,以此保障数据分配的均衡性。实验结果表明,在不同源数据分布条件下,算法均提高了作业Shuffle过程分区映射合理性,缩减了宽依赖Stage的同步时间,提高了作业执行效率。     

Storm环境下基于权重的任务调度算法

大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法（TSAW-Storm）。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。     

异构Spark集群数据倾斜修正调度策略

异构Spark集群存在木桶效应,不合理的并行度导致任务分配与工作节点计算能力的适配性较差,进而影响集群计算效率和资源利用率。针对这一问题,首先建立模型,分析数据分布、并行度参数和节点任务分配的耦合关系,提出算法的优化目标,设计异构Spark集群的数据倾斜修正调度策略DSCS,包括并行度预估算法、数据倾斜修正算法和异构节点任务分配算法。预估算法对并行度进行先期设定,数据倾斜修正算法根据首个计算阶段的统计信息进行数据重新划分和并行度修正,由异构节点任务分配算法对集群不同计算能力的工作节点进行合理的任务分配,从而提高数据计算量与节点计算能力的适配性,优化Spark集群的整体性能。实验结果表明：在不同作业类型、不同数据集条件下,算法均取得了一定的性能提升,并能有效减少工作节点外存溢写的概率。     

基于CATBL算法的恶意URL检测

为提高对恶意U RL检测的准确率,提出一种结合注意力机制的卷积神经网络和双向长短时记忆网络并联联合算法模型(CATBL).提取用于表达恶意URL二进制文件内容相似性的纹理图像特征,提取URL信息特征及主机信息特征,将这几种特征进行融合,利用CNN(convolutional neural network)挖掘深层次局部特征,采用Attention机制调整权重和双向LSTM(bidirectional long short-term memory)提取全局特征,用于对网络中的恶意URL进行检测.实验结果表明,使用该算法检测恶意U RL的准确率达到98.8％,与传统检测方式相比,具有明显的提升.     

基于IGBT多电平技术的抽水蓄能电站新型SFC起动系统

介绍了一种抽水蓄能电站机组水泵工况下起动的新型变频起动系统,该变频起动系统采用了基于IGBT的高压多电平静止变频器（SFC）。与传统晶闸管方式SFC相比,新型SFC变频起动系统具有磁极定位准确、谐波污染少、起动时间短、占地体积少、维护量低等特点,极大提高了电站运行水平。本文以电压等级为15.75kV容量为250MVA的...     

Storm平台下的线程重分配与数据迁移节能策略

作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略（energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM）,包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.     

基于ASP.NET的在线考试系统设计与实现

随着教育信息化改革的逐步深入,计算机技术已逐渐应用到教育教学过程的各个方面,灵活高效的信息化考核方式成为高校教育改革的重要组成部分.在线考试系统通过网络实现考试过程的无纸化管理,不仅能够节约因考试产生的人力物力成本,更提高了工作效率,同时方便教务部门对考试全过程的监督检查.介绍了基于ASP.NET在线考试系统的设计与实现,包括学生管理、试题管理、在线考试、成绩管理、异常恢复等主要功能,详细阐述在线考试系统的分析、设计和开发过程,并运用功能结构图、数据流图等方法对在线考试系统的实现过程作了详细的说明.     

Spark框架并行度推断算法

分布式计算集群Spark宽依赖并行度取决于用户设定参数,对于不同的作业类型或数据集,硬编码的并行度参数设定难以发挥集群的最大计算能效。针对这一问题,首先对Spark作业执行方式进行深入分析,建立作业调度模型,提出宽依赖计算代价、资源空置率和溢写概率的定义;然后分析任务并行度对作业执行时间的影响,证明并行度取值具有合理区间,提出并行度推断算法的优化目标。最后根据模型定义进行目标求解,设计批处理内存计算框架的并行度推断算法（parallelism deduction algorithm,PDA）,通过构建的数据总量、执行区预留比、操作闭包集合、资源表等多个基础数据,计算符合资源需求表且具有最大资源利用率和最小开销的任务并行度;PDA算法在作业的各个Stage中迭代执行,根据计算环境优化调度方案提高性能。实验表明,PDA算法提高了Spark框架的作业执行效率,针对不同类型作业均具有良好的普适性。     

并行计算框架Spark的自适应缓存管理策略

并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略（Self-Adaptive Cache Management,SACM）,包括缓存自动选择算法（Selection）、并行缓存清理算法（Parallel Cache Cleanup,PCC）和权重缓存替换算法（Lowest Weight Replacement,LWR）.其中,缓存自动选择算法通过分析任务的DAG（Directed Acyclic Graph）结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明：我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用.