基于迭代填充的内存计算框架分区映射算法

针对内存计算框架Spark在作业Shuffle阶段一次分区产生的数据倾斜问题,提出一种内存计算框架的迭代填充分区映射算法（IFPM）。首先,分析Spark作业的执行机制,建立作业效率模型和分区映射模型,给出作业执行时间和分配倾斜度的定义,证明这些定义与作业执行效率的因果逻辑关系;然后,根据模型和定义求解,设计扩展式数据分区算法（EPA）和迭代式分区映射算法（IMA）,在Map端建立一对多分区函数,并通过分区函数将部分数据填入扩展区内,在数据分布局部感知后再执行扩展区迭代式的多轮数据分配,根据Reduce端已分配数据量建立适应性的扩展区映射规则,对原生区的数据倾斜进行逐步修正,以此保障数据分配的均衡性。实验结果表明,在不同源数据分布条件下,算法均提高了作业Shuffle过程分区映射合理性,缩减了宽依赖Stage的同步时间,提高了作业执行效率。     

异构Spark集群数据倾斜修正调度策略

异构Spark集群存在木桶效应,不合理的并行度导致任务分配与工作节点计算能力的适配性较差,进而影响集群计算效率和资源利用率。针对这一问题,首先建立模型,分析数据分布、并行度参数和节点任务分配的耦合关系,提出算法的优化目标,设计异构Spark集群的数据倾斜修正调度策略DSCS,包括并行度预估算法、数据倾斜修正算法和异构节点任务分配算法。预估算法对并行度进行先期设定,数据倾斜修正算法根据首个计算阶段的统计信息进行数据重新划分和并行度修正,由异构节点任务分配算法对集群不同计算能力的工作节点进行合理的任务分配,从而提高数据计算量与节点计算能力的适配性,优化Spark集群的整体性能。实验结果表明：在不同作业类型、不同数据集条件下,算法均取得了一定的性能提升,并能有效减少工作节点外存溢写的概率。     

基于CATBL算法的恶意URL检测

为提高对恶意U RL检测的准确率,提出一种结合注意力机制的卷积神经网络和双向长短时记忆网络并联联合算法模型(CATBL).提取用于表达恶意URL二进制文件内容相似性的纹理图像特征,提取URL信息特征及主机信息特征,将这几种特征进行融合,利用CNN(convolutional neural network)挖掘深层次局部特征,采用Attention机制调整权重和双向LSTM(bidirectional long short-term memory)提取全局特征,用于对网络中的恶意URL进行检测.实验结果表明,使用该算法检测恶意U RL的准确率达到98.8％,与传统检测方式相比,具有明显的提升.     

Spark框架并行度推断算法

分布式计算集群Spark宽依赖并行度取决于用户设定参数,对于不同的作业类型或数据集,硬编码的并行度参数设定难以发挥集群的最大计算能效。针对这一问题,首先对Spark作业执行方式进行深入分析,建立作业调度模型,提出宽依赖计算代价、资源空置率和溢写概率的定义;然后分析任务并行度对作业执行时间的影响,证明并行度取值具有合理区间,提出并行度推断算法的优化目标。最后根据模型定义进行目标求解,设计批处理内存计算框架的并行度推断算法（parallelism deduction algorithm,PDA）,通过构建的数据总量、执行区预留比、操作闭包集合、资源表等多个基础数据,计算符合资源需求表且具有最大资源利用率和最小开销的任务并行度;PDA算法在作业的各个Stage中迭代执行,根据计算环境优化调度方案提高性能。实验表明,PDA算法提高了Spark框架的作业执行效率,针对不同类型作业均具有良好的普适性。     

并行计算框架Spark的自适应缓存管理策略

并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略（Self-Adaptive Cache Management,SACM）,包括缓存自动选择算法（Selection）、并行缓存清理算法（Parallel Cache Cleanup,PCC）和权重缓存替换算法（Lowest Weight Replacement,LWR）.其中,缓存自动选择算法通过分析任务的DAG（Directed Acyclic Graph）结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明：我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用.     

基于ASP.NET的在线考试系统设计与实现

随着教育信息化改革的逐步深入,计算机技术已逐渐应用到教育教学过程的各个方面,灵活高效的信息化考核方式成为高校教育改革的重要组成部分.在线考试系统通过网络实现考试过程的无纸化管理,不仅能够节约因考试产生的人力物力成本,更提高了工作效率,同时方便教务部门对考试全过程的监督检查.介绍了基于ASP.NET在线考试系统的设计与实现,包括学生管理、试题管理、在线考试、成绩管理、异常恢复等主要功能,详细阐述在线考试系统的分析、设计和开发过程,并运用功能结构图、数据流图等方法对在线考试系统的实现过程作了详细的说明.     

企业资源整合过程中网络适配技术的研究与应用

根据集团公司的具体需求,对相关技术应用做了研究和分析,利用公网结合VPN技术实现异地通信,采用B/S模式使用新的MIS系统,降低企业更新成本;采用VLAN技术,将公司各部门进行划分,有效解决局域网安全问题,结合NAT技术缓解IP地址紧张。使用表明,因地制宜的网络适配技术将提升企业现有的管理水平和运营效率,增长企业对外部市场的竞争能力,发掘企业内部的业务发展潜力。     

基于单片机的输液监测系统设计

本文设计基于单片机的输液监控系统能够实现实时监测和报警功能.采用单片机和数字显示技术对液体的量和速度进行计实时监测,并在滴速异常时报警;采用串行通信进行输液监控系统与手机App之间的通信,以实现对病人静脉输液全过程的实时监控和管理.系统综合运用传感器技术、自动控制技术和无线通信技术设计了滴速检测、回血报警、液晶显示、无...     

一种基于用户商业行为的数据采集分析方案

为了有效利用用户在互联网上留下的痕迹数据,提高电子商务平台的购买转化率,提出一种基于用户商业行为的数据采集分析方案.该方案对痕迹数据进行分类采集,通过即定评价指标进行深层次挖掘,与关联规则库进行比对匹配,形戚满足用户需求的推荐内容.应用表明,痕迹数据的采集全面可靠,评价体系指标设定合理,推荐内容符合用户满意度.