一种能效优化的MapReduce资源比模型

随着云计算的快速发展,IT资源规模的不断扩大导致能耗问题日益凸显.为降低MapReduce编程模型带来的高能耗,文中研究Map/Reduce任务的资源消费特征及该特征与能效的关系,旨在寻找一种能够指导资源分配和任务调度的资源模型,进而实现能效优化.文中提出任务的能效与任务被分配的资源量无关,而与其被分配的各种资源的资源量比例相关,且存在一个“最佳资源比”使得能效达到最高.基于此,文中首先提出了普适的资源和能效模型,从模型层面证明最佳资源比和能效之间的关系,量化空闲资源量和空闲能耗;随后分析MapReduce编程模型,将普适资源比模型变换到MapReduce下.通过抽象的数据的“生产者-消费者”模式,求解Map/Reduce任务的最佳资源比;最后,通过实验从任务能效和空闲能耗两个角度证明了最佳资源比的存在,并根据实验结果,对MapReduce执行过程进行划分,给出了部分Map/Reduce任务的最佳资源比.最佳资源比的提出和求解将有利于基于该最佳资源比的任务调度和资源分配算法的研究,进而实现Map/Reduce任务能效的提高.     

MapReduce连接查询的I/O代价研究

数据的指数级增长给数据管理和分析带来了严峻的挑战.连接查询是数据分析中一种常用运算,而MapReduce是一种用于大规模数据集并行处理的编程模型,研究基于MapReduce的连接查询代价评估和查询优化,有着学术意义和应用价值.MapReduce连接查询算法的性能主要取决于I/O代价(包括本地和网络I/O),而I/O代价与数据集以及连接运算的特征参数相关,通过对二元连接的I/O代价评估可以优化多元连接执行计划.基于此,首先提出了二元连接查询的I/O代价模型;随后,对现有二元连接算法进行形式化定义和简单扩展,归纳出6种基于MapReduce连接查询算法,并通过算法白盒分析定义它们的I/O代价函数;最后,提出一种多元连接最优执行计划的选择算法.通过实验表明I/O代价模型的正确性且能够准确地反映算法的性能优劣.     

安钢Ф400mm机组加热炉改进加热质量实践

在分析安钢Ф400 mm机组工艺特点和加热炉氧化铁皮形成机理的基础上,通过对加热炉水冷系统改进,增加入炉、开轧温度实时监控系统,分钢种、规格钢坯加热制度进行细化等措施有效缓解了强化加热现象、降低了氧化烧损,取得了较好的经济效益和社会效益,具有一定的借鉴和推广价值。     

苯储罐泄漏事故危害区域的确定方法研究

苯的泄漏会造成人员的中毒、灼伤等事故,甚至会发生爆炸、燃烧以及污染环境等事故,由此造成较为严重的人员伤亡、财产损失及社会影响等。本文主要针对苯储罐发生泄漏事故时,通过ALOHA软件对泄漏事故进行模拟,来对苯储罐泄漏事故发生后进行预测,从而对事故现场进行危害区域的细致科学的划分,为消防救援队伍进行苯储罐泄漏事故中进行危害区域划分时提供安全可靠的依据。     

基于集合卡尔曼滤波与相空间重构的负荷预测方法研究

提出一种基于集合卡尔曼滤波和相空间重构的组合模型来优化预测结果。对于负荷数据时间序列,首先使用延迟坐标嵌入方法对其进行相空间重构。基于局部平均法对下一时刻的负荷状态进行预测,其中最临近向量的数目采用循环迭代的方式选取,以获得对不同负荷序列的自适应性。根据无迹变换理论,对负荷预测值选取合适数量的Sigma点组成集合并使用集合卡尔曼滤波器进行数据同化,从而能够在容忍采样噪声的同时给出负荷的最优估计。以非侵入式量测方式获取河北保定市50个家庭用户的负荷数据作为训练集进行试验,给出了电热水器和空调负荷以及家庭总负荷的预测结果和误差分析。结果显示,与单纯基于相空间重构的预测结果进行比较,该组合模型具有更好的预测性能,且对分项电器负荷和家庭总负荷均具有较好的适应性。     

大型工业厂房屋面彩瓦更换施工工艺与安全保证措施

大型工业厂房屋面施工属于超过一定规模的危险性较大的项目工程,且为高空作业,具有一定的施工难度。本文以某钢铁公司渣处理厂房主、副跨     

蓄热式电采暖负荷参与风电消纳运行策略研究

为了就地消纳大规模风力发电功率和提升电网调峰能力,将蓄热式电采暖与具有反调峰特性的风电进行结合,提出了风电与蓄热电采暖联合运行模式.模式中考虑风电机组、火电机组以及电采暖的相关约束,以系统总的发电成本最小为目标,构建了蓄热式电采暖负荷参与风电消纳优化运行模型.通过运用适应模型求解的遗传算法求解该模型,得到蓄热式电采暖负...     

基于卷积神经网络的内镜图像中食管病变分类

消化内镜检查是食管癌筛查的常规手段。由于内镜下的病灶在形状、颜色和质地上的个体差异和视觉相似性，食管鳞癌的诊断效率和准确率都极大地依赖于内镜医师的经验，尤其在白光内镜下容易被误诊和漏诊。针对上述问题，提出一种融合双线性池化和注意力机制的卷积神经网络，可基于白光内镜图像对食管病变进行分类。该网络以ResNet50作为基本框架，加入全新设计的全局通道注意力模块，重新标定通道间特征，并引入双线性池化操作融合多个特征层，增强特征表达。基于2 101例多中心临床患者的白光内镜图像数据集的实验结果显示，该方法对食管病变的分类准确率在图像和病人级别分别为94.2%和96.9%，对食管鳞癌的敏感度和特异度在图像级别为95.4%和98.8%，在病人级别为98.7%和95.9%，均优于实验中所对比的近年来其他模型和方法。该实验结果表明，提出的网络对白光内镜下的食管病变表现出优异的分类性能，可有效提高食管鳞癌的诊断准确率，同时具有较好的鲁棒性。     

工业污水回用反渗透处理中的膜污染分析

为掌握某化工厂污水回用处理过程中出现的反渗透系统运行不稳定的成因，对进水端首支和浓水端末支膜元件进行物理外观检查和标准性能测试，受测的两支膜元件外观良好，但产水量和脱盐率下降。解剖膜元件发现两支膜表面均附着一层褐色污染物，并伴有腥臭味。利用热重分析仪（TGA）、扫描电镜（SEM）、能谱分析仪（EDAX）和傅里叶红外光谱仪（FTIR）等对污染物进行了成分测试，并对反渗透系统产水和浓水进行了微生物检测。结果表明，受测的两支膜元件主要受微生物污染。