基于Hive的空气质量大数据查询优化方法

为了提高对环境空气质量监测系统中省级环境监测中心站里已汇集的海量监测数据的统计和分析效率,提出了一种基于Spark 集群在Hive上进行多维数据分区的查询优化方法。以湖北省环境监测中心站中的空气质量监测数据为研究对象,将数据转移到Spark集群利用Spark SQL连接Hive并进行分区存储。设计了12种查询,查询4个数据集,通过与采用传统查询方法的实验对比得出结论。实验结果表明:基于Hive的分区优化方法对空气质量大数据的查询时间有47%到96%的优化,而随着查询的复杂程度和数据量的增加,该方法的优化效果越明显。     

Spark集群中还贷问题的逻辑回归模型研究

在Spark集群环境下,通过Sparklyr调用MLib中的并行逻辑回归算法对大规模抵押贷款数据的训练集进行监督学习,使用R语言建立一个预测客户是否会如期归还贷款的逻辑回归分类模型。为了研究该模型的可信性以及获取效率,本文补充了伪判定系数、分类评价指标、测试集性能几个指标对模型可信性进行评价,并判定了模型的可信性。在获得了可信模型的基础上,实验结果表明:当数据量增加到一定阈值后,在集群环境下使用并行的算法获得逻辑回归分类模型的速度要优于对应的串行算法。     

智能化执行机构设计研究

分析了国内外智能执行机构的研究现状,针对国产执行机构的不足,设计了一种智能化执行机构,完成了执行机构控制器软硬件设计,提出故障自诊断与自保护解决方案;通过计算确定了主要元器件参数,进行了元器件初步选型;最终完成执行机构样机试制,并进行了功能验证。     

大型多用户车削数据库软件CTRN90的开发及其应用

CTRN90车削数据库软件,主要用于一般车床、NC车床、加工中心等机床加工内、外圆、锥体、端面、切槽、切断和倒棱等工序上。它可推荐出经过优化的切削用量、计算工时及成本等,从而为从事机械加工的企业、工厂节约消耗,提高经济效益,增强竞争能力,同时为CAD、CAM、FMS、CAPP、CIMS等提供基础数据,它适用于企业、工厂、学校、科研设计单位及有关的管理等部门。     

辣根素对3种仓储害虫的熏蒸作用

在28℃环境温度下,利用三角瓶熏蒸法,测定了辣根素对3种仓储害虫的熏蒸毒力。结果表明,熏蒸48 h后,辣根素Ⅰ和辣根素Ⅱ对赤拟谷盗、谷蠹和玉米象成虫均具有明显的熏蒸效果。辣根素Ⅱ对3种仓储害虫的熏蒸效果均更好。辣根素Ⅰ熏蒸处理48 h后,对赤拟谷盗、谷蠹、玉米象成虫的毒力回归方程和LC50分别为:赤拟谷盗Y=-3.94+4.77X,6.68μL/L;谷蠹Y=-4.73+11.11X,2.67μL/L;玉米象Y=-4.22+7.47X,3.68μL/L。辣根素Ⅱ熏蒸处理48 h后,对赤拟谷盗、谷蠹、玉米象成虫的毒力回归方程和LC50分别为:赤拟谷盗Y=-4.17+5.65X,5.47μL/L;谷蠹Y=-1.82+5.39X,1.95μL/L;玉米象Y=-2.90+6.04X,3.02μL/L。     

基于Spark并行SVM参数寻优算法的研究

针对传统支持向量机(SVM)参数寻优算法在处理大样本数据集时存在的寻优时间过长,内存消耗过大等问题,提出了一种基于Spark通用计算引擎的并行可调SVM参数寻优算法。该算法首先使用Spark集群将训练集以广播变量的形式广播给各个Executor,然后并行化SVM的参数寻优过程,并在在寻优过程中控制Task并行度,使各个Executor负载均衡,从而加快寻优速度。实验结果表明,本文提出的参数寻优算法,通过设置合理的Task并行度,可以在充分使用集群资源的同时提高最优参数的寻找速度,减少寻优时间。