一种基于深度强化学习的Spark Streaming参数优化方法

Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一。在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素。在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能。因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法（DQN-SSPO）,将Spark Streaming参数优化配置问题转化为深度强化学习模型训练中的最大回报获得问题,并提出权重状态空间转移方法来增加模型训练获得高反馈奖励的概率。在3种典型的流分析任务上进行实验,结果表明经参数优化后Spark Streaming上的流作业性能在总调度时间上平均缩减27.93%,在总处理时间上平均缩减42%。     

基于区域结构特征的城区LiDAR数据快速分类

机载激光雷达能够及时准确地获取大量具有精确三维位置信息的三维点云数据,在数字城市、森林防火、智能交通等领域有着广泛的应用。城市中心区域的三维点云数据往往会因为高大树木或植被的遮挡,造成建筑物等人造目标识别特别困难。本文通过直接的二次多项式拟合方式提取高大树木等植被与建筑物目标典型局部区域的区域信息,构建区域目标敏感的结构特征,进而,通过模糊逻辑即可完成三维点云数据的建筑物目标敏感的分类任务。实验结果表明,该方法能够快速有效地实现较大尺度范围内LiDAR点云数据的分类,具有较好的应用前景和推广能力。     

基于改进AdaBoost算法的复杂网络链路预测

链路预测是复杂网络的重要研究方向,当前的链路预测算法因可利用的网络信息有限,导致预测算法的精确度受限。为了提高预测算法的性能,采用改进的AdaBoost算法进行链路预测。首先根据复杂网络样本建立邻接矩阵,完成样本的矩阵化处理;然后采用AdaBoost算法进行分类训练,通过权重投票获取预测结果;最后,考虑到复杂网络弱分类器预测正负误差分布的不均衡问题,设置权重调整因子η及其调整范围[η1,η2],并根据η值动态调整AdaBoost算法的多个弱分类器分类结果的权重,从而获得准确的链路预测结果。实验结果证明,相比其他常用网络链路预测算法及传统AdaBoost算法,改进的AdaBoost算法的预测准确率优势明显,且在节点数量较多时,其预测时间性能和其他算法的差距较小。     

青山嘴水库移民城市楼房安置后续发展趋势研究

云南青山嘴水库工程因地制宜,在国内首次提出将移民安置于城市楼房并享受20 a生活补助的安置方式,但20 a生活补助期满后移民的后续发展是否还能适应城市的社会经济发展尚不可知。以托达罗理论为基础,建立了移民在城市楼房安置后可持续发展的理想模型,并用时间序列法在现有数据的基础上对移民未来的经济能力进行预测,探寻基于现有政策的移民后续经济能力发展的趋势;结合我国十九大提出两步走战略安排,计算出预测结果与发展目标间的差距,并以此作为后续发展过程中移民所需帮扶的依据,提出帮助移民经济能力达到发展目标的具体措施。     

社会工作介入留守儿童社区课堂教育研究 ——以"七色光"项目为例

随着留守儿童的数目逐年增多,留守儿童的社区教育受到社会各界关注.社会工作者整合社区及社会组织等资源,以专业的理论方法,开展社会工作服务以介入留守儿童的社区课堂教育.文章以"七色光"项目为例,以S市D社区教育课堂为试点,以探究社会工作介入社区课堂教育的服务方式及成效,并分析项目中存在的困境及可改进的部分,以此为社会工作介入留守儿童社区课堂教育服务提供经验参考及相关建议.     

求解声波动方程的隐格式有限体积法

为研究声传播问题,提出一种声波动方程的隐格式有限体积法,该方法将格点型有限体积法与Newmark格式相结合.模拟平面波的传播过程,对比分析隐格式有限体积法和文献中显格式有限体积法的精度、稳定性及计算消耗等方面的性能.数值结果表明:当λ/Δx≥10时,两种算法均能得到满足精度要求的解;采用无条件稳定的隐格式算法,当满足ω0Δt≤0.3时,预测声压的相对峰值误差1%;当采用相同时间、空间步长时,隐格式算法精度高于显格式算法;隐格式算法对吸收边界的处理精度高于显格式算法,但对全反射边界的处理精度低于显格式算法;两种算法内存消耗比较接近,显格式算法的CPU耗时较少.     

东江水源工程西枝江取水口改造设计与研究

采用二维水沙数学模型研究了东江水源工程西枝江取水口附近局部流态、河床冲淤等变化规律,提出了取水口改造方案。通过取水口改造局部地形优化进水条件,来改变河床的冲淤规律,实现减少淤积及沼蛤等水生物附着的目标。     

超声导波电磁声换能器的研究进展

超声导波具有检测范围大、检测效率高等优点,广泛应用于板、管等典型波导结构的缺陷检测.作为超声导波换能器类型之一,电磁声换能器(electromagnetic acoustic transducer,EMAT)得到广泛关注和快速发展.综述了近20年来超声导波电磁声换能器的研究进展.主要包括:针对板和管结构超声导波检测的单模态EMAT结构设计;用于提高激励导波的能量和模态单一性的EMAT线圈与磁体结构参数的优化,针对非金属材料检测的新型贴片式EMAT的结构设计;阵列技术在EMAT性能优化上的应用和在缺陷定位和成像上的应用.     

碳纳米管受介电泳作用三维运动仿真

利用溶于介电液中的碳纳米管在外加交变电场作用下极化产生介电泳力和液体粘滞阻力的共同作用,建立了碳纳米管受力和运动模型;对碳纳米管的运动过程进行了仿真,得到了碳纳米管从特定初始点开始的三维运动轨迹和可以实现组装的碳纳米管初始点分布区域.计算了碳纳米管运动过程中所受介电泳力和速度的变化规律,距离电极间隙越近,碳纳米管受力和速度越大,最大分别能达到10^-9 N和10⁵μm/s的数量级.仿真结果为碳纳米管介电电泳组装提供指导.     

基于Zigbee技术的船舶机舱监控系统的设计

针对船舶机舱监控系统中的布线复杂、通讯盲区等问题,以机舱主要电气设备的温度监测为研究对象,提出和设计基于ZigBee技术以CC2430为核心的无线监控系统,在ZigBee协议的基础上完成软件的设计.