基于CIMISS的省级气象大数据服务系统设计

针对原有省级CIM ISS系统无法有效支撑现代化气象数据服务的问题,利用分布式技术,构建了天津省级气象大数据服务中心,搭建了以HBase、GBase、分布式NAS为基础的统一数据存储环境,与省级CIM ISS系统形成了无缝对接,满足了天津气象业务的现代化需求.在测试对比中发现,本系统的查询性能得到较大提升:自动站数据比CIM ISS系统提升了5.2-22.3倍(倍数随着时间不断扩大),而格点数据则比原一体化平台提升了5倍多,充分验证了本方案的有效性.     

基于物联网技术的小波域分块压缩感知算法的图像重构系统设计

针对低照明度重构图像分辨率不高、重构时间长的问题,提出了基于小波域分块压缩感知算法的图像重构系统。建立低照明度图像采样模型,采用图像的景深自适应调节方法进行小波域分块压缩感知和信息融合处理。利用多尺度的Retinex算法进行小波域分块压缩感知和信息提取,提取图像的信息熵特征量。采取图像自适应增强方法进行低照度图像增强处理,使用物联网技术进行低照明度图像的三维信息重构,结合细节增强方法进行低照度图像增强处理,完成重构系统设计,实现透射率图的轮廓检测和特征重构。仿真结果表明,采用该方法进行低照明度图像重构的分辨率较高,边缘感知能力较好,且重构耗时较短,实际应用效率较高。     

基于AERF模型的油井结蜡预测

油井结蜡是一种在开发以及开采油田时对油井正常产出造成了负面影响的现象,该现象会引起油流通道堵塞,导致油井开采过程中出油量降低.对油井结蜡状况做出智能预警,完成油井设备提前修复,对油田提高产能效率、降低维护成本及智能化管理有非常关键的价值.为了解决油井正常数据和结蜡数据严重不平衡问题,本文引入了自适应合成抽样法(ADASYN)和最近邻规则欠抽样法(ENN)两种非均衡样本处理方法,分别对类别为结蜡的样本和非结蜡的样本进行处理,最终使用随机森林算法对新构成的数据集训练,构造出AERF智能模型来预测油井结蜡.实验结果表明,提出的AERF模型在油井的结蜡数据集中预测效果更佳,明显地提高了预测精度.     

基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.     

谱聚类欠取样下自编码网络不平衡数据挖掘

不平衡数据集的应用领域日益广泛,需求也越来越高,为提升整体数据集的分类准确率,以谱聚类欠取样为前提条件,构建一种自编码网络不平衡数据挖掘方法.把聚类问题转换成无向图多路径划分问题,通过无向图与标准化处理完成谱聚类,经过有选择地欠取样处理多数类数据集,获取分类边界偏移量,利用学习过程是无监督学习的自编码网络,升、降维数据,获取各维度隐藏特征,实现各层面的数据高效表示学习,根据最大均值差异与预设阈值的对比结果,调整自编码网络,基于得到的分类界面,完成不平衡数据挖掘.选用具有不同实际应用背景的UCI数据集,从中抽取10组数据作为测试集,经谱聚类欠取样处理与模拟实验,发现所提方法大幅提升少数类分类精度与整体挖掘性能,具有较好的适用性与可行性.     

基于深度学习的管道纱线及其颜色检测

为了保证自动换筒系统中的纱线自动打结机能够正常运行, 需要对管道吸取的纱线进行检测. 纱线纤细、种类繁多且颜色各异, 传感器方法难以胜任, 使用图像处理的方式较为合适. 但是对于纱线检测问题传统的图像处理方法复杂且检测准确率低, 难以解决纱线种类多、尺寸不一以及颜色多等问题, 故本文提出了一种基于Inception v4中Inception-ResNet-A块进行改进的多尺度深度可分离卷积块组成的网络来检测管道中的纱线. 其中改进的多尺度深度可分离卷积块采用3×3卷积核的深度可分离卷积层代替Inception-ResNet-A块中3×3传统卷积层并去除了其中的一些1×1卷积层, 简化卷积块的计算量以及参数量, 此外还结合了残差网络ResNet的方法进行通道融合,防止特征丢失. 试验结果表明, 该网络模型具有非常好的泛化能力以及辨识效果.     

面向列的内存访问研究综述

在大规模、数据量密集的特定应用场景下,以行存储访问数据的方式弊端日益凸显,逐渐不能满足数据高速访问的性能需求,数据亟需更加高效的传输和处理方式.因此,拓展新的内存访问方式,并且同时兼容行、列方向的访问对提升访问效率、降低整体功耗、节省内存空间有着重要意义.本文围绕动态随机存储和非易失性存储两个方面来详细介绍实现列方向的内存访问方式,重点分析了存储单元的结构设计以及实现列向存储访问过程.最后,对内存两种不同访问方式进行了比较和总结,并且对行列访问的内存数据库、数据挖掘、数据加密算法、实时系统的应用场景进行了展望.     

基于Sentinel-1和MODIS数据反演农田地表土壤水分—以REMEDHUS地区为例

土壤水分是陆地生态系统和水循环的重要状态变量,在植被生长监测、农作物产量评估等研究中均发挥着重要作用。为了消除植被散射的影响,进而实现农田地表土壤水分的高精度反演,以时间序列Sentinel-1影像及MODIS产品为实验数据,基于高级积分方程模型和比值植被模型的耦合模型,通过采用不同光学植被参数和VH交叉极化后向散射系数,分别对农田植被散射贡献进行表征,消除植被散射的影响,进而实现土壤水分的高精度反演。结果表明：当利用VH极化进行参数化植被散射贡献时,标定的耦合模型,虽然可消除对光学植被参数的依赖并较好地模拟Sentinel-1卫星观测,但土壤水分反演结果效果欠理想,相关系数R最大仅为0.54;与VH极化相比,利用光学植被参数表征植被散射贡献时,土壤水分整体反演效果较理想,R最大达到0.79,但光学植被参数反演结果在不同站点存在显著的空间差异性,R介于0.07~0.79之间。因此,在未来研究中可尝试将雷达数据与光学数据协同反演,以期在消除植被散射影响的基础上,实现植被覆盖区域土壤水分的高精度反演及动态变化监测。     

一种不透水面精细制图新方法及其在城市SDGs指标评估上的应用

城市不透水面是城市化程度的重要指示器,也是城市环境的重要敏感因子。联合国提出的城市可持续发展SDG11.3.1指标——城市土地使用率与人口增长率之比（LCRPGR）需要有效监测土地城镇化与人口城镇化关系。针对其监测与评估中高分辨率和高精度城市用地产品缺失,以及低纬度地区城市可持续发展研究较少的问题。基于Google Earth Engine平台,提出一种多时相升降轨SAR与光学影像等多源数据融合的不透水面提取方法,提取了2015年和2018年10 m分辨率印度不透水面。根据人口格网界定城市范围,将范围内不透水面面积与城市人口进行耦合,用于指标计算。研究结果表明：①精度验证结果显示,两期产品总体精度（OA）高于91％,Kappa系数高于0.82,R²值分别为0.85和0.86,并与其他产品细节对比,证明了方法的有效性;②印度总体不透水面面积由2015年的47 499.35 km²增加到2018年的49 944.69 km²,城市平均LCRPGR为0.76,表明其城市人口城镇化大于土地城镇化,城市可持续发展面临挑战。结合空间分析,印度城市可持续发展水平存在南北差异、东西差异以及沿海与内陆的差异。     

一种使用帧间差值的图像传感器片上视频压缩算法

为了减少图像传感器视频数据的输出,提出了一种通过编码相邻两帧之间差值的无损视频压缩算法.算法首先将基于差分脉冲编码调制原理的差分操作在模拟域实现,减小了电路的复杂度.然后两帧之间的差值被基于块的无损压缩方案编码.实验结果证明,压缩后的图像数据可以被无损失的还原.通过对7个具有代表性的8位深度1280×720@60 fps的样本视频进行测试,在块大小为4×4和模式切换阈值为63时实现了最佳的压缩效果.在几乎没有光的条件下压缩率高达78.5％.在复杂运动场景下该算法压缩率为43.5％.提出的压缩算法更适用于长时间处于静止场景的视频录制.