面向大规模海洋数据同化算法的并行实现及优化

海洋数据同化是一种将海洋观测资料融合到海洋数值模式中的有效手段,经过同化的海洋数据更加接近海洋的真实情况,对人类理解和认识海洋具有重要意义。围绕海洋数据同化设计了一种基于区域分解的一般性并行实现方法。在此基础上,提出了一种基于IO代理的新并行算法。首先,IO代理进程负责数据的并行读取;接下来,IO代理进程对数据进行切块,然后将块数据发送给相应的计算进程;当计算进程完成局部数据同化后,IO代理进程负责收集计算进程的同化结果,并将其写入磁盘。该方法的主要优势在于：利用IO代理进程来负责IO,而不是像传统方法那样让所有进程都来参与IO（直接并行IO）,这样可以防止大量进程对磁盘的同时访问,有效避免进程排队所导致的等待。在天河二号集群上的测试结果表明,对于1度分辨率的数据同化,在核心数为425时,该并行实现的总运行时间为9.1 s,相对于传统串行程序的加速比接近38倍。此外,对于0.1度分辨率的数据同化,基于IO代理的并行同化算法在使用10 000核时依然具有较好的可扩展性,并且可将其IO时间最大限制在直接并行IO时间的1/9。     

基于Lorenz-96模型的顺序数据同化方法比较研究

顺序数据同化方法在数据同化系统中得到了广泛的应用,其性能各有优缺。选择3种典型的顺序数据同化算法,即集合Kalman滤波,集合转换Kalman滤波和确定性Kalman滤波,使用经典的Lorenz-96模型进行敏感性实验,研究不同的关键参数变化,如集合数目变化、观测数变化、误差放大因子变化和定位半径变化时对同化效果的影响。实验表明：集合数目和观测数目的多少直接影响3种方法的同化效果;协方差放大因子和定位半径的选择会提高同化精度。综合比较,确定性集合Kalman滤波算法是一种具有较强鲁棒性的滤波算法,能够在集合数较小的情况下达到较好的同化效果。     

面向HYCOM的高分辨率海洋数据同化并行算法优化

HYCOM(hybrid coordinate ocean model)海洋数值模式要求较高的吞吐量和相对较小的计算量,这给并行算法设计带来了巨大的挑战.针对具有高吞吐量的海洋数据同化问题,设计了一种基于区域分解的并行优化算法.首先,提出了一种灵活的文件访问方法,可以高效地从磁盘读取大量的数据,避免数据访问冲突,大幅降低磁盘寻址操作的频率.此外,设计了一种避免通信的策略,以一些额外的计算量为代价大幅减少进程间的通信量.最后,提出了一种基于管道流的通信策略,以实现无冲突的消息传递.实验结果表明,该算法与基线算法相比,总体性能提高了5倍,其中文件读取速度提升6倍,进程间的通信性能提升了2.7倍.     

融合支持向量机算法的数据驱动型数据同化方法研究

数据驱动建模是从数据中探究状态变量的时空演化关系。数据驱动型数据同化方法是探索使用数据驱动模型替代传统（基于物理的）模型,实现优化融合观测信息与模型模拟的同化方法。研究将数据驱动的支持向量机回归预测模型应用于集合卡尔曼滤波过程中,使用模拟预测方法对动力学系统进行非参数采样得到系统轨迹的代表性样本集,从样本集中重构动力学系统。提出一种支持向量机回归机器学习模拟预测策略的数据驱动数据同化方法,并将其应用于经典模式驱动同化系统。采用Lorenz-63和Lorenz-96非线性模型进行数值实验。通过改变样本集大小、噪声方差和观测步长等敏感性参数比较数据同化性能。结果表明：对于较大的样本集,该组合方法优于一般的顺序数据同化方法,从而证明新方法的有效性。     

基于水声信道的海洋环境信息数据同化方法研究

水声信道的仿真与海洋中各参数密切相关。海洋参数获取的准确性在很大程度上决定了水声信道仿真的准确性。海洋参数的获取是关系到水声特性和信号传播研究的重要物理量。海洋环境参数的获取有多种方法,例如,浮标直接观测或根据以往资料和经验进行预测等。数据同化技术可以对不同方式获取的信息进行同化,并将不同性质的数据进行有效组合,以提高海洋参数估计的精度。研究了基于海洋环境信息的数据同化方法,对浮标观测直接获得的海洋温度数据集利用数据同化方法进行改进。考虑到获取观测数据的难度,采用Argo实时数据中心提供的数据集。通过仿真模拟分析了同化后的海温与直接获得的观测数据之间的差异,对直接观测得到的海温进行了修正,给出了同化后的结果。结果表明,数据同化技术能够综合考虑不同观测手段中各观测要素的不确定性,通过考虑数据获取时的误差,可以精准地估计海洋温度,为海洋温度的准确获取提供了有力的数据支撑。     

面向时序数据的矩阵分解

研究一类特殊的矩阵分解问题:对由多个对象在一组连续时间点上产生的数据构成的矩阵R,寻求把它近似地分解为两个低秩矩阵U和V的乘积,即R≈U^T×V.有为数众多的时间序列分析问题都可归结为所研究问题的求解,如金融数据矩阵的因子分析、缺失交通流数据的估计等.提出了该问题的概率图模型,进而由此导出了其约束优化模型,最终给出了模型的求解算法.在不同的数据集上进行实验验证了该模型的有效性.     

矩阵求逆运算的VLSI实现

矩阵运算广泛应用于各类电路计算中,矩阵运算的硬件实现能够充分发挥硬件的速度和并行性。其中矩阵求逆是矩阵运算中重要的运算。为加速矩阵求逆,研究构造出一种非常易于实现的基于心动阵列的矩阵求逆的电路结构。通过硬件描述语言Verilog建模,VCS仿真及用Design Compile进行综合,结果表明这种并行结构能快速实现矩阵求逆,且运算精度较高。     

基于会话时序相似性的矩阵分解数据填充

针对已有数据填充方法只考虑评分信息和传统相似性,无法捕获用户间真实相似关系的问题,提出了基于会话时序相似性的矩阵分解数据填充方法来缓解数据稀疏性、提高推荐精度。首先,分析了传统相似性的缺陷,并根据时序相似性和相异性提出了基于会话时序相似性度量,它结合了时间上下文和评分信息,能更好地捕获用户间的真实关系,从而识别近邻;接着,根据目标用户的近邻及其消费的项目抽取了具有用户和项目潜在影响因素的待填充的关键项目集合,并利用矩阵分解填充关键项目集合;然后,利用隐含狄利克雷分布（LDA）抽取用户在每个时间段内的概率主题分布,并利用时间惩罚权值建立用户动态偏好模型;最后,根据用户间概率主题分布的相关性和基于用户的协同过滤完成项目推荐。实验结果表明,与其他数据填充方法相比,基于会话时序相似性的矩阵分解数据填充方法在不同稀疏度下都能降低平均绝对误差（MAE）,提高推荐性能。     

大数据环境下基于概率矩阵分解的个性化推荐

概率矩阵分解是近几年广泛应用的协同过滤推荐方法。针对如何利用矩阵分解技术提高推荐质量以及在大数据环境下如何突破计算时间、计算资源瓶颈等问题进行研究,提出了Improved Probabilistic Matrix Factorization(IPMF)融入邻居信息的概率矩阵分解算法,并且提出了parallel-IPMF (p-IPMF)算法来解决融入邻居信息后计算复杂度高和难以并行化等问题。 在MapReduce并行计算框架下将p-IPMF算法加以实现,并在真实数据集上进行验证。实验结果表明,所提算法能有效提高推荐质量并缩短计算时间。     

一种非负矩阵分解的快速方法

针对超高维数据进行非负矩阵分解的计算代价大,特征提取速度慢问题,提出一种非负矩阵分解的快速算法。该算法通过代数变换,把对原高维矩阵的非负分解转换成非负的低维矩阵的非负分解,其求解过程只需要对一个阶数等于样本数的对角矩阵进行非负矩阵分解,同时提取某样本特征时只需要计算该样本与所有训练样本的内积。对高维小样本的基因表达数据降维后进行k均值聚类分析,实验结果表明,该算法在不影响非负矩阵分解性能的前提下,大大提高了计算速度。     

基于矩阵分解的海洋SAR图像舰船检测

针对海洋原始图像与低秩和稀疏矩阵分解模型数据结构不一致的问题,本文提出一种新的基于矩阵分解的海洋SAR图像舰船检测方法。首先该方法需对结构化相似的海洋SAR图像进行重组;然后根据重组矩阵特性适应性设计一个分解精度更高、分解速度更快的新矩阵分解模型,并利用增广拉格朗日乘子法求解模型,在不依赖任何杂波模型和检测统计量的前提下,实现代表舰船目标的稀疏成分的提取;最后利用形态学处理进行优化,实现海洋SAR图像舰船目标的检测。基于高分三号SAR卫星数据的实验结果表明,相比已有的基于鲁棒主成分分析的舰船检测方法,本文方法在处理复杂海况时,能更快速度地以较好的形状从海杂波中准确提取舰船目标,具有更好的鲁棒性。     

OVALS海洋资料同化系统并行计算研究

海洋数值预报技术的发展与高性能计算密切相关。为提高OVALS海洋资料同化系统的时效性,本文实现了OVALS系统的并行化。在温盐资料同化模块并行化过程中,本文提出了层优先处理器划分算法,并研究了基于该算法的并行I/O、全局通讯等实现方法;在高度计资料同化模块并行化过程中,设计实现了基于预处理的非规则区域分解算法,较好地实现了OVALS并行计算负载平衡。数值实验表明,OVALS并行系统在36并行规模下取得了17.45的并行加速比。     

气象资料三维变分同化阶段区域分解并行实现

变分同化由于能明显改善同化质量,正在成为数值天气预报的主流同化方法．研究三维变分同化的并行计算,提出了三维变分同化的阶段区域分解、观测资料的自适应划分算法、计算与通信重叠的矩阵转置和周边区域通信以及文件I／O方法,在此基础上实现了MPI并行三维变分原型系统,在由8个双CPU节点组成的Linux机群上并行加速比达到了11．9．     

基于概率矩阵分解的不完整数据集特征选择方法

在机器学习理论与应用中,特征选择是降低高维数据特征维度的常用方法之一。传统的特征选择方法多数基于完整数据集,对实际应用中普遍存在缺失数据的情形研究较少。针对不完整数据中含有未被观察信息和存在异常值的特点,提出一种基于概率矩阵分解技术的鲁棒特征选择方法。使用基于分簇的概率矩阵分解模型对数据集中的缺失值进行近似估计,以有效测量相邻簇之间数据的相似性,缩小问题规模,同时降低填充误差。依据缺失数据值存在少量异常值的情形,利用基于l_2,1损失函数的方法进行特征选择,在此基础上给出不完整数据集的特征选择方法流程,并对其收敛性进行理论分析。该方法利用不完整数据集中的所有信息,有效应对不完整数据集中异常值带来的影响。实验结果表明,相比传统特征选择方法,该方法在合成数据集上选择更少的无关特征,可降低异常值带来的影响,在真实数据集上获得了较高的分类准确率,能够选择出更为准确的特征。     

欧洲陆面数据同化系统组成,系统设计和原理简介

随着技术的进步,地球系统科学的发展,地——气系统的复杂性的进一步研究,对地表物理场精度的需求越来越高。而观测和模拟作为获得地表数据的两种基本手段,由于其各自的局限性,其精度已经不能满足进一步研究的需求,在这样的背景下,陆面数据同化系统逐步发展起来。本文主要介绍了世界主要的陆面数据同化系统之一——欧洲陆面数据同化系统。此系统采用的强迫数据是根据欧洲的实际情况由欧洲中心自行生产的一套数据,同时在欧洲不同的机构它们采用了不同的陆面过程作为欧洲陆面数据同化系统的核心,它们还将卡尔曼滤波和变分方法结合生产了一套独特的同化方法。并对此系统进行了验证和实例应用。     

基于矩阵分解的数字图像分存技术

数字图像分存技术主要研究如何把一幅秘密的数字图像分解成几幅无意义或者杂乱无章的图像或者伪装到几幅有意义的图像中进行存储或传输,以便增加图像信息的安全性能。该文以图像信息安全问题为背景,介绍了数学中矩阵分解的若干种形式,以及其在数字图像分存中的应用,并给出了相应的算法和应用例子。按照该文所给算法来分存,数据膨胀率分别为8和4,并且可以无误差地恢复出原图像。     

时域模型对视频行人重识别性能影响的研究

行人重识别是计算机视觉领域一个重要的研究方向。近年来,随着视频监控需求的日益增长,基于视频序列的行人重识别研究受到了广泛的关注。典型的视频序列行人重识别系统由三部分构成：图片特征提取器（例如卷积神经网络）、提取时域信息的时域模型、损失函数。在固定特征提取器和损失函数的前提下,研究不同时域模型对视频行人重识别算法性能的影响,包括时域池化、时域注意力、循环神经网络。在Mars数据集上的实验结果表明：与基于图像的行人重识别基准算法相比,采用时域池化模型、时间注意力模型可以有效改善识别精度,但采用循环神经网络后识别效果比基准算法有所下降。