面向数值模拟数据的HDF5性能优化

大规模数值模拟数据对可视化分析提出了挑战,I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式,介绍了HDF5的抽象数据模型、数据读写流程,并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大.根据数值模拟数据的数据块以整数有规律编号的特点,通过在HDF5中增加数据块视图对象来提高读性能.测试表明,该方法可显著加速数据的读取性能.     

数值模拟网格数据模型设计与实现

在等离子体动力学、电磁学理论等物理问题的数值模拟中,各类数值模拟程序产生了大量复杂结构的科学数据.一方面,计算程序需要以高效率的I/O方式存储数据,另一方面,数据需要在各类程序间很容易地交换与共享.随着数据的规模与复杂度不断增加,传统数据管理方式的局限性日益突出.为此,设计了面向计算物理领域的数据存储模型--数值模拟网格数据模型(JAD),引入元数据管理机制,对数值模拟程序数据对象进行抽象与封装,在HDF5软件库基础上实现了高层I/O函数库(JADLib),集成先进的数据存储技术,提供直观、易用的应用程序编程接口(API),使得数值模拟数据以统一格式高效率地存储.目前,JADLib已推广应用于高功率微波、惯性约束聚变等领域多个数值模拟程序中,与元数据管理系统(JADIS)、并行可视化系统(JaVis)建立了耦合,使得用户可以直接利用这些系统进行数据的浏览、分析及可视化,促进了应用程序间的数据共享.     

一种新的垃圾邮件主动防范技术

随着信息在生产、经营中的作用越来越大,越来越多的企事业单位接入了因特网,以获取更多有用的信息.电子邮件作为一种方便、快捷、便宜的信息交流和传输手段越来越受到人们的青睐.凡是上网的用户几乎都拥有一个或几个电子邮箱.很多单位都申请了因特网专线,拥有自己的WWW服务器和MAIL服务器.单位的员工在本单位的邮件服务器上一般都有一个邮箱.……     

JADLib-科学计算数据高层I/O软件库

JADLib是为满足大规模复杂结构数据的存储与共享需求而研制的科学数据I/O软件库。其目标是设计并实现管理科学计算网格数据的数据存储模型,支持多种复杂结构数据的表示与操作,应用程序接口直观、易掌握,文件格式统一、可直接可视化,提供并行I/O、数居子集访问、压缩存储等高性能存储机制,支持多类科学计算程序跨平台使用,目前已应用到惯性约束聚变、高功率微波、计算流体力学、材料科学等多个研究领域中。实际应用表明,JADLib对于解决数值模拟软件数据存储及后处理分析所面临的I/O效率与组织管理问题具有很好的应用效果。     

大规模数值模拟数据的多分辨组织

大规模数值模拟数据对可视化分析提出了挑战,本文研究如何将大规模数据组织成多分辨的形式以提高大规模数据可视化的交互性能。鉴于大规模数值模拟剖分的数据块粒度与可视化分析优化的I/O粒度不匹配,本文提出了I/O优化的多分辨数据组织算法,并实现了多层存储与多级存储两种存储方案。使用实际的大规模数据进行了测试并取得了很好的效果。     

基于数据子集的数据访问性能优化

本文提出并实现了基于数据块和数据单元的两种数据子集提取的方法,可以实现真正的"按需读入",有效降低数据量,从而加速数据读入过程和可视化的绘制过程。对用户数据的测试,验证该方法可显著降低数据读入时间。同时,通过数据块粒度对可视化性能影响的测试,给出了测试系统数据块存储时粒度的参考值。     

反垃圾邮件技术与产品分析

随着因特网不断的商业化，电子商务、网上交易等活动不断推动着因特网的繁荣和发展。然而，受商业利益的驱使，各种小广告也看中了因特网这个巨大的市场。由于电子邮件价格便宜、方便快捷等特点，各种小广告纷纷利用电子邮件进行传播，形成愈演愈烈之势。垃圾邮件主要是由各种小广告组成的，当然其中也包括反动邮件、曾经订阅此后又无法退订的电子信息等。     

科学计算双路并行I/O优化方法

科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8％～13％,提高读性能89％到1.01倍.     

科学计算元数据研究与应用

随着高性能计算能力的不断提高,由此而带来的数据规模的急剧扩大,给科学计算数据的管理和处理方法带来了极大的挑战.解决这些问题的一个有效的途径就是使用元数据.提出和定义了科学计算元数据SCMD(scientific computing metadata),并成功应用于高层网格数据函数库和元数据管理系统中.     

邮件过滤器系统的设计与实现

在对垃圾邮件及其防范技术进行全面分析与比较的基础上，针对传统特征过滤技术的被动防范和能力不足问题，提出了利用多邮件地址分类使用的主动防范技术，并通过一个使用户可以自主地扩展自己邮件地址的原型系统，与传统的特征过滤技术配合，形成了更为有效的垃圾邮件防范能力。