Internet CAS存储协议的研究

内容寻址存储(content addressable storage,CAS)是一种基于内容的对象存储,目前的系统只能提供API或POSIX文件接口,CAS应用时必须做大量的编程工作,这限制了CAS的应用范围.描述了CAS的存取操作机理,分析了CAS的存取模式和广域网的特点,提出和实现了一种基于http的CAS客户端与服务器之间的网络通信和数据存取的协议,称为Internet CAS协议(简称iCAS).iCAS协议将CAS存储服务直接输出到Internet,使CAS应用不受网络环境和操作系统平台的限制,并简化了CAS与应用的集成.对iCAS进行了测试,结果表明iCAS具有较好的性能.     

海量固定内容存储系统的开发及应用

MFCSS是一个能为用户提供高性能、高扩展、高性价比,并集存储服务、内容管理、内容服务为一体的海量固定内容存储系统平台。系统采用在对象存储方案基础上将CAS技术与内容管理有机结合起来,为多种访问模式提供统一的访问界面,既提供固定内容存储又提供内容搜索功能,使二者紧密地结合。海量固定内容存储系统的研究及其产品化有着广阔的市场前景和重要的经济价值。     

CAS中媒体对象的元数据自动提取与利用

在CAS系统中,提出了将多媒体对象的存储元数据和内容元数据进行整合分析,然后根据属性值的不同将对象归类存储。并且为方便用户使用,使用了Inotify对文件系统进行实时监控,自动提取对象的各项元数据信息。对象的元数据信息使用标准的XML文件和MYSQL数据库分别保存,并且各项属性能在CAS系统中很好地体现出来。整合分析自动提取的元数据信息可以极大地帮助用户提高搜索和管理多媒体数据的效率。     

一种新的媒体归档存储技术的研究

文章针对媒体存储和管理面临的问题和需求提出并实现了一种新的媒体存储技术——媒体内容寻址存储(MCAS,MediaContentAddressableStorage)。MCAS对媒体对象进行Hash计算得到固定长度的数字代替文件名,Hash和元数据组成一个标准格式的XML文件提供一个媒体对象的数字清单,既便于多个应用程序进行数据交换,又便于用户基于内容检索。MCAS将存储技术和内容管理技术的结合在一起,可针对巨大的视听内容进行数字归档,提高存储系统的搜索性能和效率。     

基于内容寻址的对象存储系统设计与实现

基于对象存储的理论并结合现代媒体企业的存储需求,设计并实现了一种应用于连续媒体数据归档的、按内容寻址的存储系统.在CAS中采用了高速索引技术对数据对象进行快速定位和访问,用生成的数据对象的内容地址,来惟一地标识该数据对象,使得能够快速、准确地定位、访问数据对象.以设备驱动的方式构建CAS设备,遵循动态内核驱动标准,能够灵活、方便地挂载和卸载CAS设备.对CAS原型系统进行了性能测试,结果表明,CAS在内容获取时有很好的性能.CAS系统提供开放的系统接口,便于和媒体资产管理系统进行集成,可以满足媒体企业的归档存储需求.     

对象存储下的溯源收集与存储研究

溯源是描述一个数据对象的历史操作的元数据。溯源提高了数据本身所描述的价值,给出了"对象是如何创建的?它依赖了哪些其他对象?这两个对象的历史操作有何不同?"等问题的答案。分析了对象存储系统存储管理溯源信息的优势,研究并实现了如何利用对象存储系统架构来收集和存储溯源。通过在对象存储客户端利用系统状态文件获取系统内核信息,调用JHOVE应用程序来分析和封装文件格式,使用Linux系统的审计功能对普通应用程序进行监听,并将收集到的溯源信息封装成对象,存储到对象存储设备端Berkeley DB数据库或日志文件中。测试结果表明,基于对象的溯源存储系统在不同溯源信息的收集、存储和查询方面都具有较好的性能。     

基于驱动层的数据安全存储系统设计

就目前数据集中存储带来的风险进行分析,并提出基于驱动的数据安全存储系统设计。数据安全存储系统能够在不改变终端用户操作习惯的情况下实现文件的安全存储,该系统工作在操作系统文件驱动层和设备驱动层之间,采用透明加密的方式,在文件物理写入磁盘的过程中,嵌入一系列安全操作,保证实际存储的数据全部经过保护。     

基于文件分割的二进制大对象存取算法

海量媒体数据存储系统中,文件过大或多用户并发访问等原因会造成二进制大对象(BLOB)存储过程失效。为提高存储系统存取非结构二进制文件的可靠性和稳定性,提出并建立了BLOB存储可靠性概率模型,证明了使用数量较多的文件分块和较小的分块大小,可提高BLOB存储成功的概率。根据该模型,改进了关系数据库存储环境下的BLOB数据存取技术。通过建立基于文件分块的存储结构,提出了BLOB数据分块存储和重新装配新算法并进行了仿真实验。BLOB存取算法的仿真实验和实际应用表明,该存取算法有效降低了媒体数据存储失效的概率。     

面向科研领域的分布式对象存储系统

随着科研工作的推进, 科研数据出现了海量的增长, PB级科研数据需要高效、稳定的存储系统. 传统的数据存储方案存在资源利用率差、集群扩展性能低以及用户界面操作不友好等问题, 严重限制了数据在科研场景下的有效利用. 依托中科院地球科学大数据专项, 本文设计并实现高效的存储系统i-Harbor. 该系统以对象存储系统为核心架构, 以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体, 设计通用的基于HTTP和FTP协议的数据接口, 同时利用多副本和纠删码技术消除单点故障, 配合Zabbix集群监控系统, 实时定位平台参数以及故障, 提高平台容灾性和安全性. 此外, 基于底层分布式结构的特点, 集群可以随意添加存储节点, 提高了平台的扩展性.     

基于Web的跨平台分布式多线程文件服务器设计

分析了以往分布式文件服务器的不足,提出了一种以J2EE技术为核心的基于Web的跨平台分布多线程文件服务器的设计方案,该分布式文件服务器由一个集中控制单元和多个本地文件服务器组成,集中控制单元以数据库的地文件逻辑信息进行集中式管理,文件的物理信息则上位于Web不同节点上的本地文件服务器分布式地管理,本地文件服务器支持多线程文件操作和Windows,Unix,Linux等多种操作系统的文件系统。     

基于互联网的市场行情可视化信息系统

提出了基于Internet的空间数据和非空间数据分布存储的空间数据仓库模型，并将其与数据挖掘技术相结合，开发了基于Internet的农产品市场行情时空演变可视化信息系统。该系统由来自Web网页的数据源、驻留Web数据自动抓取工具和非空间数据库的服务器以及驻留空间数据库、具有可视化展示和空间数据挖掘功能的客户机组成。为提高系统客户机的运行效率，系统采用了多种策略，如分布存储策略、瘦客户机策略、模糊匹配以及批处理策略等。系统具有界面友好、操作简便、可视化程度高等优点。     

Web Service在分布式数据库查询中的应用

本文对Web Service的理论和技术等基本特征进行了探讨，对Web Service的相关技术XML和SOAP等进行了介绍，利用该技术的跨平台可互操作性构建了一个分布式人员信息数据库查询模型。由于Web Service很好的体现了客户端和服务器端操作的透明性，用户只要在客户端输入一定的查询条件而不需要知道对应的数据库的位置和结构，也不需知道服务器是怎么实现的。客户和服务器的耦合程度很低，服务器暴露出远程对象的接口，而客户端就好像在使用本地使用这些对象的接口一样，实现了不同平台之间的互操作性。从而证实Web Service为进行分布式数据库查询提供了强有力的支撑技术。     

Discovering Document Semantics QBYS: A System for Querying the WWW by Semantics

This paper describes our research into a query-by-semantics approach to searching the World Wide Web. This research extends existing work, which had focused on a query-by-structure approach for the Web. We present a system that allows users to request documents containing not only specific content information, but also to specify that documents be of a certain type. The system captures and utilizes structure information as well as content during a distributed query of the Web. The system also allows the user the option of creating their own document types by providing the system with example documents. In addition, although the system still gives users the option of dynamically querying the web, the incorporation of a document database has improved the response time involved in the search process. Based on extensive testing and validation presented herein, it is clear that a system that incorporates structure and document semantic information into the query process can significantly improve search results over the standard keyword search.     

利用WEB服务实现智能客户端应用

智能客户端是微软最近提出来的概念,指一种充分利用WEB服务所提供的信息的应用程序,依靠服务器端WEB服务的支持,智能客户端实现了强大的用户界面,数据的安全访问,便捷的部署和升级,并能实现数据离线操作。本文在一个具体系统的客户端设计过程中,简要探讨了智能客户端的特点和实现方式。     

Web环境下的航空图像标图的实现

一般的瘦客户端Web应用无法在客户端实现复杂的图像操作。开发了航空图像判读标图系统软件,它采用了WinForm＋Web服务的Windws智能客户端技术,客户端使用WinForm程序完成复杂的图像标图工作,图像数据存储在数据库服务器中,调用Web服务完成数据传输和数据操作,实现了在Web环境下的工作和运行。系统设计中采用原始图像与标图信息双图层分别处理的方式,大大减少了图像数据的网络传输量,详细介绍了系统的实现细节。     

本体存储技术研究

Ontobgy是对一个特定领域中重要概念的共享的形式化的描述,由于具有明确性和共享性,它可以作为领域内不同主体之同进行交流的语义基础;更进一步的,Ontology可以帮助机器理解文档表达的语义信息。语义网络是Ontology的一个重要应用场景,Ontolcgy用来描述网络资源的语义,从而使机器具有自动管理网络信息的能力。那么巨大的数据规模是语义网络环境下Ontology数据存储管理面临的一个突出问题,所以介绍了本体存储的方法、存储模式及几种典型的本体存储管理系统。讨论了当前本体存储模式的问题并展望了未来的发展方向。     

本体存储技术研究

Ontology是对一个特定领域中重要概念的共享的形式化的描述,由于具有明确性和共享性,它可以作为领域内不同主体之间进行交流的语义基础;更进一步的,Ontology可以帮助机器理解文档表达的语义信息.语义网络是Ontology的一个重要应用场景,Ontology用来描述网络资源的语义,从而使机器具有自动管理网络信息的能力.那么巨大的数据规模是语义网络环境下Ontology数据存储管理面临的一个突出问题,所以介绍了本体存储的方法、存储模式及几种典型的本体存储管理系统.讨论了当前本体存储模式的问题并展望了未来的发展方向.     

基于Web的分布式数据库的开发

运用分布式系统的软件技术,构造一个基于Web的分布式数据库系统,在该系统中可进行远程数据采集、查询和管理。对DHMS进行了无关性设计及DDB Server的设计,连接了开放数据库,结合了W eb计算和客户/服务器计算的优势,具有灵活性、高效率、统一界面等优点,使客户端成为真正的零维护。