体全息存储文件系统的设计

分析了体全息存储的有关特点,对支持体全息存储的文件系统进行了研究和设计。阐述了文件存储的整体结构、存储编址方式、物理存储块的分配、页面的缓冲及数据一致性等方面的设计方案,并在体全息存储高速通道的基础上开发了文件系统的原型系统,经过仿真运行,效果较好。     

蓝鲸机群文件系统文件layout设计与实现

维护文件逻辑位置到物理位置映射关系的文件布局是文件系统的重要组成部分。针对蓝鲸海量机群文件系统中文件的条带分布特性,分析了目前普遍采用的三级间接地址文件布局和扩展块段文件布局的优缺点。有效结合三级间接地址文件布局避免查询、直接映射的优点和扩展块段文件布局映射高效、空间占用少的优点,提出了一种新的固定长度扩展块段文件布局,并在小文件环境对其进行了优化改进,提出了幂次长度扩展块段文件布局。实验测试结果表明该文件布局可以有效适用于蓝鲸机群文件系统,达到了预期效果。该文件布局同样适用于其他采用条带机制的文件系统。     

一种基于对象存储的文件系统的设计

随着存储技术的飞速发展,对象存储设备面临如何高效存储并管理TB级容量数据的问题.针对Linux通用文件系统Ext2在处理大文件和巨型目录结构时存在的局限性,采用B 树结构设计并实现了一种基于连续块的对象文件系统.对该文件系统进行的测试结果表明,该文件系统的读写效率较高,而且随着文件的增大,性能保持稳定.     

一种多核系统中的二维块数据存储机制

针对多核系统中处理二维数据时的数据对齐、地址映射等问题,提出一种多核系统中的二维块数据存储机制。介绍二维块数据在计算前后的数据分配、寻址及传输机制及一般应用方法,并对典型应用进行仿真验证。结果证明,该存储机制能减轻处理单元和存储单元间的不平衡性,改善一维和二维之间的不匹配现象。     

一种基于Linux的flash文件系统存储策略

随着嵌入式系统的广泛应用,嵌入式系统中的数据存储和数据管理显得日益重要.本文主要介绍flash存储器的存储特点,Linux文件系统的两类存储策略:块式存储和线性存储,并在此基础上提出了一种改进的简单日志文件系统的存储策略.     

面向HDTV视频存储的专用文件系统

分析了HDTV视频存储的原理,讨论了实际应用中通用文件系统在连续媒体存储方面遇到的问题,归纳出多媒体文件系统应具备的功能和磁盘调度算法,提出了一种满足连续媒体存储策略的专用文件系统,提高了资源利用率和服务质量,并基于系统硬件平台,设计了适用于软件实现的算法逻辑.     

一种基于Linux的flash文件系统存储策略

随着嵌入式系统的广泛应用,嵌入式系统中的数据存储和数据管理显得日益重要。本文主要介绍flash存储器的存储特点,Linux文件系统的两类存储策略：块式存储和线性存储,并在此基础上提出了一种改进的简单日志文件系统的存储策略。     

面向新型非易失存储器的文件级磨损均衡机制

自旋转移力矩磁存储器（spin transfer torque random access memory ,ST TRAM ）和磁阻式随机存储器（magnetic random access memory ,MRAM ）等新型存储器具有接近于 DRAM 的访问速度,是构建高性能外存系统和提高计算机系统性能的重要手段,但有限的写次数是其重要局限之一．设计了文件系统级磨损均衡机制,使用 Hash 函数分散文件在外存中的存储,避免在创建和删除文件时反复分配某些存储块,通过分配文件空间时选择写次数较低的存储块,避免写操作的集中;使用主动迁移策略,在外存系统 I/O 负载较低时主动迁移写次数较高的数据块,减少磨损均衡机制对 I/O 性能的影响．最后在开源的基于对象存储设备 Open‐osd 上实现了面向新型存储器文件系统级磨损均衡机制的原型,使用存储系统通用测试工具 filebench 和 postmark 的多个通用数据集进行了测试与分析,验证了基于新型存储器的文件系统级磨损均衡机制能稳定地将存储块写次数差减少到原来的1/20左右,同时最高仅损失了6％的 I/O 性能和增加了0．5％的额外写操作,具有高效和稳定的特性．     

RM-LCDF:一种块级连续数据保护高效数据恢复方法

块级连续数据保护技术能够提供任意时刻的数据恢复,构建可靠数据存储环境,已成为现代存储系统重要的数据保护手段.数据的高可用性对数据恢复效率提出了更高的要求,针对传统块级连续数据保护机制数据恢复效率低的问题,结合数据块级写请求的集中分布特性和连续分布特性,提出了一种块级连续数据保护数据恢复机制——RM-LCDF. RM-LCDF采用去除无效写请求、多缓冲和逻辑块地址排序3种优化策略,对数据恢复过程进行优化.形式化分析及实验结果表明,RM-LCDF能够大幅度减少恢复过程中的I/O数据量,提高I/O并发度及写I/O吞吐率,进而有效提高恢复效率.     

网络存储性能改进的文件系统实现方法

在多个存储节点构成的集群存储系统中，结合应用提高网络存储性能的目标就是利用文件系统方案来实现的．本文在相关研究的基础上重新讨论改进网络存储性能的文件系统方案．这个方案同时利用网络分布文件系统和网络分带文件系统的优点，采用非分带和分带文件数据分布混合应用．我们讨论了对应该方案的不同两级存储分配策略和相关参数的选择，并以HP97560性能参数为基础，进行理论分析．应用文件大小分布的对比以及模拟测试结果显示两级存储分配策略和相关参数选择的合理性．     

HERMES: embedded file system design for A/V application

Embedded systems such as PVR, set-top box, HDTV put unique demand on I/O subsystem design. Underlying software, particularly file system, needs to be elaborately designed so that it can meet tight constraints of consumer electronics platform: performance, price, reliability, and etc. In this work, we develop state-of-art file system elaborately tailored for A/V workload. There are two design objectives in our file system: performance and support for logical level abstraction. For performance, we develop a number of novel features: extent based allocation, single level file structure with block index augmentation scheme, aggressive free block allocation to minimize disk fragmentation, elaborate file system meta data layout, separation of name space data and file data and etc. HERMES enables the user to view file as a collection of semantic units (frame or audio samples). HERMES file system encompasses most of state-of-the-art file system technologies published in preceding works. Via extensive physical experiment, we verify that HERMES file system successfully addresses the original issues: good scalability, predictable I/O latency (minimizing variability in I/O latency), efficient disk head movement and etc. This is the result of harmonious effort of large I/O size, aggressive free block allocation algorithm, data block placement strategy, file organization, layout of HERMES file system and etc. The result of performance experiments indicate that HERMES file system prototype successfully meets the file system constraints for high volume and high bandwidth multimedia application. HERMES file system exhibits superior performance to EXT2 file system (Linux) and XFS file system (SGI).

一种逻辑块温度和物理块年龄的磨损均衡算法

UBIFS文件系统中由UBI子系统实现磨损均衡管理,但研究发现UBI现有的磨损均衡策略存在着很大的局限性.提出了一种基于逻辑块温度和物理块年龄的新的磨损均衡算法,称为LTPA(leb temperature peb age)算法.该算法实现高温逻辑块与青年物理块,低温逻辑块与老年物理块之间的映射.通过局部操作时间的方法...     

基于联邦共识机制的多视频流带宽分配策略

针对瓶颈链路中视频带宽分配不均导致的用户QoE不公平以及带宽利用率低的问题,提出了一种基于联邦深度强化学习的分布式视频流公平调度策略。该策略能够根据客户端网络状态和视频QoE等级动态生成带宽分配权重因子,服务器端的拥塞控制算法则根据带宽分配权重因子为瓶颈链路中的每个视频流分配带宽,以保障瓶颈链路中视频流的公平传输。每个视频终端都运行一个带宽分配agent,且多个agent以联邦学习的方式周期性地训练,以便代理模型能够快速收敛。带宽分配agent通过共识机制同步联邦训练参数,实现了在异步播放请求条件下带宽分配agent模型参数的分布式聚合,并确保了agent模型参数的安全共享。实验结果表明,与最新方案相比,提出策略在QoE公平性和整体QoE效率方面分别提高了10%和7%,这表明提出策略在解决视频流带宽分配不均问题和提升用户体验方面具有潜力和有效性。     

集群服务器文件动态分配的改进算法

在分析MMPacking算法的基础上,提出了一种改进的文件分配算法。在按照MMPacking算法分配文件时,根据节点的文件累积需求度去完成文件的分配或复制,考虑了节点的剩余能力。文件分配在所有服务器节点中周期性地进行,每进行了一轮文件分配后,都要从第1个节点开始新的一轮分配。在开始新一轮分配前,服务器节点要按照服务器的剩余能力重新进行降序排列。在每轮分配中,每分配一次文件到某个服务器节点后,都要检测当前节点服务器的剩余能力是否大于下一节点的剩余能力,如果满足条件,则将重新开始新的一轮文件分配。改进后的算法降低了由于客户需求或服务器配置变化所要支出的额外成本,有效地达到了负载均衡的目的。仿真结果表明,改进后的算法优于MMPacking 算法。     

基于P2P的分布式文件系统下载效率优化

对分布式文件系统(HDFS)集群内部数据块存储机制与下载流程进行分析研究,结合P2P多点与多线程下载思想,从数据块、文件、集群三个方面提出了数据下载效率优化算法。考虑到集群内部可能因多线程下载出现的负载均衡问题,提出下载点选择算法以优化下载点的选择。实验结果表明,三种优化算法都能提高下载效率,下载点选择算法能够很好地实现集群内部DataNode负载均衡。     

大型3D场景漫游系统内存管理

在大型3D场景漫游系统中,单个资源(如模型、纹理)所需内存较大且分配和释放频繁,为了防止内存碎片的产生并提高内存分配速度,提出了一种新型内存管理方法.根据程序需求首先划分出一块或多块大的虚拟内存区域,然后基于所划分的内存区域进行内存分配和回收管理.在该管理方法中,对于程序中的小资源,使用内存池;对于大的资源,则使用伙伴系统内存管理方法.实验结果表明,该内存管理方法高效且稳定.     

基于用户激励的共享单车调度策略

针对共享单车的调度问题,在考虑预算限制、用户最大步行距离限制、用户时空需求以及共享单车分布动态变化的情况下,提出一种用户激励下的共享单车调度策略,以达到提高共享单车平台长期用户服务率的目的。该调度策略包含任务生成算法、预算分配算法和任务分配算法。在任务生成算法中,使用长短期记忆（LSTM）网络预测用户未来的单车需求量;在预算分配算法中,采用深度策略梯度（DDPG）算法来设计预算分配策略;任务分配完预算后,需要将任务分配给用户执行,因此在任务分配算法中使用贪心匹配策略来进行任务分配。基于摩拜单车的数据集进行实验,并把所提策略分别与无预算限制的调度策略（即平台不受预算限制,可以使用任意金钱激励用户将车骑行至目标区域）、贪心的调度策略、卡车拖运下的调度策略以及未进行调度的情况进行对比。实验结果表明,与贪心调度策略和卡车托运下的调度策略相比,用户激励下的共享单车调度策略能有效提高共享单车系统中的用户服务率。     

Flash存储管理在嵌入式系统中的实现

针对大容量存储管理问题,论述管理NAND Flash系统中直接寻址的算法实现,提出建立节点树、底层节点动态位宽等概念,实现对不同类型闪存进行灵活可变的直接寻址。通过建立页数组增大文件系统的直接寻址范围,根据区块数据不同的更新频率分别设计动态损耗均衡算法和静态损耗均衡算法,用于实现需求块回收和损耗均衡。     

基于EXT3文件系统数据恢复方法的研究

文章研究了基于日志文件的EXT3文件系统数据恢复方法,采用实例式研究方法,首先分析了EXT3文件系统中文件构成和文件被删除之后inode结点的变化;接下来研究了通过inode编号定位inode结点所在数据块的方法,以及通过日志恢复被删除文件的地址指针和文件名称的方法;最后介绍了通过地址指针和文件名将若干个地址空间中的数据合并成一个文件的方法。最终得出的结论是在日志文件和删除数据未被完全覆盖的情况下,可以通过日志有效恢复EXT3文件系统中被删除的文件。该研究成果可应用于公安机关的电子数据鉴定工作,也可作为公安院校的《电子物证检验》课程。     

Digital twin-driven deep reinforcement learning for adaptive task allocation in robotic construction

In order to accomplish diverse tasks successfully in a dynamic (i.e., changing over time) construction environment, robots should be able to prioritize assigned tasks to optimize their performance in a given state. Recently, a deep reinforcement learning (DRL) approach has shown potential for addressing such adaptive task allocation. It remains unanswered, however, whether or not DRL can address adaptive task allocation problems in dynamic robotic construction environments. In this paper, we developed and tested a digital twin-driven DRL learning method to explore the potential of DRL for adaptive task allocation in robotic construction environments. Specifically, the digital twin synthesizes sensory data from physical assets and is used to simulate a variety of dynamic robotic construction site conditions within which a DRL agent can interact. As a result, the agent can learn an adaptive task allocation strategy that increases project performance. We tested this method with a case project in which a virtual robotic construction project (i.e., interlocking concrete bricks are delivered and assembled by robots) was digitally twinned for DRL training and testing. Results indicated that the DRL model’s task allocation approach reduced construction time by 36% in three dynamic testing environments when compared to a rule-based imperative model. The proposed DRL learning method promises to be an effective tool for adaptive task allocation in dynamic robotic construction environments. Such an adaptive task allocation method can help construction robots cope with uncertainties and can ultimately improve construction project performance by efficiently prioritizing assigned tasks.