一种面向大数据平台容器的轻量化安全防护方法

容器又称Container,是一种基于轻量化的虚拟技术。轻量化特性使其在大数据平台中有广阔的应用前景,尤其在分布式机器学习方向,以Kubernetes和容器为核心的机器学习系统已逐渐成为行业标准。然而容器本身的安全问题,逐渐成为公众所关注的焦点。尤其如容器镜像安全、容器逃逸及提权、容器漏洞攻击及利用等问题成为了运营及维护人员在实际容器化过程中不得不面对的技术挑战。文章将系统分析容器技术在大数据平台中落地过程中所面临的具体安全问题,并结合实际的环境提供相应的轻量化安全防护技术。并设计了针对大量容器的镜像轻量化扫描方案,将容器镜像的扫描过程降到秒级;同时,针对大规模数据平台的容器监控方案,将监控的计算资源损耗(如CPU消耗)控制生产环境要求的10%以内;最后,这里设计的针对数据平台的容器网络监控方案,在不影响生产环境的业务条件下,能实现轻量化全流量监控。     

基于奇偶校验的RAID条带镜像数据分布方法

针对基于复制的RAID(独立磁盘冗余阵列)架构的数据分布方法所引起的负载增加、可靠性和接入带宽减少等问题,提出一种基于奇偶校验的条带镜像数据分布方案,简称RAID-P。首先,该方案在其他磁盘中复制条带数据块,然后将每个条带与一个奇偶校验块相关联,并通过将读取请求引导到合适的镜像备份数据来进行访问,从而提高阵列的可靠性和接入带宽,并且具备RAID磁盘阵列所必须的故障单元定位功能。与其他类此结构进行仿真比较后,结果表明:通过数据条带化、块镜像和奇偶校验块方法,该方案表现出了更高的可靠性,并能够在磁盘请求之间提供明显更好的I/O性能。     

一种基于重复数据删除的镜像文件存储方法研究

在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题。为解决这一问题,提出一种基于固定分块的镜像文件重复数据删除的存储方案。当存储一个镜像文件时,先计算该镜像文件的指纹,并与指纹库的指纹比较,若存在则用指针替代,否则采用固定分块对镜像文件分割存储。为此,可以设计镜像文件元数据格式和镜像文件MD5索引表来解决上述问题。实验结果表明,内容相同的镜像文件只是元数据的开销并实现秒传,而相同版本、相同系统、不同软件的镜像组的重删率约达到58%。因此,本方案是非常有效的。     

基于Docker容器的电子取证系统

该系统设计了一个面向docker容器的电子取证系统.在该系统中,以对docker的文件管理系统Overlay2的特点和作用原理的研究为基础,编程实现文件哈希值的提取、已删除文件的恢复、容器历史进程的记录、关键字搜索等功能.     

MIDAS的服务器镜像技术

在介绍多层分布式系统容错处理和负载平衡的基础上,提出了基于MIDAS的应用程序服务镜像技术方案,并在讨论了服务器镜像技术的原理及实现方法之后,给出C＋＋ Builder综合实例。     

基于产品线工程方法提高组件容器的可复用性

组件容器为组件提供部署和运行环境,是基于组件的分布式应用开发的核心。近年来,开发网构软件的需求驱动着组件技术持续改进,新型组件不断涌现,这对组件容器的开发效率提出更高的要求。因此,在组件容器开发过程中大规模复用已有的软件资产变得非常重要。在许多情况下,产品线工程已被证实是有效的系统化复用的工程方法。首先探讨将产品线工程应用于组件容器开发所面临的主要困难,并提出相应的解决方案;然后给出了一个组件容器的产品线——PLACE的设计,解释了其两个主要部分:产品线体系结构和产品派生流程;最后,通过一个实际案例,展示利用PLACE设计开发组件容器的完整过程,结果证实体系结构和源代码的复用性都有一定程度的提高。     

基于iSCSI的远程镜像系统设计与实现

远程镜像核心数据对于依赖于数字信息的企事业单位越来越重要．平衡数据可用性、存取性能以及构建和维护成本是设计远程镜像系统必须仔细考虑的．本文介绍了一种基于iSCSI的远程镜像系统整体结构，重点描述镜像日志和缓存的结构，在提高了性能的同时保证数据的可用性．最后测试了在不同网络环境下，远程镜像系统所能承担的最大负载情况.     

面向Dockerfile的容器镜像构建工具

在容器虚拟化中,主流的镜像构建方式是通过Dockerfile来构建的.然而,在使用Dockerfile构建镜像时存在着明显的不足:由于Dockerfile语言的复杂性,使用文本编辑方式没有提供有效的语法引导,没有对Dockerfile可能存在的错误进行有效的检测,导致构建容器镜像工作效率低下.此外,使用说明不完整的第三方镜像,无法有效的确定镜像的功能和使用方法,安全性也是第三方镜像所面临的一大挑战,这带来了容器镜像的重复利用率低下的问题.针对上述问题,在分析Dockerfile语法和统计分析Dockerfile常见错误以及深入研究Docker镜像存储机制的基础上,设计了一个面向Dockerfile的镜像构建工具,并使用了可视化编辑,错误检测,逆向分析等关键技术进行实现.该工具能够在镜像构建中提供有效的语法引导,对Dockerfile常见的错误进行有效检测,为了验证第三方镜像的功能和安全性,设计了一种由Docker镜像逆向生成Dockerfile的方式,用户可以通过Dockerfile完全了解第三方镜像的功能和使用方式,另外通过二次构建的方式也可一定程度上解决第三方镜像的安全性问题.     

基于openstack云平台的docker应用

openstack与Docker作为云计算领域两个最热门的开源项目,其中openstack提供了一个简化部署云平台的工具集,目标是提供虚拟计算和存储服务;Docker则提供一个可以运行应用程序的解决方案,是一个构建在LXC上的轻量级虚拟化容器。针对目前openstack云平台创建的实例为虚拟机,占用宿主机大量的资源配额的问题,本文介绍一种openstack环境中创建的实例为Docker容器,相比较虚拟机具有启动速度快,资源利用率高以及性能开销小的优点。此外详细介绍Docker的工作原理,主要特性,底层的实现以及在openstack云平台中的集成使用。     

一种基于聚类分组的虚拟机镜像去冗余方法

随着云计算的兴起,虚拟化技术使用也越来越广泛,虚拟机正逐步取代物理机,成为应用服务的部署环境.出于灵活性、可靠性等方面的需求,虚拟机镜像急剧增长,如何高效地、经济地管理这些镜像文件已成为一个很有挑战性的研究热点.由于虚拟机镜像之间存在大量重复性的数据块,高效的去冗余方法对于虚拟机镜像管理至关重要.然而,传统的去冗余方法由于需要巨大的资源开销,会对平台中托管的虚拟机性能造成干扰,因而并不适用于云环境.提出了一种局部去冗余的方法,旨在优化镜像去冗余过程.其核心思想是:将全局去冗余变成局部去冗余,从而降低去冗余算法的空间复杂度,以达到减少操作时间的目的.该方法利用虚拟机镜像相似性作为启发式规则对虚拟机镜像进行分组,当一个新的镜像到来时,通过统计抽样的方法为镜像选取最为相似的分组进行去冗余.实验结果表明:该方法可以通过牺牲1%左右的存储空间,缩短50%以上的去冗余操作时间.     

基于Haar小波的同源图像消冗技术研究

针对分辨率不同、品质不同的同源①图像,提出一种基于Haar小波的图像消冗技术.该技术在Haar小波分解提取图像特征的基础上,利用图像特征向量的1-范数建立B+树索引,在B+树中通过范围查询计算不同图像的曼哈顿距离D1.同时为保证消冗的精确性,当D1≤T时,提取图像特征向量的部分数据构建集合,通过阈值t和不同集合中相同元素的个数v来判断是否进行消冗.实验表明,当t=5,T≤7000,消冗率②达到85%,消冗精度③为100%.     

基于Swift的可去重校园云存储系统的设计与实现

随着高校信息化的发展以及教学、科研和管理应用系统的广泛应用,数据资源如:图片、文档、视频等非结构化资源增长十分迅速。如何应对校园网络环境中不断增大的存储需求,提高存储资源的利用效率,是校园数据中心运维中一个比较重要的问题。本文介绍了基于开源软件 Swift 的云存储平台的搭建,以及带有重复数据删除功能的校园云存储系统(Dedupe_swift) 的设计与实现。通过重复数据删除功能的引入,提高了底层存储空间利用率;采用源端去重机制,为用户缩短了重复文件的上传时间;通过 Web 服务将存储作为服务提供给用户,为用户提供良好的云存储访问体验。     

基于新生成器结构的图像修复方法

针对目前图像修复算法存在的修复效果不连续、缺失大小受限、训练过程不稳定等缺点,提出了一种基于生成对抗网络的图像修复方法.利用卷积神经网络,我们可以真实地修复任意分辨率的图像.为了实现高分辨率的真实修复效果和对图像特征的充分学习,我们提出基于DenseNet传播源图像的细节和结构得到高分辨率的图像,实现图像缺失生成;由于Iizuka等人提出的基于双判别器方法中膨胀卷积部分所产生的巨大运算量,我们提出使用JPU (Joint Pyramid Upsampling,联合金字塔上采样)来加速计算.在CelebA和ImageNet上的实验表明,所提方法能真实地修复大多数的破损图像.     

基于阈值动态调整的重复数据删除方案

云存储已经成为一种主流应用模式.随着用户及存储数据量的增加,云存储提供商采用重复数据删除技术来节省存储空间和资源.现有方案普遍采用统一的流行度阈值对所有数据进行删重处理,没有考虑到不同的数据信息具有不同的隐私程度这一实际问题.提出了一种基于阈值动态调整的重复数据删除方案,确保了上传数据及相关操作的安全性.提出了理想阈值的概念,消除了传统方案中为所有数据分配统一阈值所带来的弊端.使用项目反应理论确定不同数据的敏感性及其隐私分数,保证了数据隐私分数的适用性,解决了部分用户忽视隐私的问题.提出了基于数据加密的隐私分数查询反馈机制,在此基础上,设计了流行度阈值随数据上传的动态调整方法.实验数据及对比分析结果表明,基于阈值动态调整的重复数据删除方案具有良好的可扩展性和实用性.     

基于深度强化学习的雾计算容器整合

在雾计算系统架构基础上, 针对数据中心高能耗、应用任务负载的随机动态性以及用户对应用的低时延要求, 提出一种基于A2C (advantage actor-critic)算法的以最小化能源消耗和平均响应时间为目标的容器整合方法, 利用检查点/恢复技术实时迁移容器, 实现资源整合. 构建从数据中心系统状态到容器整合的端到端决策模型, 提出自适应多目标奖励函数, 利用基于梯度的反向传播算法加快决策模型的收敛速度. 基于真实任务负载数据集的仿真实验结果表明, 该方法能够在保证服务质量的同时有效降低能耗.     

基于重复数据删除的连续数据保护系统的快速回滚

基于重复数据删除的连续数据保护系统可以实现时间点连续的数据保护,可以将数据回滚到任意的时刻,并且能够很好地降低存储开销,是一种理想的数据备份方式,而如何实现系统的快速回滚严重影响整个系统的性能.根据基于重复数据删除的连续数据保护系统的特点,系统实现了2种数据的快速回滚方法,并且通过cache对其中一种方法进行了加速.实验显示,2种回滚方式均能很好地实现数据回滚,并且cache起到了很好的加速效果.针对不同的回滚需求,灵活地选用不同的回滚方式,能够快速有效地实现数据回滚.     

基于组合特征的集装箱箱号识别法

为准确、高效地识别集装箱箱号,提出一种基于组合特征实现箱号识别的方法。对分割好的字符二值图像预处理后提取孔洞特征、凹凸特征、跳变特征、笔画特征等,利用树形分类器进行分类识别,并结合箱号自身的校验规则进行验证、识别。该方法不需要对字符图像做复杂的细化处理,提高了运算速度,避免了细化造成的字符畸变。实验结果表明,该方法平均箱号正确识别率可以达到93%,每箱号(11个字符)平均识别时间为0.065s。     

基于区块链的多代理联合去重方案

随着多云存储市场的快速发展, 越来越多的用户选择将数据存储在云上, 随之而来的是云环境中的重复数据也呈爆炸式增长. 由于云服务代理是相互独立的, 因此传统的数据去重只能消除代理本身管理的几个云服务器上的冗余数据. 为了进一步提高云环境中数据去重的力度, 本文提出了一种多代理联合去重方案. 通过区块链技术促成云服务代理间的合作, 并构建代理联盟, 将数据去重的范围从单个代理管理的云扩大到多代理管理的多云. 同时, 能够为用户、云服务代理和云服务提供商带来利益上的共赢. 实验表明, 多代理联合去重方案可以显著提高数据去重效果、节约网络带宽.     

基于CycleGAN的灰度图像彩色化方法

当前主流的图片彩色化方法包括传统算法和深度学习方法.随着深度学习模型的发展,基于深度学习的灰度图像彩色化方法能带来更好的着色效果,但仍然存在细节损失和着色枯燥问题.针对上述问题,本文将CycleGAN模型应用在非单一类别的灰度图像彩色化上,使其在动物、植物、风景等图片上有逼真的着色效果.模型结构上对CycleGAN模型的激活函数加以改进,在生成器使用PReLU激活函数,使模型更易于训练.在判别器使用PatchGAN提高图片高分辨率上的颜色细节.通过ImageNet数据集5个热门类别图像的训练后,模型对动植物与风景图彩色化的效果十分逼真.在图像评估指标中,该模型在PSNR中比GAN高了0.603 dB约有2.1%的提升,在SSIM中明显高于其他模型,在效果上有5.1%的提升.从视觉感受来看,通过CycleGAN彩色化的图片饱和度更高,在视觉真实性上高于VGG和GAN等模型,解决了着色枯燥问题,而且更容易还原图片中的颜色细节,避免细节损失.