随着计算机技术和网络技术的不断发展,信息技术水平不断得到提高。人类进入称为信息社会的二十一世纪后,诸如数字通信、数字多媒体、电子商务、搜索引擎、数字图书馆、天气预报、地质勘探、科学研究等海量数据型应用的涌现,各种信息呈现爆炸式的增长趋势,存储成为信息计算技术的中心。应用对存储系统的要求不断提高,存储容量不断升级,从GB到TB、PB、EB,愈显巨大。
图灵奖获得者JimGray提出一个新的经验定律:网络环境下每18个月生产的数据量等于有史以来的数据量之和。与此同时,现代企业对计算机的依赖性严重增强,信息数据逐渐成为企业赖以生存的基础,数据损坏或丢失将给企业带来巨大的损失。由于黑客、病、硬件设备的失效以及火灾、地震等自然灾害的原因,使系统和数据信息遭到破坏甚至毁灭,如果不及时地进行恢复,将对企业造成巨大的损失,所以备份容灾技术显得尤为重要。尤其,9.11等事件造成的灾难性后果使人们更加深刻地认识到数据信息的价值和意义,日益重视数据的保护。
在过去的20多年中,虽然计算机技术取得了巨大的发展,但是数据备份技术却没有长足进步。数据备份操作代价和成本仍然比较高,并且消耗大量时间和系统资源,数据备份的恢复时间目标和恢复点目标比较长。传统地,人们一直采用数据复制、备份、恢复等技术来保护重要的数据信息,定期对数据进行备份或复制。由于数据备份过程会影响应用性能,并且非常耗时,因此数据备份通常被安排在系统负载较轻时进行。另外,为了节省存储空间,通常结合全量和增量备份技术。
显然,这种数据备份方式存在一个显著的不足,即备份窗口问题。在数据备份期间,企业业务需要暂时停止对外提供服务。随着企业数据量和数据增长速度的加快,这个窗口可能会要求越来越长,这对于关键性业务系统来说是无法接受的。诸如银行、电信等机构,信息系统要求24x7不间断运行,短时的停机或者少量数据的丢失都会导致巨大的损失。因此,就需要将数据备份窗口尽可能地缩小,甚至缩小为零,数据快照(Snapshot)、持续数据保护(CDP,ContinuousDataProtection)等技术,就是为了满足这样的需求而出现的数据保护技术。
以太坊L2总锁仓量涨至94亿美元 zkSync Era突破2亿美元:金色财经报道,据L2BEAT数据显示,当前以太坊Layer2总锁仓量涨至94亿美元,7日涨幅5.64%。其中,锁仓量前五分别为:ArbitrumOne(61.6亿美元,7日涨幅4.63%);Optimism(20.1亿美元,7日涨幅5.03%);dYdX(3.47亿美元,7日涨幅2.03%);zkSyncEra(2.01亿美元,7日涨幅79.628%);ImmutableX(1.31亿美元,7日涨幅2.43%)。[2023/4/11 13:56:14]
什么是快照(Snapshot)
快照(Snapshot)是某个数据集在某一特定时刻的镜像,也称为即时拷贝,它是这个数据集的一个完整可用的副本。存储网络行业协会SNIA对快照的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本(duplicate),也可以是数据的一个复制品(replicate)。
快照具有很广泛的应用,例如作为备份的源、作为数据挖掘的源、作为保存应用程序状态的检查点,甚至就是作为单纯的数据复制的一种手段等。创建快照的方法也有很多种,按照SNIA的定义,快照技术主要分为镜像分离(splitmirror)、改变块(changedblock)、并发(concurrent)三大类。后两种在实现时通常使用指针重映射和写时拷贝技术。changedblock方式的灵活性及使用存储空间的高效性,使得它成为快照技术的主流。
第一种快照是镜像分离。在即时拷贝之前构建数据镜像,当出现一个完整的可供复制的镜像时,就可以通过瞬间“分离”镜像来产生即时拷贝。这种技术的优点是速度快,创建快照无须额外工作。但缺点也很明显,首先它不灵活,不能在任意时刻进行快照;其次,它需要一个与数据卷容量相同的镜像卷;再者,连续镜像数据变化影响存储系统的整体性能。
第二种快照是改变块。快照创建成功后,源和目标共享同一份物理数据拷贝,直到数据发生写操作,此时源或目标将被写向新的存储空间。共享的数据单元可是块、扇区、扇道或其他的粒度级别。为了记录和追踪块的变化和复制信息,需要一个位图(bitmap),它用于确定实际拷贝数据的位置,以及确定从源还是目标来获取数据。
孙宇晨钱包地址在Lido质押超15万枚ETH,价值约2.4亿美元:金色财经报道。Lookonchain数据显示,标记为“Justin Sun”孙宇晨的钱包地址刚刚在@LidoFinance质押 150,100枚ETH (价值约2.4 亿美元)兑换成stETH。[2023/2/25 12:29:30]
第三种快照是并发。它与改变块非常相似,但它总是物理地拷贝数据。当即时拷贝执行时,没有数据被复制。取而代之,它创建一个位图来记录数据的复制情况,并在后台进行真正的数据物理复制。
不同存储层次的快照实现
1992年图灵奖获得者ButlerLampson表示“计算机科学中的任何问题,都可以通过增加间接层次来解决”对于快照技术,我们可以在存储系统中的不同层次来实现,可以在磁盘阵列、文件系统、卷管理器、NAS系统或备份系统中来实现。
图1 存储系统栈与快照实现
存储栈由一组硬件和软件组件组成,为运行在主机操作系统上的应用系统提供物理存储介质,如图1所示。快照可以采用很多不同实现方式,也可以在存储栈中的不同层次来实现,大致分为软件层和硬件层两类,也可分为基于控制器的快照和基于主机的快照两类。
基于控制器的快照,在存储设备层或硬件层中实现,由存储系统硬件提供商管理并集成于磁盘阵列中。这种快照在LUN级完成,独立与操作系统和文件系统。基于主机的快照,在设备驱动和文件系统级之间实现,通常由文件系统、卷管理器或第三方软件来执行。这种快照不依赖存储硬件,但却依赖于文件系统和卷管理软件。该快照作用于逻辑数据视图,这与基于控制器的快照的不同,它作用于物理数据。
在以上各个存储层次中,物理存储层和卷管理器是最适合实现快照的两个组件,它们可以方便地利用物理存储,是当前主流的实现层次。文件系统层实现快照是一个可行的选择,然而诸如数据库等应用会直接选择使用逻辑卷来实现快照,因为在文件系统层它们不能被快照技术所管理。一般来说,没有必要在应用层实现快照,对于备份机制,可以利用下层的文件系统或卷管理器接口来实现,但需要应用暂时停顿以保证快照数据一致性。总的来说,基于软件层的快照易于操作,且提供比较好的恢复力度,而基于硬件层的快照往往更高的性能和容错性。
CZ:最好的用户保护形式是全球一致的、基于风险的监管:金色财经报道,Binance首席执行官CZ在社交媒体上称,最好的用户保护形式是全球一致的、基于风险的监管。彻底的禁令只会导致用户在阴影中操作,风险自负,没有任何安全网。国际货币基金组织发布的文章支持这一立场:
1.我们的行业需要适合其跨境性质的稳健、全面和全球一致的加密监管。对于全球运作方式,它必须适应不断变化的行业格局。
2.加密资产服务提供商应获得许可、注册和授权。许可和授权标准应明确定义。
3.履行多项职能的实体应遵守额外的监管、透明度和/或披露要求。
4.稳定币是许多用例中保值的关键工具,应该受到监管以发挥其潜力并确保市场完整性。当立法者和监管者扩大允许的活动范围时,用户保护和市场诚信得到加强。我们在许多其他行业都看到了这一点:tradfi、医疗保健、制药、互联网、内容等。[2023/1/24 11:28:39]
快照实现方式及技术
快照技术能够实现数据的即时影像,快照影像可以支持在线备份。全量快照是实现所有数据的一个完整的只读副本,为了降低快照所占用的存储空间,人们提出了写时复制和写重定向快照技术。另外,还出现了其他一些快照技术的实现方式,如日志、持续数据保护等,可以提升快照的相关性能。
1、镜像分离(SplitMirror)
镜像分裂快照技术在快照时间点到来之前,首先要为源数据卷创建并维护一个完整的物理镜像卷:同一数据的两个副本分别保存在由源数据卷和镜像卷组成的镜像对上。在快照时间点到来时,镜像操作被停止,镜像卷转化为快照卷,获得一份数据快照。快照卷在完成数据备份等应用后,将与源数据卷重新同步,重新成为镜像卷。
对于要同时保留多个连续时间点快照的源数据卷,必须预先为其创建多个镜像卷,当第一个镜像卷被转化为快照卷作为数据备份后,初始创建的第二个镜像卷立即与源数据卷同步,与源数据卷成为新的镜像对。镜像分裂快照操作的时间非常短,仅仅是断开镜像卷对所需的时间,通常只有几毫秒,这样小的备份窗口几乎不会对上层应用造成影响,但是这种快照技术缺乏灵活性,无法在任意时间点为任意的数据卷建立快照。另外,它需要一个或者多个与源数据卷容量相同的镜像卷,同步镜像时还会降低存储系统的整体性能。
FTX Behemoth将1亿枚XRP转移至Binance地址:金色财经报道,Whale Alert检测显示,在22小时前,FTX Behemoth将1亿枚XRP转移到了一个标记为“未知”的钱包中。根据转账时的 XRP/USD 汇率,该笔金额相当于51,958,683美元。据Behemoth以XRP为重点的跟踪器提供的数据显示,收件人钱包是Binance加密地址。[2022/10/12 10:31:46]
2、写时复制
图2 写时复制快照
写时复制快照使用预先分配的快照空间进行快照创建,在快照时间点之后,没有物理数据复制发生,仅仅复制了原始数据物理位置的元数据。因此,快照创建非常快,可以瞬间完成。然后,快照副本跟踪原始卷的数据变化,一旦原始卷数据块发生首次更新,则先将原始卷数据块读出并写入快照卷,然后用新数据块覆盖原始卷。写时复制,因此而得名。
这种快照技术在创建快照时才建立快照卷,但只需分配相对少量的存储空间,用于保存快照时间点之后源数据卷中被更新的数据。每个源数据卷都具有一个数据指针表,每条记录保存着指向对应数据块的指针。在创建快照时,存储子系统为源数据卷的指针表建立一个副本,作为快照卷的数据指针表。当快照时间点结束时,快照建立了一个可供上层应用访问的逻辑副本,快照卷与源数据卷通过各自的指针表共享同一份物理数据。快照创建之后,当源数据卷中某数据将要被更新时,为了保证快照操作的完整性,使用写时复制技术。对快照卷中数据的访问,通过查询数据指针表,根据对应数据块的指针确定所访问数据的物理存储位置。
写时复制技术确保复制操作发生在更新操作之前,使快照时间点后的数据更新不会出现在快照卷上,保证了快照操作的完整性。写时复制快照在快照时间点之前,不会占用任何的存储资源,也不会影响系统性能;而且它在使用上非常灵活,可以在任意时间点为任意数据卷建立快照。在快照时间点产生的“备份窗口”的长度与源数据卷的容量成线性比例,一般为几秒钟,对应用影响甚微,但为快照卷分配的存储空间却大大减少;复制操作只在源数据卷发生更新时才发生,因此系统开销非常小。但是由于快照卷仅仅保存了源数据卷被更新的数据,此快照技术无法得到完整的物理副本,碰到需要完整物理副本的应用就无能为力了,而且如果更新的数据数量超过保留空间,快照就将失效。
JPEX荣获迪拜CryptoExpo2022最佳存款(Staking)平台:据官方消息,迪拜加密货币博览会CryptoExpo2022,加密资产服务平台JPEX荣获本次博览会 \"2022 The Best Staking Platform”大奖,该奖项是JPEX生态发展历程中的一个新里程碑。此外,JPEX已推出投选卡塔尔世界杯冠军球队活动,用户可通过质押JPEX平台币JPC获得投票机会。
据悉,JPEX是一家澳洲交易所,由来自日本、澳大利亚、美国等多个国家的开发团队共同维护,获得美国、加拿大等多国金融牌照。此外,JPEX也是Macarthur FC、Western Sydney Wanderers FC 以及Western United FC等知名足球俱乐部的加密合作伙伴。[2022/10/11 10:30:37]
3、指针重映射
图3 指针重映射快照
这种实现方式与写时复制非常相似,区别在于对于原始数据卷的首次写操作将被重定向到预留的快照空间。该快照维持的是指向所有源数据的指针和拷贝数据。当数据被重写时,将会给更新过的数据选择一个新的位置,同时指向该数据的指针也被重新映射,指向更新后的数据。如果拷贝是只读的,那么指向该数据的指针就根本不会被修改。重定向写操作提升了快照I/O性能,只需一次写操作,直接将新数据写入快照卷,同时更新位图映射指针;而写时拷贝需要一次读和两次写操作,即将原始卷数据块读入并写入快照卷,然后将更新数据写入原始卷。
不难发现,快照卷保存的是原始副本,而原始卷保存的则是快照副本。这导致删除快照前需要将快照卷中的数据同步至原始卷,而且当创建多个快照后,原始数据的访问、快照卷和原始卷数据的追踪以及快照的删除将变得异常复杂。此外,快照副本依赖于原始副本,原始副本数据集很快变得分散。
4、日志文件架构
这种形式的快照技术利用日志文件来记录原始数据卷的写操作。所有针对原始数据卷的写操作都记录在日志系统中,相当于每次数据变化均会生成快照。因此,这与数据库系统事务或文件系统日志非常相似,可以根据需要,从日志恢复数据或者回滚事务到任意合理状态。严格意义讲,这种方式不能称之为快照,但的确能达到快照的目标,不少文件系统实现了这种功能,如ZFS、JFS、EXT3、NTFS等。
5、克隆快照
前面提到的快照,基本上都不会生成完整的快照副本,无法满足完整物理数据副本的业务需求。克隆快照可生成与源数据卷一致的镜像快照,它充分利用了写时拷贝和镜像分离两种快照技术的优点。快照时间点时,它先使用写时拷贝方式快速产生快照副本,然后在后台启动一个拷贝进程来执行源数据卷至快照卷的块级数据拷贝任务。一旦复制完成,就可以通过镜像分离技术获得一个克隆快照。克隆快照同样继承了镜像分离快照的缺点,除了需要一个与源数据卷容量相等的快照卷外,还会一定程度上影响存储系统的整体性能。
6、持续数据保护
以上几种快照技术均存在共同的不足之处,即不能在任意点创建任意多的快照。日志型快照虽然没有上述不足,但却依赖于具体的文件系统,无法直接应用到使用不同文件系统的应用,对于非基于文件系统的数据应用无能为力。
持续数据保护,也称连续备份,它自动持续捕捉源数据卷数据块的变化,并连续完整地记录这些数据块版本。每一次数据块变化都会被记录,生成瞬间快照,这与其他快照技术在快照时间点上创建快照是不同的。因为写操作都被记录保存下来,因此能够动态地访问任意一个时间点的数据状态,提供了细粒度的数据恢复,可以实现瞬间和即时的恢复,有效拉近恢复点目标。数据块级的持续数据保护技术的优点是与应用的藕合比较松,性能和效率比较高,系统连续不间断运行,不存在快照窗口问题。它的缺点是对存储空间的要求比较高,这也是限制数据块级持续数据保护技术广泛应用的根本原因。
下表从不同角度对以上几种快照技术进行了分析对比。
结论与展
快照技术是对传统数据备份与复制技术的重大革新,解决了备份窗口问题,有效拉近了恢复时间目标和恢复时间点目标,成为了事实上的存储行业标准。
快照技术发明以来,人们进行了大量意义重大的改进。快照窗口不断缩小,从几秒到瞬间完成;几乎可以在任意时刻创建快照,粒度越来越细,数量不断增大;快照性能大幅提升,对主机、应用的影响降低至微;快照灵活性、可扩展性、可管理性不断增强。然而,人们对技术的进步要求从来都是没有止境的。针对当前的各种解决方案,在综合性能、灵活性、管理性方面,快照技术仍然存在很大的改进空间。存储厂商不断推出新的快照存储产品或新的版本,是最有力的证明。
近年来,存储技术的发展日新月异,面向对象存储、固态硬盘、存储虚拟化、重复数据删除,新的存储架构、技术和解决方案不断涌现。这些可能会对快照技术的变革产生更加深远的影响,为快照技术的发展创造更加宽广的空间。我们可以预测,未来快照技术在空间效率、快照对象粒度、虚拟化存储支持以及性能和用户体验方面有长足的进步,在数据复制和备份领域将有更加广泛的应用前景。
Snapshot.
http://www.snia.org/education/dictionary/s/#snapshot
Pointintimecopy.
http://www.snia.org.cn/dic.php?word=p
AlainAzagIIry,MichaelEFactor,JulianSatran.Point-in-timecopy,Yesterday,TodayandTomorrow.CollegePark,USA:the19thIEEESymposiumonMassStorageSystems.2002:259-270.
Snapshot.
http://www.ibm.com/developerworks/tivoli/library/t-snaptsm1/index.html
袁晓铭,林安.几种主流快照技术的分析比较.微处理机,2008年第1期.
王树鹏,云晓春,郭莉.持续数据保护(CDP)技术的发展综述.信息技术快报,2008年第6卷第6期.
EMCTimeFinder.
http://china.emc.com/products/detail/software/timefinder.htm
EMCTimeFinder.
http://china.emc.com/collateral/software/data-sheet/1700-timefinder.pdf
HDSShadowImage.
http://www.hds.com/cn/products/storage-software/shadowimage-in-system-replication.html
NetAppSnapshot.
http://www.netapp.com/us/products/platform-os/snapshot.html
VeritasSnapshot.
http://eval.symantec.com/mktginfo/enterprise/yellowbooks/using_local_copy_services_03_2006.en-us.pdf
——End——
通过身份认证服务(PolkaID)、去中心化存储服务(documentguard)和Oracle服务(DecentralizedGate)等一系列专业开发服务.
唯一艺术·全球首届NFT数字艺术品创作大赛将从即日起接受全世界范围内所有的数字艺术创作者的投稿,大赛以支持和推广NFT数字艺术品创作为初心.
今天,我们已经发现付款方式的习惯和模式正在改变。虽然现金还是普遍存在于我们生活当中,但是在新一代年轻当中,现金支付已经不是这代人的主要支付手段,它正在被电子支付和数字支付以及其他不同类型的支付所.
受美股连续4天上涨,再创新高的盘面影响,市场转向出现反弹行情。金色财经合约行情分析 | BTC放量突破 5月初高点:据火币BTC永续合约行情显示,截至今日16:00(GMT+8),BTC价格暂报.
ICPL&DFINITY官方联合举办:互联网计算机首届生态峰会,奇点降临ICP生态正在发生一次大爆炸,互联网计算机运行着100+Grant、5000+智能合约、100+DApp.
区块链+社交是一个有趣的赛道,总是吸引着开发者们不断尝试。作为行业的热点赛道之一,社交代币生态在不断发展壮大.