——Part1?现状——
区块链可以视作一个在分布式环境下众多可信节点共同维护的且不可篡改的账本。在区块链系统中,数据以区块作为基本单位,区块链系统利用levelDB基于Key-Value结构的数据库存取数据,通过多节点冗余存储实现账本可信,然而随着区块链运行时间的增长,区块链的存储容量将呈线性增长,且这种数据的增长速度甚至会超过存储介质容量增长的速度,因此,区块链数据存储将成为限制区块链技术发展的重要因素。
面对这一棘手的问题,数据归档技术应运而生,什么是数据归档呢?
——Part2?什么是数据归档——
数据备份的概念大家应该是比较了解的,随着数字化的推进,企业对数据的敏感度逐渐增强,数据备份系统已经成为各大中型企业的必备系统。然而正如我们对数据归档认知的不足,企业对于数据归档的使用也不如数据备份广泛。
备份的目的是为了恢复,保证在系统出现意外情况时业务的连续进展。对于企业来说,每天产生的大量数据,其实绝大部分的使用率很低,但是,出于一些特殊原因,这些数据却必须保留以备查询。简言之,归档的目的是为了服务品质和保证数据的可管理,使得运行、维护、投入整体的成本降低,如何最大化使用存储,保证数据的访问。数据归档,即数据的使用。然而如何规范的归档数据呢?我们就得具备相应的归档原则。
旅游预订平台Travala与物联网区块链平台IoTeX合作:全球领先的旅游预订平台Travala.com今天官方宣布,将与物联网区块链平台IoTeX正式合作,$IOTX将被纳入Travala预订平台的官方支付选项,用户可以轻松使用IOTX 预定支付全球超过 600条航线、220万家酒店及短租旅游项目。
同时,IoTeX和Travala将合作通过IoTeX创新的可信硬件“Pebble原石”,将用户的旅行数据记录在区块链上,发展全新的用例,如:旅行日志、旅程竞赛以及“可证明位置信息Proof of presence”NFT等。更多合作详情见IoTeX与Travala团队于4月21日早08:00共同举行的AMA直播。[2021/4/16 20:25:51]
数据存储:无论是备份还是归档,数据的完整性必须得到保证,且需在规定时间内保证数据的安全存储。保证数据的完整性、时效性及存储的安全性。
数据易读取:虽然大部分数据重复读取可能性低,但归档系统依旧不是一个备份系统,必须保证在需要的时候能方便地读取数据。保证系统数据的可读性。
美股开盘:在美上市区块链中概股涨跌各异:美股开盘,三大股指均出现下跌,在美上市区块链中概股涨跌各异。嘉楠科技上涨1.36%,人人网平盘,寺库下跌0.32%,迅雷平盘,猎豹移动上涨1.47,兰亭集势下跌4.04%,中网载线下跌5.34%。[2020/4/3]
数据可扩展:由于存在不同种类的数据,且数据也是实时变化且增长迅猛,因此为满足企业需求,还应具备可扩展的要求。
数据合法:任何的企业系统运作都应该遵守各项规章制度,要遵守政府和行业指定的各项法律、法规及各种规章。
——Part3实现难点——
正如大家所知,区块链存在数据单向增长的特性,这样数据量的增多会导致系统磁盘空间占用率高,所以需要研发区块链专用数据归档技术,将数据进行“冷热分离”,保障系统的高效可靠运转;
另外,因为区块链是一个在分布式环境下众多可信节点共同维护的且不可篡改的账本,所以传统的数据归档技术无法解决多个节点数据归档某一范围数据而账本状态保持一致性的问题,在实际情况中还存在区块链上单一节点数据归档导致的多节点数据同步时账本状态一致性的问题。
北京信任度科技CEO:区块链技术与金融监管结合点有三个方面:针对区块链技术与金融监管有哪些结合点,北京信任度科技CEO马臣云认为主要分三方面。其一,被监管对象的关键业务数据(经营数据、报表等)、关键业务流程上链。事前存证,方便事后审计确定数据的真实性。其二,引入智能合约,可以把关键的业务规则、监管部门的要求等代码化,合约化,使得业务规则按照事前定义的规范运行,降低人为操作,违法越界等行为。其三,和互联网法院的区块链存证平台打通,使得存证具备司法背书,一方面对潜在纠纷预防,一方面也对监管部门以约束,提升整个机制的透明度、权威性。(中国经营报)[2020/2/29]
总结:
1.区块链存在数据单向增长,需要进行冷热分离存储;
2.分布式环境下,难以保证所有节点实时进行数据归档且保证数据状态的一致性;
3.单一节点数据归档导致多节点数据同步时状态一致性难以保证。
——Part4?数据归档的架构解读——
动态 | 区块链等技术的智能服务终端“格格物”正式推出:四川商务酒店协会主办的中国西部酒店业发展峰会22日下午在成都举行。会上,一款基于酒店客房场景,通过物联网、区块链、云数据分析等手段进行商品销售、推广宣传的智能服务终端“格格物”成为焦点,受到与会者广泛关注。近年来,随着科技的进步和消费升级,消费者对于科技化、场景化、体验化和定制化的酒店需求日趋强烈。去年,万豪、香格里拉、君澜、洲际、华住、如家、锦江等酒店集团都在“智慧酒店”方面推出了新的举措。(中新网四川新闻)[2019/12/23]
了解了数据归档的基本概念,那么,在区块链中它是如何运作的呢?数据归档功能的主要职责是将一部分旧的线上数据移到线下转存。对此,趣链科技提出了区块链数据归档的方法,使得整个区块链系统能在不停机情况下,将区块链数据划分为链上、链下两部分,热数据仍保留在链上,但冷数据可以存储在低成本的硬件设备上,进行动态的数据归档。而且,通过数据调度层,可以很好地实现热数据和冷数据的灵活访问,热数据直接通过平台访问,冷数据则通过归档数据浏览技术浏览。另外,每个节点可以自主、多次地对数据进行归档,从而使得系统的链上数据量维持在一个稳定水平,有效释放磁盘空间。
声音 | 韩国采购厅厅长:将运用区块链等技术 全面改革公共采购市场:今日,韩国采购厅厅长郑武警在政府大楼举行记者招待会,他表示,今年将采购厅将利用120万亿韩元建设韩国公共采购市场,通过促进革新和支援,创造更多工作岗位,提高经济活力。同时,将运用大数据、人工智能、区块链等尖端智能信息技术,全面改革公共采购市场。[2019/3/7]
为更形象地讲解数据归档技术,我们以趣链数据归档为讲解内容进行:
区块链的数据归档方式是一种基于状态备份的归档方法。
简单来说,用户想要对某一个区块链节点做数据归档,必须在过去某一时刻对区块链制作一个状态快照;
进行数据归档时,可以将快照点之前所有的区块链数据进行归档转储,以实现区块链节点存储压力的减负。后续未归档第一个区块的节点成为新链的1号区块。
▲?数据归档流程
制作快照:
1.系统获取最近距离的快照,即比当前要做快照的区块号小的最大的高度,返回该快照的信息。若没有任何快照,则以0号区块数据为基础新建快照并作为start,其制作的高度为end。
2.快照拷贝以单纯的磁盘io拷贝一份第一步获得的账本到新文件夹,并作为后续账本操作的基础。
3.根据日志数据,遍历线上,制作到账本,且同时遍历区块的merkleRoot,保证账本的正确性。
检查快照:
遍历snashot数据库中的状态数据,重新计算出bucketTree的根哈希,与最新的区块哈希对比,以保证制作的快照与实际的账本是否一致。
数据归档:
如图,用户发起数据归档请求,要求将快照点前所有的区块链数据进行转储归档。该节点将所需转储的区块数据以及相应的交易回执等数据转储,且将本地的创世状态内容更新为之前备份得到的快照状态。
如果说区块链正常的状态变迁是状态终点不停向前更新的过程,那么数据归档就是一个区块链状态起点向终点更新的过程。下面是一个比较典型的相关数据平台应用案例:
数百家中心数据,存量数据4T,日均10GB,年均3.6T数据上链,由于链上存储通常采用SSD硬盘,导致存储成本高昂。针对此问题,我们采用定期归档的方式对链上数据进行归档,由图可见,我们采用了分段存储的方式,平台可对任意的某段数据进行归档操作并保证各节点数据状态的一致性。保证链上数据稳定在1T左右,有效地释放磁盘空间的同时,极大地降低了成本,增加了系统性能。
上述的数据归档主要是针对区块链数据,而部署在区块链上的智能合约,同样有较大的存储需求用来记录庞大的业务数据。针对于这部分数据,趣链提供了另外一种归档机制,用户仅需发起一笔带有特殊标记的交易,调用智能合约中自定义的归档函数,即可实现合约数据的转储。合约编码者可以在合约中实现任意逻辑的归档函数,以满足不同的业务需求。
——?Part5总结?——
在本片中较为详细地讲解了数据归档技术在区块链中的使用,不仅实现了数据的冷热分离存储,保证了单一节点的数据归档而保持整个区块链所有节点的账本状态的一致性,而且实现了分段存储的模式,使得数据在任意范围内被归档。
从设计角度来看,数据归档后不影响原先链上数据的正确性与连续性,而且支持不同节点、不同分区自定义归档序列的范围。
从功能角度来看,数据归档主要解决区块链链上数据的冗余问题。减少链上数据存储压力,将过期数据和历史数据进行线下的存储,突破链上存储的限制。并且,并发执行数据归档过程中的各种操作,提升了归档的效率。
从应用场景来看,数据归档适用于数据冗余存储、链式递增、时效有限等情况导致的存储资源被大量过期数据占用的痛点。对于数据归档或者区块链技术有兴趣的小伙伴,添加小助加入技术交流群,欢迎您和我们共享观点,共论区块链的无限未来~
作者简介
陈少蔚
趣链科技基础平台部文档工程师
社交代币,随着创作者经济的兴起,在加密圈内引起了广泛的关注。然而,大多数用户对于其的理解仅仅停留在「它是一个币」,和其他的币没有什么太大区别,也不曾思考社交代币解决了什么问题和其底层逻辑.
作家、企业家LukeBurgis在其新书《想要:日常生活中模仿欲望的力量》中讨论了人类的欲望和行为的模仿根源。模仿欲望对加密领域有着深刻的影响.
经典的销售口号是“ABC–AlwaysBeClosing”。本周,我们看到许多主要的NFT产生了不错的销售数字,让我们来看看过去一周的一些大手笔交易,以及更多来自NFT的最新消息.
据彭博社6月29日消息,美联储监管部副主席RandalQuarles周一对犹他州银行家协会表示,对急于发行央行数字货币需要谨慎,称其好处"不明确",而风险可能很高.
Centrifuge是Polkadot生态系统的一部分,因此存储CentrifugeToken的最佳位置是Polkadot/SubstratePortal.
6月24日10点03分,以太坊测试网Ropsten于区块高度10499401处成功激活伦敦硬分叉升级.