假设您是web3新手,开始建立web3分析团队,或者刚刚对web3数据感兴趣。无论哪种方式,您都应该已经大致熟悉了API、数据库、转换和模型在web2中的工作方式。
对于这本就职指南,我将尽量保持简洁,并突出我对以下三个重要的想法:
1.思考:为什么开放数据管道会重塑数据工作的完成方式
2.工具:web3数据堆栈中工具的概述,以及如何利用它们
3.团队:在web3数据团队中应具备的基本注意事项和技能
关于数据思维
让我们首先总结一下在web2中如何构建、查询和访问数据。
对于简化的数据管道,我们有四个步骤:
事件API触发
摄取到数据库
特定产品/分析用例的数据转换
模型训练和部署
数据有时是开源的唯一步骤是在转换完成之后。Kaggle和HuggingFace等社区使用暴露数据的一部分来帮助企业构建更好的模型。有一些特定领域的案例,例如在前三个步骤中打开数据的开放街道地图,但这些仍然有写权限的限制。
孙宇晨:波场TRON正在成为引领Web3革命的关键角色:7月25日消息,波场TRON创始人、火币Huobi全球顾问委员会成员孙宇晨受邀出席了在日本举办的WebX大会,并发表《RWAs: TRON如何接近加密领域最令人垂涎的宝藏》主题演讲。
孙宇晨表示,在Web3.0新时代中,波场TRON正成为一个不可或缺的重要角色。作为活跃的并支持稳定币和RWA的生态系统,波场TRON为投资者和企业家们提供了更为广阔的探索空间。未来,波场TRON将继续引领RWA的前进,开创更加包容和繁荣的Web3时代。
据悉,波场TRON作为全球最受欢迎的Layer-1区块链协议之一,目前账户总数已超过1.74亿,且仍在保持稳步增长;其日均活跃地址数约为200万,日交易量为470万,远高于以太坊和比特币。此外,TRON还托管了最大流通量的USDT稳定币,其流通量占到USDT总全球供应的52%。[2023/7/25 15:58:06]
并不是说web2根本没有任何开源。与大多数其他工程角色一样,web2数据拥有大量用于构建其管道的开源工具。我们仍然在web3中使用所有这些工具。总之,他们的工具是开放的,但他们的数据是封闭的。
BBVA Mexico推出首个Web3投资基金Digital Economy Fund:10月27日消息,西班牙毕尔巴鄂比斯开银行墨西哥分行(BBVA Mexico)宣布推出首个Web3投资基金Digital Economy Fund,旨在创新企业叙事、布局数字和区块链技术并适应当前数字经济格局。通过参与国际报价系统(SIC)上市股票,让客户可以投资NFT、元宇宙、金融科技和Web3领域里的公司。据悉,该基金在墨西哥市场允许客户从最低2.4美元开始投资,而在哥伦比亚的最低投资金额是4.13美元。[2022/10/27 11:47:25]
Web3也将数据开源——这意味着它不再只是数据科学家在开源中工作,分析工程师和数据工程师也是如此!每个人都参与到一个更连续的工作流程中,而不是一个黑盒数据循环。
工作的形式已经从web2数据大坝转变为web3数据的河流、三角洲和海洋。同样重要的是要注意,这个新周期会同时影响生态系统中的所有产品/协议。
RunBlox与前泽友作旗下Web3俱乐部MZ Club合作推出限量NFT跑鞋:8月18日消息,Move2Earn 应用 RunBlox 宣布与日本亿万富豪前泽友作旗下 Web3 俱乐部 MZ Club 合作推出限量 NFT 跑鞋,该 NFT 可以通过跑步赚取 RUX Token,用户可以加入 MZ CLUB 的 Discord 社区并填写问卷来获取限量 NFT。同时,RunBlox 现已上架前泽友作旗下 Web3 玩赚平台 arigatobank,用户现已可通过 arigatobank 登入 RunBlox。[2022/8/18 12:34:29]
让我们看一个web3分析师如何协同工作的示例。有几十个DEX使用不同的交换机制和费用,允许你将通证A换成通证B。如果这些是典型的交易所,比如纳斯达克,每个交易所都会以10k或一些API报告自己的数据,并且然后像capIQ之类的其他服务会将所有交换数据放在一起,并收取费用让您访问他们的API。也许偶尔,他们会举办一场创新比赛,这样他们就可以在未来拥有额外的数据/图表功能来收费。
使用web3交换,我们有这个数据流:
dex.trades是Dune上的一张表,其中汇总了所有DEX交换数据-因此您可以非常轻松地搜索所有交易所中单个代币的交换量之类的东西。
Oasis将与基因测序公司Genetica合作,构建Web3精准医学基因测序平台:7月27日消息,隐私计算网络Oasis与亚太地区基因测序公司Genetica达成合作,将构建一个基于Web3的大规模精准医学基因测序平台,用于大规模基因数据收集和分析。借助该解决方案,用户可以保持对其基因组数据的控制,同时在他们的数据有助于医学研究以帮助改善个性化护理时获得奖励。[2022/7/27 2:41:12]
一位数据分析师出现并使用一堆社区开源查询创建了一个仪表板,现在我们对整个DEX行业有了一个公开的了解。即使所有的查询看起来都是一个人写的,你可以打,在某个不和谐的地方有大量的讨论可以准确地拼凑起来。
一位DAO科学家查看仪表板并开始在他们自己的查询中分割数据,查看特定的配对,例如稳定通证。他们研究用户行为和商业模式,并开始建立假设。
由于科学家可以看到哪个DEX占据了更大的交易量份额,因此他们将提出一个新模型并提出对治理参数的更改,以在链上进行投票和执行。
之后,我们可以随时查看仪表板,了解该提案如何创造出更具竞争力的产品。
未来,如果有另一个DEX出来,这个过程会提升产品的功能。有人会创建插入查询来更新此表。这将反过来反映在所有仪表板和模型中。任何其他分析师/科学家都可以在Alex已经完成的工作的基础上再接再厉。
现场 | 分布式资本合伙人孙铭:Web3确保用户自主掌控数据:金色财经现场报道,由Web3基金会主办的Web3大会10月29日在上海举行。在圆桌讨论“Web 3.0的投资趋势”上,分布式资本合伙人及总法律顾问孙铭表示,web1和2时代,几个巨头提供了几十亿人的互联网服务,中心化垄断了绝大多数互联网资源,会导致出现店大欺客现象。海量数据掌握在巨头手里,而其实数据属于用户本身。Web3通过去中心化程序提供互联网服务,确保用户自主掌控数据。[2020/10/29]
由于共享生态系统,讨论、协作和学习发生在更紧密的反馈循环中。这有时会变得非常压倒性,而且我认识的分析师基本上都在轮换数据时表现得倦怠。然而,只要我们中的一个人不断推动数据前进,那么其他所有人都会受益。
它也不一定总是复杂的抽象视图,有时它只是实用功能,例如可以轻松搜索ENS反向解析器或改进工具,例如使用单个CLI命令自动生成大部分graphQL映射!所有这些都可以被每个人重用,并且可以适应某些产品前端或您自己的个人交易模型中的API使用。
虽然这里解锁的可能性是惊人的,但是程序还没有那么顺利地运行。与数据工程相比,数据分析师/科学方面的生态系统仍然非常不成熟。我认为这有几个原因:
数据工程多年来一直是web3的核心焦点,从客户端RPCAPI改进到基本的SQL/graphQL聚合。在theGraph和Dune等产品上的工作确实体现了他们为此付出的努力。
对于分析师来说,理解web3独特的跨协议关系表是一个艰难的过程。例如,分析师可以理解如何仅分析Uniswap,但随后难以将聚合器、其他DEX和不同的代币类型添加到组合中。最重要的是,完成所有这些工作的工具直到去年才真正意义上出现。
数据科学家基本上习惯于进入原始数据转储并独自完成所有工作。我认为他们不习惯在项目早期与分析师和工程师如此密切和公开地合作。这需要一段时间才能适应这样的环境。
除了学习合作之外,web3数据社区还在学习如何在这个新的数据堆栈中工作。您不再需要控制基础架构或从excel中慢慢构建到数据湖或数据仓库-只要您的产品上线,那么您的数据就会无处不在。您的团队基本上进入了数据基础架构的精华部分。
关于数据工具
这就是你们大多数人来这里的目的:?
这些工具并不全面——它们只是我发现自己或其他人在以太坊生态系统中一直使用和引用的工具。
“去中心化”标签意味着有一个基础设施网络或指导框架来阻止单方面发生的变化。我喜欢将其视为解耦基础设施与云基础设施,但这需要有自己的文章。
让我们来看看您何时需要使用每个图层/类别:
交互+数据源:这主要用于前端、钱包和数据摄取到较低层。客户端:虽然以太坊的底层实现是相同的,但每个客户端都有不同的额外功能。例如,Erigon针对数据存储/同步进行了大量优化,Quorum支持启动隐私链。
节点即服务:您无法选择它们运行的客户端,但使用这些服务将为您省去自己维护节点和API正常运行时间的麻烦。节点有很多复杂性,具体取决于您要捕获多少数据。
查询+数据映射:该层中的数据要么在合约中作为URI引用,要么来自使用合约ABI将交易数据从字节映射到表模式。合约ABI告诉我们合约中包含哪些功能和事件,否则我们只能看到已部署的字节码。交易数据:这些是最常用的,主要用于仪表板和报告。theGraph和FlipsideAPI也用于前端。有些表是合约的1:1映射,有些表允许在模式中进行额外的转换。
元数据“协议”:这些不是真正的数据产品,但存在用于存储DID或文件存储。大多数NFT将使用其中的一个或多个,我认为今年我们将开始越来越多地使用这些数据源来增强我们的查询功能。
专业提供商:其中一些是非常强大的数据流产品,用于内存池数据的Blocknative和用于链上交易数据的Parsec。其他人聚合链上和链下数据,例如DAO治理或财务数据。
高频数据提供者:您无法查询/转换他们的数据,但他们已经为您完成了所有繁重的工作。“企业”服务:如果您是VC、调查员或记者,您会经常使用这些服务。您可以使用Nansen的钱包分析器或Chainanalysis的KYT深入了解钱包和钱包关系。或者使用Tolken终端在大量项目/链上获得漂亮的开箱即用图表。
增强的那些API:这些产品将许多查询捆绑到一个中,例如ERC20代币的所有代币余额或为给定地址提取合约ABI。
数据团队
不言而喻,您希望在这些社区中寻找可以雇用到您团队的人。让我们进一步分解重要的web3数据技能和经验,以便您真正知道自己在搜索什么。如果您想被录用,请将其视为您追求的技能和经验!
分析师至少应该是使用Etherscan的高手,并且知道如何阅读Dune仪表板。这可能需要1个月的时间才能慢慢升级,如果您真的预订并狂欢学习,则需要2周。
您还应该考虑更多背景信息,特别是关于时间分配和技能可转移性的内容。
在web3中,数据分析师大约30-40%的时间将用于跟上整个生态系统中的其他分析师和协议。请确保您没有窒息他们,否则,它将成为对每个人的长期损害。与更大的数据社区一起学习、贡献和构建是绝对必要的。
关于可转移性:技能和领域在这个领域都是高度可转移的。如果我使用不同的协议,那么加速时间可能会很短,因为链上数据的表模式都是相同的。如果有的话,我可能在加入之前就已经使用过该协议的数据了!
了解如何使用这些工具并不重要——每个分析师都应该或多或少地能够编写SQL或创建仪表板。这一切都是关于知道如何为社区做出贡献和与社区合作。
您可能对虚拟世界持怀疑态度,但数十亿美元正涌入这个虚拟世界,而美国最大的银行摩根大通也加入了这一行列。该银行的一个专门部门在一份报告中阐明了潜力。很明显,摩根大通看好元宇宙。他们并不孤单.
10-15年前的「新理想主义运动」场景与今天的一个很大区别在于,当时人们感觉可以同时加入所有好人团队。今天,这个世界有更多的对抗性思维和冲突.
加密寒冬是一个漫长的时期,其特点是加密货币价格持续普遍下跌,这也阻碍了对该行业的热情。所以寒冬来了吗?目前,加密行业正在面临着其年龄历史中最关键的时期之一.
目前5月已收线,可以看到BTC月线实体跌破颈线35000,那么这里将成为趋势压制区,月线在未重新有效突破前,建议逢高减仓,目前月线刚有效跌破,反弹后注意再次下探风险.
三家头部互联网大厂,13个数藏平台,各有特点。BAT的现有地位和优势,是否有利于其在数藏领域攻城掠地?数藏征途又将带给它们什么样的影响?当二级市场批量产生,它们能否保持一贯优势?开发数字藏品,正.
最新数据显示,“加密市场崩盘”词条正在全球范围内主导谷歌搜索趋势。此外,诸多链上数据指标也在发生变化,对相关数据的查询及分析能帮助市场投资者了解加密行情的新变化.