python爬取区块链浏览器上的交易列表数据

2022年6月3日 端午节安康。

今天主要分享如何利用爬虫爬取区块链浏览器上的交易列表数据。

dune上没有bsc链上的转账明细数据表。Footprint Analytics上现有的bsc_transactions表transfer_type粒度不够。

python 3.7

数据存储：mysql 5.7

缓存：redis 6.2.6

开发工具：pycharm

（1）所有协议、合约、swap地址转账信息全爬不太实际，对存储要求比较高。所以针对需要分析的协议，专门去爬取对应智能合约转账是个不错的选择。

（2）区块链浏览器肯定是有反爬机制的。所以在代理选择上，要选择国外的代理。国内的代理都访问不到，具体原因你懂的。本文中不涉及代理部分，因为国外的代理厂家之前没有了解过。不过即使是上代理，对代码层面改动也比较小

英国监管机构FCA计划利用区块链技术加强其监管报告:9月23日消息，英国监管机构FCA计划利用区块链技术来加强其监管报告。据FCA称，基于区块链的数字监管报告计划旨在降低合规检查的成本，目前正在与英国央行合作进行。FCA负责人Nikhil Rathi指出，目前的监管报告预计每年要为5.8万家公司的2万条法规花费15亿至40亿英镑：“这就是为什么我们正在与英格兰银行合作开展数字监管报告计划（Digital Regulatory Reporting Initiative）。通过区块链和API技术与公司连接，并部署机器可读和可执行的法规，合规检查可以近乎实时地完成。”该机构还将利用区块链技术来监管那些被认为数据量更大的企业，并指出，随着数据需求的增加，企业可能会以造成不良用户结果的方式使用、营销或限制数据。（Finbold）[2021/9/23 17:01:36]

（3）采用了urllib同步请求 + 范围内随机时长程序休眠。减少了被风控的概率。但是也降低了爬虫的效率。

英国成立特别工作组研究“数字英镑”:4月20日消息，据国外媒体报道，当地时间周一，英国财政大臣苏纳克正式宣布与英国央行共同成立特别工作组，协作研究英国数字货币，旨在应对比特币等加密货币带来的挑战。（TechWeb）[2021/4/20 20:39:20]

后面再研究用scrapy或异步请求

同步：请求发送后，需要接受到返回的消息后，才进行下一次发送。异步：不需要等接收到返回的消息。

找到需要爬取合约的具体地址：

第一页

http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8第二页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2第三页

DeFi项目“南瓜Pumpkin”上线日期将改为9月13日:据官方消息，由IOST节点合伙人开发的“南瓜Pumpkin”项目发布公告表示，为加强安全审计，给用户提供更安全的资金保障，将推迟上线日期至9月13日。据悉，IOST技术团队目前正在对南瓜Pumpkin的合约进行初轮审计，并将由专业的安全审计团队进行二轮审计。“南瓜Pumpkin”是IOST诺亚基金投资的首个流动性挖矿DeFi项目，除技术支持、安全审计、社区支持、全球宣发支持外，IOST基金会将提供1300万IOST的首批头矿空投支持，更多细则将于9月13日上线时完整公布。[2020/9/11]

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3....

可以知道 p = ？就代表页数。

然后F12 点击“网络”，刷新界面，查看网络请求信息。

主要查看，网页上显示的数据，是哪个文件响应的。以什么方式响应的，请求方法是什么

如何验证呢，就是找一个txn_hash在响应的数据里面按ctrl + f去搜索，搜索到了说明肯定是这个文件返回的。

查看响应的数据，是html的格式。在python里面，处理html数据，个人常用的是xpath（当然，如果更擅长BeautifulSoup也可以）

在python里面安装相关的依赖

pip install lxml ‐i https://pypi.douban.com/simple同时在浏览器上安装xpath插件，它能更好的帮助我们获到网页中元素的位置

XPath Helper - Chrome 网上应用店 (google.com)

然后就可以通过插件去定位了，返回的结果是list

**注：**浏览器看到的网页都是浏览器帮我们渲染好的。存在在浏览器中能定位到数据，但是代码中取不到值的情况，这时候可以通过鼠标右键-查看网页源码，然后搜索实现

然后就是利用redis，对txn_hash去重，去重的原因是防止一条数据被爬到了多次

最后一个需要考虑的问题：交易是在增量了，也就是说，当前第二页的数据，很可能过会就到第三页去了。对此我的策略是不管页数的变动。一直往下爬。全量爬完了，再从第一页爬新增加的交易。直到遇到第一次全量爬取的txn_hash

最后就是存入到数据库了。这个没啥好说的。

以上就可以拿到转账列表中的txn_hash，后面还要写一个爬虫深入列表里面，通过txn_hash去爬取详情页面的信息。这个就下个文章再说，代码还没写完。

今天就写到这里。拜拜ヾ(?ω?`)o

来源：Bress

作者：撒酒狂歌

标签：LUNAOIN区块链TerraLunaDogeRichieRich Coin区块链工程专业学什么课程的terra币最高价格

区块链热门资讯