从区块链同步数据到传统数据服务, 类似 mysql, hdfs, ....
1
rekulas 2022-04-01 18:41:04 +08:00
我帮你起了个名字,就叫区块链浏览器怎么样
|
3
0o0O0o0O0o 2022-04-01 19:30:16 +08:00 via iPhone
不了解商业化产品怎么做的,我猜一般也是利用区块链浏览器背后的 archive node 提供的 rpc ,也或者直接读取 node 的 kv 数据库,搞到传统数据库里来做数据分析吧?你的思路是这样吗?
|
4
lithiumii 2022-04-01 19:31:54 +08:00
Etherscan 那种背后应该是把区块链数据存数据库了吧
|
5
scalaer OP @0o0O0o0O0o 目前只想做一些 web3 工具的尝试。 不知道您有没有用过 mirror, 进入后发现光秃秃的页面, 没有推荐系统, 一下子很不适应。 所以用 web2 的思路去应用数据, 我觉得还是有一定的需要
|
6
kaichen 2022-04-01 21:41:48 +08:00 1
你可以看看著名分析数据服务商 nansen 早期实践的 https://github.com/blockchain-etl/ethereum-etl 最终可以导入到 sqldb https://github.com/blockchain-etl/ethereum-etl-postgres
最后你会发现存储也是个最费钱的事情,如果你做的数据颗粒度越细存储成本就越高,仅仅转账以太坊就需要 2T ,如果把各种业务结果结构化存下来不会少,再加上快照型数据那更是天量 如果你想分析各种各样的链,可以 github 上搜索各个链的浏览器实现,每个链都有差异,像 nansen 就做精以太坊系的 --- 这个事情实际上区块链相关服务商都会做自己做这个事情,我们厂是做钱包的,从 2016 年就在做这块,v2ex 区块链节点下右边有我们招聘广告,和 etherscan 是很早合作伙伴(他们处理这么多数据成本控制是件难事) |
8
beyondsoft 2022-04-02 12:33:37 +08:00
#6 以太坊转账就 2T 有点儿夸张了, 现在 eth full node 才 700G. 全归档节点才占用很大
就目前看链上获取 Internal Tx 是最困难的 # 3 区块链浏览器背后绝对不是简单的 web3 rpc, 举一个例子, 地址和 token 的关系,rpc 没有接口能获取,需要自己解析 transfer event 的关系索引出来 我觉得这块还是有需求的, 小团队想把链上数据转换成关系型数据, 自建成本太高了,要么只能用第三方的 api 来搞了 |
9
woshifyz 2022-04-02 18:31:32 +08:00
Dune Analytics 了解下
|