这是一个创建于 138 天前的主题，其中的信息可能已经有所发展或是发生改变。
类似于这种网站，明显是把所有数据都爬了下来
如果只是普通的爬虫的话，上千万个页面岂不是要爬到死？ 还是说他们是 N 台机器一起爬？
我从没碰过爬虫，所以想在这里问一问，知道 V 站大神多，谢谢各位啦
4 条回复 • 2024-06-25 10:59:20 +08:00
 |
1
EsWann 137 天前  1
都是集群爬虫啊
|
 |
2
gaobh 137 天前 via iPhone 1
无头浏览器，虚拟机等等
|
 |
3
justfun 137 天前
爬虫会涉及到法律问题 听别人说是买的官方数据
|
 |
4
JustZzer 137 天前
爬虫做的，相对购买数据爬虫成本低，除了榜单和热销数据，其他的适当控制请求量级即可
|
Select Language