V2EX › fushshanpupil 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2024 年 10 月 2 日

@xiang578 随便写了一版，比较粗糙

2024 年 1 月 23 日

@qicaisedeyun 不多，16 年到现在就 37 次

2019 年 11 月 20 日

上海电信，版本 78.0.3904.108 （正式版本）（ 64 位）
无法复现

2018 年 1 月 22 日

@swulling 最新调试结果，最后发现还是由于坑爹的 GIL+threading 库，导致我程序实际上是 IO 密集了，改用 multiprocessing 就跟爬的时候一样 70 个每秒了。

另外感谢各位，提供了很多其他思路，确实还有改进的地方。

2018 年 1 月 22 日

@swulling 对顺序没要求，每个网页都有个 id 的，用 id 选的，我参考下 sqlite blob

2018 年 1 月 22 日

@rrfeng 提取数据的逻辑随时可能变，不可能每次都再去请求的吧，肯定得保存下来

2018 年 1 月 22 日

@em70 怪不得，scrapy 的 cache 就是取 hash 后的前两位创建了一层目录

2018 年 1 月 22 日

@ovear 确实全扔一个文件夹下了。。