推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
诸位爬虫工程师使用什么平台/系统/开源项目来监控、维护和管理爬虫？
Nick2VIPUser · nickliqian · 2018 年 4 月 4 日 · 6529 次点击这是一个创建于 2847 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司爬虫刚起步，想找一个工具用来管理和维护未来写的爬虫，在此请教一下大家顺便多学一点东西。
平时写爬虫 requests 和 scrapy 都有用过。
 |
1
samding123 2018 年 4 月 4 日
spiderkeeper
|
|
2
samding123 2018 年 4 月 4 日
|
 |
3
Nick2VIPUser OP @samding123 昨天用过大神的项目，界面和功能特别棒！
但我把 egg 文件上传上去后，spider 就是显示不出来，然后暂时放下了-_- |
 |
4
beforeuwait 2018 年 4 月 4 日
我也困惑
|
 |
5
shuizhengqi 2018 年 4 月 4 日
pyspider 吧
|
 |
6
farverfull 2018 年 4 月 4 日
OpsPlatform
|
 |
7
Cryse 2018 年 4 月 4 日
同样的疑惑，目前在用 scrapyd 和 spiderkeeper, 但是感觉 scrapyd 不太好用.
|
 |
8
bazingaterry 2018 年 4 月 4 日 via iPhone
我以前团队是自己写的，糅合 pyspider 和 scrapy
|
 |
9
qsnow6 2018 年 4 月 4 日
spiderkeeper
|
 |
10
qwertty01 2018 年 4 月 5 日
上架市场吧，用不了
|
|
11
qwertty01 2018 年 4 月 5 日
Sorry，回复错了 0.0
|
|
12
Nick2VIPUser OP @shuizhengqi 打算过段时间再学 pyspider -_-
@farverfull 您说的这个 OpsPlatform 搜不到额... @bazingaterry 实在不行就打算自己写个轻量一点的爬虫平台，慢慢加功能 @qsnow6 我用 spiderkeeper 有点 bug 还没有解决 /哭 @beforeuwait 哈哈，那咱是同道中人 @Cryse scrapyd 没有 UI，但是可以自己写界面然后调用 scrapyd 文档提供的 API |
 |
13
my8100 2018 年 10 月 25 日
scrapydweb：实现 Scrapyd 集群管理，Scrapy 日志分析和可视化 https://github.com/my8100/scrapydweb
|
 |
15
tikazyq 2020 年 1 月 10 日
可以试试 Crawlab，非常灵活的分布式通用爬虫管理平台，支持任何框架和语言，当然包括 scrapy、selenium、puppeteer 等等
https://github.com/crawlab-team/crawlab |
Select Language