注意:适当撸妹益脑,过度撸妹伤身。请在遵守当地法律法规的前提下使用。煎蛋网资源有限,请适当使用。
原来的帖子 t/383493 由于本人的操作失误被放入无要点,已提交管理删除
GirlCrawler 是一个简洁、高效的煎蛋妹子图爬虫。它基于高效、异步的 Node.js 。具有以下特性:
安装方法:npm install girlcrawler -g
注意 -g
Github repo: Ericlong233/girlcrawler
npm repo: girlcrawler
1
a570295535 2017-08-18 08:00:58 +08:00
除了新手练练手玩玩,爬这些毫无撸点的图有个卵用啊
|
2
whileFalse 2017-08-18 08:39:02 +08:00
Running crawler with arguments: thread=64, filter="oo > xx"
** F I N I S H E D ! ** 为啥目录下啥也没有呢。 |
3
ericlong233 OP @whileFalse 截个图发到 issues 里如何?我来处理
|
4
ericlong233 OP @a570295535 有撸点的可以去 tumblr 和 pornhub
|
5
silencefent 2017-08-18 13:49:51 +08:00
请不要在煎蛋使用爬虫
|
6
ericlong233 OP @silencefent 照你这样说,所有的搜索引擎都找不到煎蛋,所有的第三方(以及可能的第一方)客户端都不能使用。
图片是微博的,爬虫不会执行 JS,也就是说,爬虫只会爬取页面的源码和微博的图片,不会爬其他的东西。一页煎蛋妹子图的源码大约 80~100KB。 我现在能做的是,尽量把爬虫对煎蛋的影响降到最低,这点可以从我的源码里看出来。 |
7
ericlong233 OP @silencefent btw,如果 sein 他们再次放出捐赠链接的话,我会考虑捐赠。
|
8
Trim21 2017-08-19 00:24:24 +08:00 via iPad
看了下 robots.txt /ooxx 是可以爬的吧
|