V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
ericlong233
V2EX  ›  分享创造

GirlCrawler - 简洁、高效的煎蛋妹子图

  •  1
     
  •   ericlong233 ·
    Ericlong233 · 2017-08-17 21:40:47 +08:00 · 3775 次点击
    这是一个创建于 2654 天前的主题,其中的信息可能已经有所发展或是发生改变。

    注意:适当撸妹益脑,过度撸妹伤身。请在遵守当地法律法规的前提下使用。煎蛋网资源有限,请适当使用。
    原来的帖子 t/383493 由于本人的操作失误被放入无要点,已提交管理删除

    GirlCrawler 是一个简洁、高效的煎蛋妹子图爬虫。它基于高效、异步的 Node.js 。具有以下特性:

    • 快速,由 Node.js 的异步 I/O 提供支持
    • 基于 OO/XX 的过滤器
    • 友好的 CLI 界面
    • 根据 MD5 自动过滤失效照片

    安装方法:npm install girlcrawler -g 注意 -g

    Github repo: Ericlong233/girlcrawler
    npm repo: girlcrawler

    a570295535
        1
    a570295535  
       2017-08-18 08:00:58 +08:00
    除了新手练练手玩玩,爬这些毫无撸点的图有个卵用啊
    whileFalse
        2
    whileFalse  
       2017-08-18 08:39:02 +08:00
    Running crawler with arguments: thread=64, filter="oo > xx"
    ** F I N I S H E D ! **

    为啥目录下啥也没有呢。
    ericlong233
        3
    ericlong233  
    OP
       2017-08-18 10:24:14 +08:00 via Android
    @whileFalse 截个图发到 issues 里如何?我来处理
    ericlong233
        4
    ericlong233  
    OP
       2017-08-18 10:25:25 +08:00 via Android
    @a570295535 有撸点的可以去 tumblr 和 pornhub
    silencefent
        5
    silencefent  
       2017-08-18 13:49:51 +08:00
    请不要在煎蛋使用爬虫
    ericlong233
        6
    ericlong233  
    OP
       2017-08-18 14:05:21 +08:00
    @silencefent 照你这样说,所有的搜索引擎都找不到煎蛋,所有的第三方(以及可能的第一方)客户端都不能使用。
    图片是微博的,爬虫不会执行 JS,也就是说,爬虫只会爬取页面的源码和微博的图片,不会爬其他的东西。一页煎蛋妹子图的源码大约 80~100KB。
    我现在能做的是,尽量把爬虫对煎蛋的影响降到最低,这点可以从我的源码里看出来。
    ericlong233
        7
    ericlong233  
    OP
       2017-08-18 14:07:25 +08:00
    @silencefent btw,如果 sein 他们再次放出捐赠链接的话,我会考虑捐赠。
    Trim21
        8
    Trim21  
       2017-08-19 00:24:24 +08:00 via iPad
    看了下 robots.txt /ooxx 是可以爬的吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1145 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 23:46 · PVG 07:46 · LAX 15:46 · JFK 18:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.