V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zhaoolee
V2EX  ›  分享发现

写了一个 金句 的开源爬虫

  •  
  •   zhaoolee · 2020-06-07 12:27:03 +08:00 · 2615 次点击
    这是一个创建于 1629 天前的主题,其中的信息可能已经有所发展或是发生改变。

    每次打开一言网页,会自动刷出一句话,并注名出处

    作为一个重度收集爱好者,我写了一个爬虫,将所有句子展示到一张网页上,随时查看

    https://www.v2fy.com/yiyan_spider/yiyan.html

    https://www.v2fy.com/yiyan_spider/yiyan.html

    https://www.v2fy.com/yiyan_spider/yy.html

    https://www.v2fy.com/yiyan_spider/yy.html

    开源地址:

    https://github.com/zhaoolee/yiyan_spider

    详细说明:

    https://mp.weixin.qq.com/s/iBtdelKugQtfsHZyjOw0ig

    7 条回复    2020-06-09 10:06:50 +08:00
    constexpr
        1
    constexpr  
       2020-06-07 12:42:35 +08:00 via Android   ❤️ 1
    我要看毒金句
    zhaoolee
        2
    zhaoolee  
    OP
       2020-06-07 13:10:10 +08:00 via iPhone
    @constexpr 你这人有毒,哈哈
    ddup
        3
    ddup  
       2020-06-07 14:29:00 +08:00   ❤️ 1
    @constexpr #1 哈哈哈
    fgwmlhdkkkw
        4
    fgwmlhdkkkw  
       2020-06-07 15:03:13 +08:00 via Android   ❤️ 1
    这就是为什么爬虫要喝茶了。为什么要这么做呢?
    zhaoolee
        5
    zhaoolee  
    OP
       2020-06-08 07:09:52 +08:00
    @fgwmlhdkkkw 里面网友们提交的金句非常棒, 想看更多的金句,这个爬取速度非常慢,平均 8 秒钟才发起一次 GET 请求,不会对服务端造成什么负担
    wang247
        6
    wang247  
       2020-06-08 16:11:22 +08:00
    这里建议加个全文搜索呢亲
    zhaoolee
        7
    zhaoolee  
    OP
       2020-06-09 10:06:50 +08:00
    @wang247 使用这个地址 https://www.v2fy.com/yiyan_spider/yiyan.html , 然后 ctrl+f
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2159 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 00:48 · PVG 08:48 · LAX 16:48 · JFK 19:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.