V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
jasli2
V2EX  ›  分享创造

五号代理 -- 自己搭建的智能代理服务

  •  
  •   jasli2 · 2021-08-30 14:22:42 +08:00 · 3217 次点击
    这是一个创建于 1170 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因个人兴趣需要,经常要采集一些数据做分析,为了提高采集效率经常要用到代理。国内的 IP 代理池可用性不高,要自己请求 IP,处理重试,如果碰到需要 JS 渲染才能采集的数据,还得自己上 Headless 浏览器,不是很方便。

    国外 scrapingbee 和 scraperAPI 这种服务挺好,但是费用太高,访问国内网站速度也不快。于是干脆就自己参考 scrapingbee 搭建了智能代理服务:五号代理

    主要功能特点

    • 每次请求自动切换 IP
    • 每次动态切换 User-Agent
    • 自动重试
    • 支持 JS 渲染

    基本上可以直接绕过绝大部分的反爬策略。当然价格也比国外的服务便宜,注册就有免费额度,欢迎大家试用。

    有问题和意见可以直接或提工单反馈给我。再次感谢。

    10 条回复    2021-09-07 15:14:52 +08:00
    est
        1
    est  
       2021-08-30 14:27:22 +08:00   ❤️ 4
    感谢。已经把免费额度里的 ip 全部拉黑了。
    dapang1221
        2
    dapang1221  
       2021-08-30 14:46:35 +08:00
    看了下文档,不能自定义 header……
    yuanchao
        3
    yuanchao  
       2021-08-30 14:47:00 +08:00
    这些 ip 是自己的还是爬的
    jasli2
        4
    jasli2  
    OP
       2021-08-30 14:51:15 +08:00
    @dapang1221 header 直接透传的,直接设置就行。
    jasli2
        5
    jasli2  
    OP
       2021-08-30 14:52:04 +08:00
    @yuanchao 都是数据中心的,: )
    xiongbiao
        6
    xiongbiao  
       2021-08-31 01:59:18 +08:00
    不错,收藏了
    Echoldman
        7
    Echoldman  
       2021-09-01 12:12:44 +08:00
    adrianzhang
        8
    adrianzhang  
       2021-09-02 09:11:53 +08:00
    @est 哈哈哈笑死我了
    ragnaroks
        9
    ragnaroks  
       2021-09-04 19:32:05 +08:00
    都是数据中心的 ip,那不是一死就死一大片?我觉得还是和卫士管家那些找量比较靠谱
    iqoo
        10
    iqoo  
       2021-09-07 15:14:52 +08:00
    支持 JS 渲染?哪天来一个 1Day 就能把服务器黑了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5420 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 05:49 · PVG 13:49 · LAX 21:49 · JFK 00:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.