V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
wz497345846
V2EX  ›  问与答

求推荐一个用于爬虫,正向代理的软件

  •  
  •   wz497345846 · 2020-06-01 16:20:39 +08:00 · 2560 次点击
    这是一个创建于 1637 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在弄一个爬虫,一个 ip 不够,然后手下有几个配置低的服务器,想在服务器上装一个正向代理的软件。有没有什么好的推荐,看了有一个叫 Squid 的,配置给我整晕了,有没有更好的推荐。。

    19 条回复    2020-06-10 15:16:00 +08:00
    love
        1
    love  
       2020-06-01 16:36:14 +08:00   ❤️ 1
    gost
    zoharSoul
        2
    zoharSoul  
       2020-06-01 16:55:17 +08:00
    同求观察一下
    wz497345846
        3
    wz497345846  
    OP
       2020-06-01 20:02:44 +08:00
    @love 还有吗
    wz497345846
        4
    wz497345846  
    OP
       2020-06-01 20:12:16 +08:00
    @love 的确简便 感谢
    winnerczwx
        5
    winnerczwx  
       2020-06-01 20:44:21 +08:00 via iPhone
    商业代理 ip 不香吗,价格也很便宜
    Soar360
        6
    Soar360  
       2020-06-01 22:14:49 +08:00
    推荐商业代理吧。
    WildCat
        7
    WildCat  
       2020-06-01 22:19:45 +08:00
    wenerme
        8
    wenerme  
       2020-06-02 00:29:24 +08:00
    1. 先确定好用什么协议 - 一般代理协议不涉及鉴权 - 通过组网可以避免安全问题
    2. 确定怎么组网
    3. 怎么控制出口
    4. 需要那些功能
    5. 是否使用别人的服务

    privoxy 代理 - http
    haproxy 代理选择 - 负载实现 ip 轮训
    squid 缓存
    dante 代理 - socks
    tinc 组网
    wireguard 组网
    nordvpn 服务 - 提供 http/socks, 提供非常多 ip - 配合 privoxy 能够很好的实现 ip 选择

    更多参考
    https://github.com/wenerme/wener/tree/master/tricks/ops/network/private
    njshiyanhz
        9
    njshiyanhz  
       2020-06-02 11:09:34 +08:00
    如果能装 window,那就 CCProxy
    (ps:squid 配置不算复杂吧,我这里有 centos 最简单的安装记录,安装--设置开机启动--修改 6 行配置--启动,完事)
    wz497345846
        10
    wz497345846  
    OP
       2020-06-02 11:40:15 +08:00
    @winnerczwx 便宜吗?我怎么看的都挺贵的
    wz497345846
        11
    wz497345846  
    OP
       2020-06-02 11:40:31 +08:00
    @Soar360 能推荐几个吗
    wz497345846
        12
    wz497345846  
    OP
       2020-06-02 11:41:12 +08:00
    @wenerme 很有帮助,感谢
    wz497345846
        13
    wz497345846  
    OP
       2020-06-02 11:47:50 +08:00
    @njshiyanhz 是 linux 服务器,squid 配置搜出来很多都是老的很多参数都废弃了,自带的配置文件几千行晕了,哈哈
    tiiis
        14
    tiiis  
       2020-06-02 14:28:31 +08:00
    gost
    winnerczwx
        15
    winnerczwx  
       2020-06-02 14:37:34 +08:00 via iPhone
    @wz497345846 百度一搜一大把,我自己用的是小象代理
    gxlonline
        16
    gxlonline  
       2020-06-02 17:08:02 +08:00 via Android
    自己用的 酷鱼代理
    有很多种,http,私密,隧道
    lxk11153
        17
    lxk11153  
       2020-06-04 16:41:22 +08:00
    @WildCat #7 Python 3.6.8 确定 python3.6 -m pip install scylla 之后可运行吗?
    1. https://github.com/imWildCat/scylla/issues/116#issuecomment-638686368
    2. 执行几行,日志输出后就没动静了,然后 /api/v1/stats 就 scylla.database.ProxyIPDoesNotExist
    lxk11153
        18
    lxk11153  
       2020-06-04 16:42:17 +08:00
    fix #17
    2. 执行一会,日志输出那就没动静了,然后 /api/v1/stats 就 scylla.database.ProxyIPDoesNotExist
    wz497345846
        19
    wz497345846  
    OP
       2020-06-10 15:16:00 +08:00
    @winnerczwx
    @gxlonline 用买的 ss 连多个节点,凑合用了。。。。哈哈哈哈
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5614 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 08:15 · PVG 16:15 · LAX 00:15 · JFK 03:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.