V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
996bujiaban
V2EX  ›  Python

求解,爬虫遇到这种五秒盾要怎么过

  •  
  •   996bujiaban · 2022-05-05 23:11:34 +08:00 · 6631 次点击
    这是一个创建于 929 天前的主题,其中的信息可能已经有所发展或是发生改变。

    url=https://faucet.evmos.dev/

    在进去的时候会有 5 秒盾出现,搜了很久用 cloudscraper

    import cloudscraper
    url=https://faucet.evmos.dev/
    scraper = cloudscraper.create_scraper()
    response = scraper.get(url)
    print(response.text)
    # 保存返回源码
    with open('faucet.evmos.dev.html','w',encoding='utf-8') as f:
        f.write(response.text)
    
    第 1 条附言  ·  2022-05-29 02:40:49 +08:00
    2022 年 5 月 29 日 02:36:42
    结个贴,试了用 selenium ,但还是不行
    后面换个法子
    两个法子:
    A:
    切一个代理
    开一个正常浏览器,过五 s
    代理传 cookie
    用 cookie 操作
    B:
    开一个正常浏览器,过 5s
    用图色,句柄,键鼠方式操作
    10 条回复    2022-05-23 20:23:51 +08:00
    learningman
        1
    learningman  
       2022-05-06 02:14:21 +08:00 via Android
    cf 的 5 秒盾人家就是知道怎么过也不可能搁这告诉你,写出来明天就寄了
    crab
        2
    crab  
       2022-05-06 04:32:14 +08:00
    搜索下:_cf_chl_opt
    moult
        3
    moult  
       2022-05-06 04:37:15 +08:00 via iPhone
    放弃吧,这东西防的就是你。轻易能绕过这东西还有啥存在的意义。
    xieqiqiang00
        4
    xieqiqiang00  
       2022-05-06 05:11:28 +08:00 via Android
    。。用 electron 写爬虫吧
    freakxx
        5
    freakxx  
       2022-05-06 05:18:11 +08:00   ❤️ 1
    不考虑抠脚和优雅的问题,其实挺简单的,哈哈哈。

    但就像一楼说的,不能说。


    不过最近测试网有啥玩意刷,上上周跑 evmoswap 倒是跑了
    zeusho871
        6
    zeusho871  
       2022-05-06 07:55:34 +08:00 via Android
    这种情况用 selenium 改环境多开吧
    gdfsjunjun
        7
    gdfsjunjun  
       2022-05-06 11:33:55 +08:00
    使用 webdriver 库控制浏览器不就好了,虽然效率是低了点,但万能
    Kasumi20
        8
    Kasumi20  
       2022-05-06 14:26:45 +08:00
    sleep 5
    jabari
        9
    jabari  
       2022-05-06 16:16:38 +08:00
    FlareSolverr
    wapptm
        10
    wapptm  
       2022-05-23 20:23:51 +08:00
    用 selenium 吧 省心
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3309 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 11:27 · PVG 19:27 · LAX 03:27 · JFK 06:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.