V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
xianyusea
V2EX  ›  Python

大佬们,爬东方财富的股吧被屏蔽 ip 了(已经设置为 1 秒爬一次了)

  •  
  •   xianyusea · 2020-12-22 17:35:24 +08:00 · 2687 次点击
    这是一个创建于 1432 天前的主题,其中的信息可能已经有所发展或是发生改变。
    自己写的小脚本,想爬一下东方财富的股吧,体量不大,股票池就 200 个左右。
    现在每隔 1 秒 sleep 一下,在爬完第 100 个的时候,还是被封 ip 了(无论什么股票的吧都进不出,返一个股吧的主页给我)
    大佬们知道东方财富股吧反爬虫的频率阈值吗?一分钟最多访问几次?
    谢谢谢谢!
    4 条回复    2023-09-20 09:45:57 +08:00
    newbieRenew
        1
    newbieRenew  
       2020-12-22 19:04:43 +08:00 via iPhone
    爬股吧有啥营养?大佬基本不会发言,发言的大都是新鲜韭菜
    ml1344677
        2
    ml1344677  
       2020-12-24 14:09:46 +08:00
    虽然你的逻辑是对的(猜测对方反爬机制 但是按你描述,明显是换个 ip 能解决的事情,而且花费资源不会很多。或者可以考虑某些代理网站的动态转发,一劳永逸解决问题。
    leetao102
        3
    leetao102  
       2020-12-28 00:58:03 +08:00
    代理池了解一下.
    lelele1212
        4
    lelele1212  
       2023-09-20 09:45:57 +08:00
    请问您解决这个问题了吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2673 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 11:46 · PVG 19:46 · LAX 03:46 · JFK 06:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.