V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
starvedcat
V2EX  ›  编程

Selenium 疑似被目标网站屏蔽了

  •  
  •   starvedcat · 2018 年 5 月 30 日 · 3991 次点击
    这是一个创建于 2798 天前的主题,其中的信息可能已经有所发展或是发生改变。

    很久前用 Selenium 写了个爬虫,随便写着玩的,一直正常运行,今天突然不行了。现象是用 Selenium 去爬,直接给我返回空白页面:

    <html xmlns="http://www.w3.org/1999/xhtml"><head></head><body></body></html>
    

    调用 FirefoxDriver 和 ChromeDriver 均是此现象

    但是我如果直接用浏览器访问,使用 Firefox 和 Chrome 均可正常访问网站内容

    刚上网查了下,说 Selenium 并不支持修改 request header。那么这种情况应该如何应对呢?

    5 条回复    2018-06-13 15:24:45 +08:00
    colincat
        1
    colincat  
       2018 年 5 月 30 日
    UA 头可以改吧,再说你用 chromeDriver 应该就是调用浏览器去渲染啊
    starvedcat
        2
    starvedcat  
    OP
       2018 年 5 月 31 日
    @colincat #1 对,就是调用了浏览器,然后只出现空白页面;但是如果我自己用 Chrome 访问就正常
    colincat
        3
    colincat  
       2018 年 6 月 7 日   ❤️ 1
    @starvedcat https://www.zhihu.com/question/35547395 给你一个连接吧,参考
    eastrd
        4
    eastrd  
       2018 年 6 月 13 日
    也可以根据鼠标轨迹来判断是否是 Bot
    starvedcat
        5
    starvedcat  
    OP
       2018 年 6 月 13 日
    @eastrd #4 访问那个网址,直接就返回空白页面,所以跟鼠标轨迹没关系
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5706 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 06:29 · PVG 14:29 · LAX 22:29 · JFK 01:29
    ♥ Do have faith in what you're doing.