V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
yangguang31466
V2EX  ›  问与答

用 python 爬取 什么值得买网站 返回 403,爬其他网站的时候返回 200,这个是怎么回事?

  •  
  •   yangguang31466 · 2015-04-20 17:28:52 +08:00 · 4135 次点击
    这是一个创建于 3500 天前的主题,其中的信息可能已经有所发展或是发生改变。

    代码请求头里面加了user-agent,请求其他网站没有问题!

    9 条回复    2015-04-27 16:49:52 +08:00
    yangguang31466
        1
    yangguang31466  
    OP
       2015-04-20 17:52:54 +08:00
    被服务器拒绝了,怎么才能解决这个问题?
    NewYear
        2
    NewYear  
       2015-04-20 18:04:49 +08:00
    这个站长好像也是V2的人……
    Tink
        3
    Tink  
       2015-04-20 18:08:05 +08:00 via iPhone
    从rss试试
    learnshare
        4
    learnshare  
       2015-04-20 18:10:34 +08:00
    防爬虫做的不错
    wibile
        5
    wibile  
       2015-04-20 19:07:30 +08:00
    可以啊,试了试没问题的,加上cookie就行了。另外好像都是奇数的帖子,如667459,667409,667387
    jas0ndyq
        6
    jas0ndyq  
       2015-04-20 19:27:37 +08:00 via iPhone
    没伪装成浏览器?
    binux
        7
    binux  
       2015-04-20 19:33:37 +08:00
    现在张大妈的反爬虫做得不错,用了一个和 IP 相关的,需要执行 JS 生成的 cookie 来验证。
    kchum
        8
    kchum  
       2015-04-20 20:16:59 +08:00 via iPhone
    Selenium.
    yangguang31466
        9
    yangguang31466  
    OP
       2015-04-27 16:49:52 +08:00
    加上cookie后就可以了!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3008 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:46 · PVG 22:46 · LAX 06:46 · JFK 09:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.