V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
BackBox
V2EX  ›  问与答

V2EX禁止抓取?

  •  
  •   BackBox · 2013-04-29 20:28:00 +08:00 · 3799 次点击
    这是一个创建于 4227 天前的主题,其中的信息可能已经有所发展或是发生改变。



    想抓取V2EX的酷工作。
    14 条回复    1970-01-01 08:00:00 +08:00
    dreamage
        1
    dreamage  
       2013-04-29 20:34:41 +08:00
    @ L 老板问问
    BackBox
        2
    BackBox  
    OP
       2013-04-29 20:35:07 +08:00
    yibin001
        3
    yibin001  
       2013-04-29 20:41:41 +08:00
    http头里加一个referer=v2ex.com应该就好了
    swulling
        4
    swulling  
       2013-04-29 20:49:40 +08:00
    抓取是禁不了的
    orzfly
        5
    orzfly  
       2013-04-29 22:05:07 +08:00
    同,ucweb(塞班)访问也是400。
    (别pia我说换手机或者不用uc,你若真用塞班还是会觉得uc很有必要的)
    hzlzh
        6
    hzlzh  
       2013-04-29 22:15:19 +08:00
    不用抓,api现成的,try:
    http://v2ex.com/api/topics/show.json?node_id=43
    wuyamoyun
        7
    wuyamoyun  
       2013-04-29 22:19:10 +08:00
    塞班可以用opera正常
    jacy
        8
    jacy  
       2013-04-29 22:33:54 +08:00
    模拟成一个正常的浏览器试试,加上rederer,cookie之类的。
    iloahz
        9
    iloahz  
       2013-04-29 23:13:48 +08:00
    借楼抱个不知道是特性还是bug的东西:在wp系统的uc浏览器中,后退键的结果是乱的。比如我访问首页->某主题,然后后退,有时就知道退到uc的首页了,也就是跳过了v2ex的首页
    @Livid
    GordianZ
        10
    GordianZ  
    MOD
       2013-04-29 23:18:08 +08:00
    没有 user agent 的全部返回 400.
    mikuazusa
        11
    mikuazusa  
       2013-04-29 23:56:40 +08:00
    @GordianZ @BackBox 貌似听L说是V2EX的防DDos逻辑里加了对HTTP Request Header的检测...可以试试伪造一个完整的Header去抓,另外即使有UA貌似不符合规则的貌似也一样400
    workaholic
        12
    workaholic  
       2013-04-30 10:53:05 +08:00   ❤️ 1
    部分节点需要登录,肯定可以抓的
    BackBox
        13
    BackBox  
    OP
       2013-04-30 20:05:04 +08:00
    @mikuazusa 有理!!
    居然为了防DDOS加了HTTP Request header验证,

    但是iptables不能对http request header验证。
    到了应用服务器验证,也就没有多大效果了。。毕竟也阻塞了。
    yeshang
        14
    yeshang  
       2013-04-30 20:49:15 +08:00
    明显 @Livid 不理你
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   910 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 20:11 · PVG 04:11 · LAX 12:11 · JFK 15:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.