V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
workaholic
V2EX  ›  问与答

百度是怎样检测异常流量的?比如爬虫

  •  
  •   workaholic · 2013 年 3 月 11 日 · 3726 次点击
    这是一个创建于 4701 天前的主题,其中的信息可能已经有所发展或是发生改变。
    今天用服务器爬百度,只有几分钟,就被百度给屏蔽了...... 求大牛指导
    7 条回复    1970-01-01 08:00:00 +08:00
    wtser
        1
    wtser  
       2013 年 3 月 11 日
    爬虫也有名字的,在useragent中有显示,通过检测UA就可以知道你是爬虫,当然也可以检测你的行为特征
    scriptkids
        2
    scriptkids  
       2013 年 3 月 11 日
    频率..
    workaholic
        3
    workaholic  
    OP
       2013 年 3 月 11 日
    @scriptkids 恩,少量多次^_^
    workaholic
        4
    workaholic  
    OP
       2013 年 3 月 11 日
    @wtser 恩,useragent好解决,行为得谨慎一些
    yangruixuan
        5
    yangruixuan  
       2013 年 3 月 12 日
    频度控制
    tysx
        6
    tysx  
       2013 年 3 月 13 日
    同一个IP的并发连接数
    workaholic
        7
    workaholic  
    OP
       2013 年 3 月 13 日
    @tysx 我用的php,应该是单线程的。不过我发现流量低谷(比如凌晨)的时候比较松,其他时间就得少量多次了
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1004 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:12 · PVG 03:12 · LAX 11:12 · JFK 14:12
    ♥ Do have faith in what you're doing.