V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
loveuloveme
V2EX  ›  PHP

PHP 蜘蛛判断,这个函数应该蛮 OK 的,不会有浏览器被误判吧

  •  
  •   loveuloveme · 2020-11-17 11:58:44 +08:00 · 2415 次点击
    这是一个创建于 1467 天前的主题,其中的信息可能已经有所发展或是发生改变。
    function is_bot()
    {
        return isset($_SERVER['HTTP_USER_AGENT']) &&
                   preg_match('/bot|crawl|slurp|spider|mediapartners/i',  $_SERVER['HTTP_USER_AGENT']);
    }
    
    4 条回复    2020-11-17 12:09:34 +08:00
    maskerTUI
        1
    maskerTUI  
       2020-11-17 12:03:38 +08:00
    意义不大,ua 是可以伪造的,正常情况下爬虫都会伪装成浏览器。
    loveuloveme
        2
    loveuloveme  
    OP
       2020-11-17 12:05:44 +08:00
    @maskerTUI 不会有浏览器被误判就行了,伪造的不用管
    sadfQED2
        3
    sadfQED2  
       2020-11-17 12:06:22 +08:00 via Android
    意义不大+1

    你这个只能拦住正规爬虫,拦正规爬虫可以直接写 robot.txt
    westoy
        4
    westoy  
       2020-11-17 12:09:34 +08:00
    看你打算干什么了

    几大搜索引擎都会用非标识的 IP 段和 UA 检测网站, 判断爬虫 UA 针对性吐数据 SEO 可能会被降权的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2716 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 04:14 · PVG 12:14 · LAX 20:14 · JFK 23:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.