如何彻底禁止百度收录一个网站？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 325 天前的主题，其中的信息可能已经有所发展或是发生改变。

设置了 robots.txt

User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
User-agent: *
Disallow: /

没用，照样收录。Nginx 中禁止了搜索引擎的 User-Agent：

  if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot")
 {
    return 404;
 }

两周过去了，没用，还是收录，此时所有其他搜索引擎都停止了收录。

甚至直接举报了网站，一直显示处理中，没有结果。

为什么百度像狗皮膏药一样恶心？到底怎么才能禁止百度收录网站？

user-agent

disallow

收录

sogou

7 条回复 • 2024-01-04 11:53:52 +08:00