V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
ifake
V2EX  ›  问与答

网站 robots

  •  
  •   ifake · 2016-03-09 21:29:35 +08:00 · 1508 次点击
    这是一个创建于 3181 天前的主题,其中的信息可能已经有所发展或是发生改变。

    为禁止搜索引擎爬虫,之前写了个 robots.txt 文件放在网站根目录下

    记得以前用站长工具测下来, robots.txt 怎么写的,那么测出来的就是相应内容

    然而小于等于 1 个月前,开始发现测出来的 robots.txt 内容,不再是自己写的内容

    前几天干脆删了 robots 文件,然后今天经工具测试,说是 robots.txt 依旧有效

    顿时我莫名了……

    异想天开的问题是: robots.txt 这文件,记得必须是上传在网站根目录下的?

    既然我没加,别人应该不可能通过其他方式“替我”设置了 robots.txt 这玩意儿吧?

    4 条回复    2016-03-09 22:20:52 +08:00
    Sn0wM4n
        1
    Sn0wM4n  
       2016-03-09 21:33:28 +08:00
    .htaccess 文件呢?
    ifake
        2
    ifake  
    OP
       2016-03-09 21:35:32 +08:00
    @Sn0wM4n .htaccess 从一开始就没有动过,这次问题出来后,也还是特地去看了下,内容就还是原来默认的。
    jugelizi
        3
    jugelizi  
       2016-03-09 21:57:01 +08:00
    pi1ot
        4
    pi1ot  
       2016-03-09 22:20:52 +08:00
    可能是你使用的测试工具自己的问题
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1545 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 17:16 · PVG 01:16 · LAX 09:16 · JFK 12:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.