php 或 jsp 站点,可通过 xxx.com/robots.txt 直接查看内容,这时候蜘蛛可以按规则来;
如果,像 django 、 flask 等,在 url 中没有定义,访问 xxx.com/robots.txt 就会返回 404 ,此时的 robots.txt 是否还有效?
若无效,是否要定义一个一个以 /robots.txt 结尾的 url 来使其生效?
有其他方法吗?
各位在做项目时是如何保护后台登陆地址的?(如防止搜索引擎收录)
Thanks EveryOne !
1
Delbert 2016-01-11 21:40:06 +08:00
在网站根路径下创建一个 robots.txt 文件就不会走框架路由了吧?
|
2
loading 2016-01-11 21:42:02 +08:00 via Android
后台登陆地址也要保护…你是多么不相信你的表单验证代码?
你可以每次都变化登陆地址… |
3
zakokun 2016-01-11 21:43:57 +08:00
最好的方法是直接写在框架里面咯. /robots.txt 指向一个方法,这个方法输出相关的内容
或者直接写在 nginx 的 http 配置里面 |
5
kn007 2016-01-11 21:45:13 +08:00
对于后台地址,比如 wordpress ,我是加简单验证。
利用 nginx 的 auth_basic_user_file 。 https://kn007.net/topics/wordpress-how-to-protect-the-wp-login-php-and-wp-cron-php/ 这种方式,基本上你 robots 不定义,搜索引擎也不会收录 |
6
le0rn0 OP |
7
popu111 2016-01-11 21:47:19 +08:00 via Android
后台地址每 7 天重新随机生成并 mail 我还有救么 XD
|
12
lhbc 2016-01-11 21:51:22 +08:00 via Android
|
14
des 2016-01-11 21:59:05 +08:00
robots.txt 你就不能弄个静态文件么?速度还快。
另外 robots.txt 是君子协议,不要把敏感地址放入 robots.txt 中,不要把敏感地址放入 robots.txt 中,不要把敏感地址放入 robots.txt 中。因为很重要,所以要说三遍 |
15
billlee 2016-01-11 22:13:25 +08:00
靠保密 url 来保护后台的都是刷流氓
|
17
v1024 2016-01-11 22:40:08 +08:00
你看各个框架的 demo 里几乎都会在路由里写 robots.txt 的,直接返回对应文件。
|
19
msg7086 2016-01-12 00:53:23 +08:00
靠隐藏地址来保护的做法叫做 Security through obscurity 。
https://en.wikipedia.org/wiki/Security_through_obscurity 通过让人找不到入口来达到安全性,而非设计一个安全的入口。 个人用用当然无所谓,就是小心别用在企业项目里就好了。 |