如何让网站robots.txt不泄露后台等安全隐私
发布时间：2021-11-28 12:38:23 所属栏目：教程 来源：互联网
导读：搞过网站的朋友都知道robots.txt文件是用来限制搜索引擎不乱抓取，只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取，那么robots文件需要这样写： User-agent: * Disallow: /admin/ 但是这样我们很容易发现了一个问题，如果有人要破解攻
|
搞过网站的朋友都知道robots.txt文件是用来限制搜索引擎不乱抓取，只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取，那么robots文件需要这样写： User-agent: * Disallow: /admin/ 但是这样我们很容易发现了一个问题，如果有人要破解攻击的话，很容易就知道了后台，一下子就清楚了网站的结构。 我们并不想这样！ 有没有办法让robots.txt既能限制搜索引擎，又不泄露后台地址和隐私目录呢？有！ 一、使用通配符（*）： User-agent: * Disallow: /a*/ 这样的写法，禁止所有的搜索引擎抓取根目录下a开头的目录。当您的后台是admok165的话，还有谁会看到呢？ 二、只写目录前几个字母，不写全： User-agent: * Disallow: /ad 这种的写法，是禁止所有的搜索引擎抓取根目录下ad开头的目录。 最后说明一下，以上这两种方法，需要网站目录没有相同字母开头的，例如ad目录，如果有两个一样的，那需在robots.txt文件里再加上一个字母区别开来。  （编辑：牡丹江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐