免责声明：内容仅供学习参考，请合法利用知识，禁止进行违法犯罪活动！

内容参考于： 易锦网校会员专享课

上一个内容：54.WEB渗透测试-信息收集- 端口、目录扫描、源码泄露（2）

这个robots.txt是君子协议

关于爬虫的君子协议：

告诉网站爬虫，不允许爬取我的这些目录

访问这些目录尝试

admin.php/

报错404，不允许访问

有些运营开发，会在君子协议里面混淆视听，就是本来没有这个目录，有可能会把这个目录写进去

---

---