辰迅云知识库

标签:Robots

Robots协议具体解释

1223
2023/10/9 9:38:37

Robots协议是一种网站协议,也称为robots.txt文件,用于告诉网络搜索引擎哪些页面可以被抓取和索引,以及哪些页面不应被抓取。它是一个文本文件,位于网站的根目录下,可以通过URL路径“/rob......