跳到主要内容

1 篇博文 含有标签「Tools」

查看所有标签

· 阅读需 4 分钟

如果不想 Google 爬虫抓取某个页面，可以考虑添加 robots.txt 文件进行选择性屏蔽。

robots.txt 文件位于您网站的根目录下，用于表明您不希望搜索引擎抓取工具访问您网站上的哪些内容。--- Google