机器人文件

官方名称为“robots.txt”,它是一个文本文件,指示网络爬虫(机器人或机器人程序)限制对特定网页和目录的访问。

返回词汇表列表