这是一个控制机器人类搜索引擎抓取行为的文件。通过将该文件放置在与域名根目录相同的层级，搜索引擎会首先抓取 robots.txt 文件，并以此来确定如何抓取域名内的页面。

返回词汇表列表