這是一個控制機器人類搜尋引擎抓取行為的文件。透過將該文件放置在與網域根目錄相同的層級，搜尋引擎會先抓取 robots.txt 文件，並以此來決定如何抓取網域內的頁面。

返回詞彙表列表