機器人文件

官方名稱為“robots.txt”,它是一個文字文件,指示網路爬蟲(機器人或機器人程式)限制對特定網頁和目錄的存取。

返回詞彙表列表