ロボットファイル

公式には「robots.txt」と呼ばれ、ウェブクローラー(ロボットやボット)に対して特定のウェブページやディレクトリへのアクセス制御を指示するためのテキストファイルのことです。

用語集一覧へ戻る