로봇 형 검색 엔진의 크롤링을 제어하는 ​​파일입니다. 파일을 도메인 상단과 동일한 계층 구조에 놓으면 검색 엔진은 먼저 robots.txt를 크롤링하고 도메인의 페이지를 크롤링하는 방법을 결정합니다.

용어집 목록으로 돌아가기