[크롤링] 사이트 검색 안되게 설정하기 (robots.txt)
robots.txt 란?robots.txt는 검색엔진 크롤러가 크롤링하며 정보를 수집해도 되는지, 해서는 안 되는 페이지가 무엇인지 알려주는 크롤러 이정표 역할을 한다. robots.txt를 적용 해야 하는 이유?1. 검색엔진 크롤러의 과도한 크롤링 및 요청으로 이한 과부하 방지2. 검색엔진에 노출되면 안되는 콘텐츠 제한 가능 직접 작성해보자~- 반드시 ROOT 디렉토리에 저장이 필요!- 크롤러가 인식해야 하므로 정해진 형식을 따라 작성해야 한다.- .txt 텍스트 확장자로 저장이 필요 # 아래 내용은 # 모든 크롤러가 directory01 폴더 내에 있는 모든 파일에 대해 크롤링을 제한하고# 모든 크롤러가 directory02 폴더 내에 있는 모든 파일에 대해 크롤링을 허용한다.User-agent:..
2023.06.13