robots.txt 설정하기
작성자 정보
- 마스터 작성
- 작성일
본문
1.robots.txt란?
검색로봇이 사이트에 접근하여 웹페이지를 수집하는 것에 대한 허용 유무를 적어놓은 문서
robotx.txt는 항상 사이트의 루트 디렉토리에 위치해야 합니다.
ㄴ https://todaykeywords.kr/robotx.txt 로 접근이 가능해야 합니다.
또한 일반 텍스트 파일로 작성해야 합니다.
파일의 업로드는 FTP를 사용하여 업로드 하면됩니다.
2.robotx.txt 규칙
User-agent: : 검색엔진 종류 적는 곳User-agent: *
Allow: /
Allow : 허용하는 주소
Disallow : 허용하지 않는 주소
일반적으로는 위의 예제에 들어 있는 파일로만 구성해서 놔두시면 됩니다.
관련자료
-
첨부등록일 2024.01.01 15:49
-
이전
-
다음
댓글 0
등록된 댓글이 없습니다.