Robots.txt

[sunwoo0706]

Robots.txt

create-react-app의 public 디렉토리 안을 확인해보면 Robots.txt가 있는것을 알 수 있다.
이 파일의 용도는 검색엔진봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 여부를 명시해주기 위함이다. 항상 웹사이트의 루트 디렉토리에 위치해야 한다.

간혹 특정 목적을 위하여 개발된 웹 스크래퍼 또는 일부 불완전한 검색엔진봇은 Robots.txt의 규칙을 준수하지 않을 수 있다. 그러므로 Robots.txt 에 보안적으로 의존해서는 안된다.

기본적인 규칙

Robots.txt 파일에 작성된 규칙은 같은 호스트, 프로토콜 및 포트 번호 하위의 페이지에 대해서만 적용된다.
http://www.example.com/robots.txt 의 내용은 http://example.com/ 와 https://example.com/ 에는 적용되지 않는다는 말이다.

User-agent 속성은 규칙을 설정할 사용자 에이전트를 적는 용도이다. 모든 사용자 에이전트에 적용시키기 위해선 애스터리스크를 작성해주면 된다.
Allow 속성은 사용자에이전트에게 수집을 허용하고 싶은 페이지를 설정할 수 있고, Disallow 속성은 허용하고 싶지 않은 페이지를 설정할 수 있다.
위 두 속성의 값으로 /asdf*를 작성하면 /asdf 로 시작하는 모든 페이지들 (ex : /asdfqwer, asdf-asdf)를 해당시킬 수 있다. 루트페이지를 타게팅 하고 싶다면 /$를 사용하면된다.