메타 로봇 태그는 아래와 같은 형식으로 작성합니다. 또한 <head></head>안에 위치하여야 합니다.
<meta name="robots" content="noindex, nofollow">
noindex 는 인덱스 거부, nofollow는 이 페이지에 있는 링크를 따라가지 말라는 의미.
noarchive는 캐싱, 즉 웹페이지를 저장하지 말라는 의미이다.
이와 반대로 index, follow, archive라고 적을 수도 있으며 조합하여 사용가능하다.
모든 검색엔진에 적용하려면
<meta name="robots" content="noindex"> <meta name="robots" content="nofollow"> <meta name="robots" content="noindex, nofollow"> <meta name="robots" content="noarchive">
구글봇이나 야후등 특정 엔진에만 적용하려면 meta name 부분에 robots 대신에
googlebot, slurp, msnbot으로 대체하면 된다. 검색엔진별로 다른 옵션이 존재 하기도 한다.
구글봇 예제
<meta name="googlebot" content="noindex"> <meta name="googlebot" content="nofollow"> <meta name="googlebot" content="noindex, nofollow"> <meta name="googlebot" content="noarchive"> <meta name="googlebot" content="nosnippet"> <meta name="googlebot" content="noodp">
Reference
Metadata Elements
Meta Robots Tag 101: Blocking Spiders, Cached Pages & More
Robot 메타태그의 활용과 예