로봇 메타 태그 란 무엇입니까

로봇 메타 지시문

로봇 메타 태그 란 무엇입니까?

로봇 메타 지시문 ( '메타 태그'라고도 함)은 웹 페이지 콘텐츠를 크롤링하거나 색인을 생성하는 방법에 대한 크롤러 지침을 제공하는 코드 조각입니다. robots.txt 파일 명령어는 웹 사이트 페이지를 크롤링하는 방법에 대한 봇 제안을 제공 하는 반면 ,로봇 메타 명령어는 페이지 콘텐츠를 크롤링하고 색인을 생성하는 방법에 대한보다 확실한 지침을 제공합니다.

로봇 메타 지시문에는 두 가지 유형이 있습니다. HTML 페이지의 일부인 것 (예 : meta robots 태그 )과 웹 서버가 HTTP 헤더로 보내는 것 (예 : x-robots-tag )입니다. 메타 로봇과 x-robots-tag 모두에 동일한 매개 변수 (즉, 메타 태그가 제공하는 크롤링 또는 색인 생성 지침 (예 : 위의 예에서 "noindex"및 "nofollow"))를 사용할 수 있습니다 . 차이점은 이러한 매개 변수가 크롤러에 전달되는 방식입니다.


메타 명령어는 크롤러가 특정 웹 페이지에서 찾은 정보를 크롤링하고 색인을 생성하는 방법에 대한 지침을 제공합니다. 이러한 지시문이 봇에 의해 발견되면 해당 매개 변수는 크롤러 색인화 동작에 대한 강력한 제안으로 사용됩니다. 그러나 robots.txt의 파일 처럼, 크롤러는하지 않습니다 이 는 어떤 악의적 인 웹 로봇이 당신의 지시를 무시하는 안전 내기, 그래서 당신의 메타 지침을 따르십시오.

다음은 검색 엔진 크롤러가 로봇 메타 지시문에서 사용될 때 이해하고 따르는 매개 변수입니다. 매개 변수는 대소 문자를 구분하지 않지만 일부 검색 엔진은 이러한 매개 변수의 하위 집합 만 따르거나 일부 지시문을 약간 다르게 처리 할 수 있습니다.

색인화 제어 매개 변수

  • Noindex : 페이지의 색인을 생성하지 않도록 검색 엔진에 지시합니다.
  • Index : 페이지를 색인화하도록 검색 엔진에 지시합니다. 이 메타 태그를 추가 할 필요는 없습니다. 기본값입니다.
  • Follow : 페이지의 색인이 생성되지 않은 경우에도 크롤러는 페이지의 모든 링크를 따라 가며 연결된 페이지에 자산 을 전달해야 합니다.
  • Nofollow : 페이지의 링크를 따르거나 링크 자산을 전달하지 않도록 크롤러에게 지시합니다.
  • Noimageindex : 크롤러에게 페이지의 이미지를 색인화하지 않도록 지시합니다.
  • None : noindex 및 nofollow 태그를 동시에 사용하는 것과 같습니다.
  • Noarchive : 검색 엔진은 SERP에서이 페이지에 대한 캐시 된 링크를 표시해서는 안됩니다.
  • Nocache : noarchive와 동일하지만 Internet Explorer 및 Firefox에서만 사용됩니다.
  • Nosnippet : SERP에서이 페이지의 스 니펫 (예 : 메타 설명)을 표시하지 않도록 검색 엔진에 지시합니다.
  • Noodyp / noydir [OBSOLETE] : 검색 엔진이 페이지의 DMOZ 설명을이 페이지의 SERP 스 니펫으로 사용하지 못하도록 합니다. 그러나 DMOZ는 2017 년 초에 사용이 중지되어이 태그가 더 이상 사용되지 않습니다.
  • Unavailable_after : 특정 날짜 이후에는 검색 엔진이 더 이상이 페이지를 색인화하지 않아야합니다.

로봇 메타 지시문의 유형

로봇 메타 지시문에는 메타 로봇 태그 와 x-robots-tag의 두 가지 주요 유형이 있습니다. A의 사용할 수있는 모든 매개 변수 메타 로봇 태그 도 지정할 수 있습니다 X - 로봇 - 태그입니다.

아래에서 메타 로봇과 x-robots 태그 지시문에 대해 설명하겠습니다.

메타 로봇 태그

일반적으로 '메타 로봇'또는 구어체로 '로봇 태그'로 알려진 메타 로봇 태그는 웹 페이지 HTML 코드의 일부이며 웹 페이지 <head>섹션 내에서 코드 요소로 표시됩니다 .

일반 <meta name="robots" content="[PARAMETER]">태그는 표준이지만 '로봇'을 특정 사용자 에이전트의 이름으로 대체하여 특정 크롤러에 명령어를 제공 할 수도 있습니다. 예를 들어 Googlebot을 구체적으로 대상으로 지정하려면 다음 코드를 사용합니다.

<meta name = "googlebot"content = "[DIRECTIVE]">

한 페이지에 둘 이상의 지시문을 사용하고 싶으십니까? 동일한 "로봇"(사용자-에이전트)을 대상으로하는 한 여러 지시문을 하나의 메타 지시문에 포함 할 수 있습니다. 쉼표로 구분하면됩니다. 예를 들면 다음과 같습니다.

<meta name = "robots"content = "noimageindex, nofollow, nosnippet">

이 태그는 페이지에있는 이미지의 색인을 생성하지 않거나 링크를 따라 가거나 페이지가 SERP에 나타날 때 페이지 스 니펫을 표시하지 않도록 로봇에 지시합니다.

서로 다른 검색 사용자 에이전트에 대해 서로 다른 메타 로봇 태그 지시문을 사용하는 경우 각 봇에 대해 별도의 태그를 사용해야합니다.

X- 로봇 태그

메타 로봇 태그를 사용하면 페이지 수준에서 색인 생성 동작을 제어 할 수 있지만, x-robots-tag 는 페이지의 특정 요소뿐만 아니라 페이지 전체의 색인 생성을 제어하기 위해 HTTP 헤더의 일부로 포함될 수 있습니다. .

x-robots-tag를 사용하여 메타 로봇과 동일한 색인 생성 지시문을 모두 실행할 수 있지만 x-robots-tag 지시문은 메타 로봇 태그가 제공하지 않는 훨씬 더 많은 유연성과 기능을 제공합니다. 특히, x-robots는 정규 표현식 사용, 비 HTML 파일에 대한 크롤링 지시문 실행, 전역 수준에서 매개 변수 적용을 허용합니다.

x-robots-tag를 사용하려면 웹 사이트의 헤더 .php, .htaccess 또는 서버 액세스 파일에 대한 액세스 권한이 있어야합니다. 여기에서 매개 변수를 포함하여 특정 서버 구성의 x-robots-tag 마크 업을 추가합니다. 이 문서 에서는 이러한 세 가지 구성 중 하나를 사용하는 경우 x-robots-tag 마크 업이 어떻게 보이는지에 대한 몇 가지 훌륭한 예를 제공합니다.

다음은 x-robots-tag를 사용할 수있는 몇 가지 사용 사례입니다.

  • HTML로 작성되지 않은 콘텐츠 (예 : 플래시 또는 비디오)의 색인 생성 제어
  • 페이지의 특정 요소 (예 : 이미지 또는 동영상)의 색인 생성을 차단하지만 전체 페이지 자체는 차단하지 않습니다.
  • 페이지의 HTML (특히 <head> 섹션)에 액세스 할 수 없거나 사이트에서 변경할 수없는 전역 헤더를 사용하는 경우 색인 생성 제어
  • 페이지 색인 생성 여부에 규칙 추가 (예 : 사용자가 댓글을 20 회 이상 작성한 경우 프로필 페이지 색인 생성)

로봇 메타 지시문을 사용한 SEO 모범 사례

모든 메타 지시문 (로봇 또는 기타)은 URL이 크롤링 될 때 발견됩니다. 즉, robots.txt 파일이 URL의 크롤링을 허용하지 않으면 페이지의 모든 메타 지시문 (HTML 또는 HTTP 헤더)이 표시되지 않으며 사실상 무시됩니다.

대부분의 경우 'noindex, follow'매개 변수가있는 메타 로봇 태그 를 사용하면 robots.txt 파일이 허용하지 않는 대신 크롤링 또는 색인 생성을 제한 할 수 있습니다.

악의적 인 크롤러는 메타 지시문을 완전히 무시할 가능성이 높으므로이 프로토콜은 좋은 보안 메커니즘을 만들지 않습니다. 공개적으로 검색하지 않으려는 개인 정보가있는 경우 방문자가 기밀 페이지를 보지 못하도록 암호 보호와 같은보다 안전한 방법을 선택하십시오.

같은 페이지에서 메타 로봇과 x-robots-tag를 모두 사용할 필요는 없습니다. 그렇게하면 중복됩니다.

원문출처 : MOZ

Comment