タイトルの <meta name=”robots” content=”noindex”> とは、メタタグの一つです。
メタ（META）タグとは・・・HTMLファイルに表記できるタグの一つで、Webページに関する情報を定義することができます。
Webページの情報とは、下記のような項目が挙げられます。
- 【ページ内容の要約（説明文）】：例・・・”このページは「メタタグ」について記載されたページです”
- 【ページ内容の要約（キーワード）】：例・・・”メタタグ”
- 【ページの著者】：例・・・”佐藤太郎”
- 【ページの著作権者】：例・・・”佐藤太郎”
など、まだまだ様々な項目がありますが、このようにWebページに関する情報を定義できるのが「METAタグ」になります。
で、先ほどの <meta name=”robots” content=”noindex”> ですが、この「METAタグ」は、検索エンジンのクローラーにクローリングさせないように設定することができます。
クローラーとは、Webサイト（ページ）間のリンクを辿っていき、辿りついたページ情報を自動的に取得（クローリング）していくプログラムになります。そして、取得したページ情報を検索エンジンの「データベース」に格納していきます。
下図のような検索結果は、この「データベース」を利用して表示しているのです。
※「クローラー」について、もっと詳しく知りたい方はこちらで詳細な仕組み等を解説しています→【クローラーとは？「Googlebot」にクローリングさせたい場合とさせたくない場合の対処法】
要は、検索エンジンにて、自分のサイト（又はページ）を表示させたくない場合に、<meta name=”robots” content=”noindex”> を利用するのです。
今回の記事では、この <meta name=”robots” content=”noindex”> の利用手順について。
また、同じようなクローラーのアクセス制御の「メタタグ」で、<meta name=”robots” content=”nofollow”> というメタタグがあるので、こちらの解説もしていきます。
以下、目次になります。
- クローラーにクローリングさせない方が良い状況とは
- <meta name=”robots” content=”noindex”> の利用手順
- <meta name=”robots” content=”nofollow”>について、利用用途と利用手順をまとめてみる
クローラーにクローリングさせない方が良い状況とは
上述している通り、<meta name=”robots” content=”noindex”> は、クローラーにクローリングさせたくない場合に利用します。
ですが、どのような時に「クローリング」させない方が良いのか、、、当章では、その状況をまとめてみました（以下）
- 限られた人にしか、公開したくないサイト（ページ）の場合
- なにかしらの理由で、同じコンテンツが複数ある場合に、「検索エンジン」に複数コンテンツ扱いされたくない場合（同じコンテンツが複数あって、検索エンジンから「コピーコンテンツ」と判断されたら、どれか一つが検索結果に表示される事になります（残りのコンテンツは検索結果に表示されません）
なので、メインのページをちゃんと検索結果に表示させたい場合などが当てはまります）
また、SEO的な視点でみると下記のようなページは「クローリング」させない方が良いでしょう。
- 検索エンジンにインデックスさせなくても良いページ
- 広告のリンク先ページ（さらに、広告ページに対するリンクには「rel=”nofollow”」をつけておくべき）
- ユーザー（訪問者）にとって、価値のないページ
クロールの頻度は、「SEO」と相関関係があります。
クロールされる頻度が多いほど、SEO的に検索エンジンからの評価が高くなる傾向にあるのです（その証拠となる記事→【バズ部：クローラーの巡回頻度とSEOとの相関関係】）
ここで重要なのは、クローラーが１回の訪問時にクローリングできる回数には、サイトによって上限が決められているのです（サイトのオーソリティが高ければ、クロール限度数は増える）
なので、上記に挙げたようなページで、不必要にクローリング回数を消費するのは、SEO的に不利といえるのです。
以上です。
次は、本題の<meta name=”robots” content=”noindex”> の利用手順になります。
「meta name=”robots” content=”noindex”」 の利用手順
<meta name=”robots” content=”noindex”> は、最初に述べたとおり、HTMLファイルに表記できるタグの一つなので、利用手順は非常に単純で、HTML内に、記述するだけです。
具体的にいえば、ヘッダタグの<head>内に、記述してやります（下記参考）
<meta name=”robots” content=”noindex”>
</head>
簡単ですよね。これで、このメタタグが設定されているファイルに対しては、クローリングがされなくなります。
「meta name=”robots” content=”nofollow”」について、利用用途と利用手順をまとめてみる
<meta name=”robots” content=”noindex”> について、ちょっとでも知識がある人は、おそらく <meta name=”robots” content=”nofollow”> についても知っているでしょう。
どちらも、クローリング制御のタグで、上述している通り<meta name=”robots” content=”noindex”> は、クローリングしてほしくない時に利用します。
そして、<meta name=”robots” content=”nofollow”> については、このメタタグが設定してあるファイルの全てのリンク先ページ（「aタグ」で指定したリンク先ページ）に対して、クローリングさせたくない時に利用します。
要は、クローラーの行き止まりページになるわけですね。
例えば、リンク先のページを「検索エンジン」にインデックスさせたくない場合や、
SEO的にいうと、各Webページに対して付与される「検索エンジンからの評価（ページランク）」を、他のページに与えたくない場合に利用します（「ページランク」は高ければ高いほど、SEO的には有利です。またページ内でリンク設定している場合、リンク先のページに対して（デフォルトで）ページランクが分散されてしまいます）
また、ファイル内の全てのリンクじゃなく、特定のリンクのみ、リンク先ページに対してクローリングさせたくない場合は、メタタグでなく「aタグ」を下記のように設定します。
上記のように、「aタグ」に「rel=”nofollow”」を設定すると、そのリンク先に対しては、クローリングされなくなります。
まとめ
今回の記事では、<meta name=”robots” content=”noindex”> と <meta name=”robots” content=”nofollow”> についての利用手順を解説してきました。
今回は、メタタグによって「クローラー」からのアクセス制限をする手順を解説してきましたが、「クローラー」からのアクセス制限をする方法はもう一つあります。
それは、「Robots.txt」での指定です。
「Robots.txt」とは・・・Webサイトのディレクトリorファイルへの「クローラー」のアクセスを制御するために使われるテキストファイルです。
例えば、「SEO」というディレクトリにあるファイルには、アクセスさせないとか、「seo.html」というファイルにはアクセスさせない。といった設定ができます。
もっと詳しい仕組みや、「Robots.txt」の作成手順に関してはこちらで解説しています→【robots.txtとは？「robots.txt」の書き方をまとめてみた】