クロール・インデックス

noindexとは?

ページを検索結果に表示しないよう指示するものです。meta robotsタグかX-Robots-Tag HTTPヘッダーで指定します。クローラーがページを読まないと確認できないため、robots.txtでブロックしたページには効きません。

noindexの設定方法

HTMLページでは、メタ情報を記述する<head>内に<meta name="robots" content="noindex">を記述します。PDFのようなHTML以外のファイルでは、サーバーのレスポンスヘッダーにX-Robots-Tag: noindexを追加します。特定の検索エンジンだけに適用したい場合は、name属性の値にgooglebotのようにクローラー名を指定します。

Googleがnoindexを確認するにはページを再度クロールする必要があるため、すでにインデックスされているページは反映されるまでに時間がかかります。急いで検索結果から隠したい場合は、Search Consoleの削除ツールで一時的に非表示にできます。

noindexを使うときの注意点

  • robots.txtで同時にブロックしません。クローラーがnoindexを読み込めなくなります。
  • canonicalタグと併用しません。1つのページで「正規URLは別のページ」と「インデックスしないで」を同時に伝えると、シグナルが矛盾します。
  • サイトリニューアル後、開発環境で設定したnoindexが本番のページに残っていないかを確認します。

サンクスページ、サイト内検索の結果、ログイン後の画面など、ユーザーには必要でも検索結果には不要なページがnoindexの主な対象です。Search Consoleのページのインデックス登録レポートでnoindexによって除外された項目を見て、意図したページにだけ適用されているかを確認します。

関連用語

クロール・インデックス

robots.txt

サイトのルートに置くテキストファイルで、クローラーにどのパスを収集してよいか(Allow)、いけないか(Disallow)を指示します。クロールを制御するだけでインデックスは防げないため、インデックスを防ぐにはnoindexを使います。

クロール・インデックス

インデックス

クローラーが収集したページを分析し、検索エンジンのデータベースに登録すること、またはそのデータベースです。インデックスされたページだけが検索結果に表示され、状態はSearch Consoleのページのインデックス登録レポートで確認します。

クロール・インデックス

canonicalタグ

<link rel="canonical">で、重複・類似ページのうち代表URLを検索エンジンに伝えるタグです。評価を代表URLに集め、重複インデックスを減らします。Googleは強いヒントとして扱いますが、必ず従うわけではありません。

クロール・インデックス

インデックス肥大化

検索上の価値が低いページ(パラメータ付きURL、中身のないタグページ、サイト内検索結果など)が大量にインデックスされた状態です。クロールバジェットを浪費しサイト全体の品質評価を下げうるため、noindexやページ整理で減らします。

マークアップ・サイト構造

メタタグ

<head>内に書き、ページの情報を検索エンジンやブラウザに伝えるデータです。title、メタディスクリプション、meta robots、viewport、OGPなどがあり、titleと説明文は検索結果の表示に使われることがあります。

関連サービス → SEO/GEO講座