インデックス削除:消えた原因と、消したいときの方法

この記事のまとめ
- インデックス削除とは、ページがGoogleの検索結果から外れることで、意図しない削除と意図した削除があります。
- 意図せず消えたら、site: 検索と Search Console の URL 検査やページ インデックス登録レポートで原因を切り分けます。
- 意図して消すなら noindex か削除(404・410)が基本で、非表示ツールは約6か月で切れる一時的な手段です。
こんな方に読んでほしい記事です
- サイト名で検索してもページが出てこなくなった方
- 検索結果に出したくないページを消したい方
- noindex を設定したのに検索結果から消えない方
インデックス削除とは、ページがGoogleの検索結果から外れることです。「サイト名で検索しても出てこない」という意図しない削除と、「このページは検索結果に出したくない」という意図した削除の両方があります。意図せず消えたなら、原因はSearch Consoleのレポートで切り分けられます。意図して消すなら、noindexか削除(404・410)が基本で、非表示ツールは一時的な手段です。
目次
消えたとき、最初に確かめること
まず、本当にインデックスから消えているかを確かめます。順位が下がって見つからないだけなら、インデックス削除とは別の問題です。
- Googleで「site:あなたのドメイン」または「site:該当のURL」と検索し、ページが出てくるか見る
- Search ConsoleのURL検査に該当のURLを入れ、Googleに登録されているかを見る。登録されていなければ、理由が表示されます
- 消えたページが多いときは、Search Consoleの「ページ インデックス登録」レポートを開く。Googleがインデックスに登録できたページと、登録時に発生した問題が、理由ごとの一覧で分かります(ページ インデックス登録レポート)
「URL に noindex が指定されています」「URL が robots.txt によってブロックされています」のように、表示される理由の名前がそのまま原因を示します。表示に沿って、次の項目のどれに当たるかを探します。
意図しないインデックス削除の原因
noindexが付いている
noindexは、metaタグまたはHTTPヘッダー(X-Robots-Tag)で、このページをインデックスしないとGoogleに指示するルールです。Googleは、ページをクロールしてこのタグかヘッダーを検出すると、ほかのサイトからリンクされているかどうかに関係なく、そのページを検索結果から完全に削除すると説明しています(noindex を使用してコンテンツをインデックスから除外する)。
テスト環境で付けたnoindexが本番に残っていないか、CMSの検索エンジン向けの非表示の設定(WordPressなら「検索エンジンがサイトをインデックスしないようにする」)が有効になっていないか、プラグインがページの種類ごとにnoindexを付けていないかを確かめます。見つけ方は、ページのHTMLソースで「noindex」を検索することと、サーバーの応答ヘッダーにX-Robots-Tagがないかを見ることです。
robots.txtでブロックしている
robots.txtはクロールを止めるものなので、それだけでは検索結果から消えません。問題になるのは、noindexとの組み合わせです。noindexを付けたページをrobots.txtでブロックすると、Googleはページを読めないためnoindexに気づかず、ほかのページからリンクされていれば検索結果に出続けることがあります(同じドキュメント)。消したいのに消えないときは、この組み合わせを疑います。
手動による対策
Googleは「Google の担当者が特定のサイトのページを目視で審査し、Google のスパムに関するポリシーに準拠していないと判断した場合、そのサイトに対して手動による対策を行います」と説明し、「レポートに表示される問題の大半が、ページやサイトの掲載順位が下がる、または検索結果から除外される原因となります」としています([手動による対策] レポート)。Search Consoleの「手動による対策」レポートを開き、何か表示されていればその内容に従います。被リンクに関するものなら、バックリンクがSEOに悪影響を与える場合の手順で削除・否認・再審査リクエストを進めます。
ハッキングされている
サイトが改ざんされてスパムのページが大量に作られると、検索結果にも影響します。Googleは、サイトがハッキングされていると評価した場合に、Search Consoleの「セキュリティの問題」レポートに調査結果を表示すると説明しています(セキュリティの問題レポート)。レポートに何もなくても、「site:あなたのドメイン」で検索して、見覚えのないページ(外国語の商品ページ、心当たりのないディレクトリのURLなど)が出ていないかを見ます。見つかれば、改ざんされたファイルの除去とパスワードの変更が先で、検索結果の回復はそのあとです。
移転・URL変更で301が設定されていない
サイトのリニューアルでURLが変わり、旧URLが404になっていると、旧URLはやがてインデックスから消えます。新URLがまだ見つけられていなければ、その間は検索結果に出ません。旧URLから新URLへの301リダイレクトと、新URLを含むサイトマップの送信で対応します。被リンクが向いている旧URLから優先して301を設定します。
Googleがまだ再クロールしていない
設定を直したあとも、すぐには反映されません。Googleは、インターネット上でのそのページの重要性によっては、Googlebotが再度アクセスするまで数か月かかることがあると説明し、URL検査ツールから再クロールをリクエストできるとしています(noindexのドキュメント)。
意図して検索結果から消す方法
サイト内検索の結果ページ、会員向けページ、古いキャンペーンページなど、出したくないページを消す方法です。
| 方法 | 使う場面 | 注意 |
|---|---|---|
| noindex(meta または X-Robots-Tag) | ページは残すが検索結果に出したくない | robots.txt でブロックしない。Googleが再クロールするまで消えない |
| 404 または 410 を返す | ページそのものを削除する | 被リンクがあるURLなら、対応するページへの301を検討する |
| パスワードなどのアクセス制限 | 一部の人にだけ見せる | Googleもアクセスできないのでインデックスされない |
| Search Console の非表示ツール | 急いで一時的に消す | 約6か月でブロックが切れる。恒久的に消すには上のいずれかが必要 |
非表示ツールについてGoogleは、「リクエストによってページがブロックされる期間は約 6 か月間です」、「この期間が経過すると、ブロックされていた情報が再び Google 検索結果に表示されるようになります」と説明しています(非表示ツールとセーフサーチ レポートツール)。情報漏えいなどで急いで消すときに使い、同時にnoindexか削除の対応を入れます。robots.txtは消す手段には使えません。noindexのドキュメントに、robots.txtファイルでnoindexルールを指定することはGoogleではサポートされていない、と書かれています。noindexやサイトマップを含む内部対策の基本はSEOの内部対策の方法にまとめています。
消す前に、そのページの被リンクを確かめる
ページを削除したりnoindexにしたりする前に、そのページに被リンクがあるかを見ておきます。ほかのサイトからリンクされているページを404にすると、リンクをたどってきた人が「ページが見つかりません」に当たります。内容を引き継ぐページがあれば301で向け直し、なければ404にします。
マイサイト被リンクチェックで「この URL だけ」を選んで消す予定のページのURLを入れると、そのページへの参照元と参照ドメイン数が分かります。被リンクがあれば301の設定を先に済ませ、なければそのまま削除します。
インデックスの状態を含めてサイト全体のマイナス点を見てほしいときは、SEO Packの無料のSEOパーソナル診断があります。