ページがインデックスされない原因は？確認する順番と対処法
ページを公開したのに、Google Search Consoleで「未登録」と表示されると、何を直せばよいか迷いますよね。
インデックス登録とは、Googleがページの内容を読み取り、Google側のデータベースへ保存して、検索結果に出す候補として扱うことです。
登録されない原因はいくつもあります。
よくあるのは、次の5つです。
- GoogleがまだそのURLを見つけていない
- ページへアクセスできない
- 検索結果に出さない設定が残っている
- 同じ内容のURLが複数ある
- ページの内容や、サイト内からのリンクが足りない
原因を確かめないまま、インデックス登録のリクエストだけを繰り返しても、解決しないことがあります。
まずは、GoogleがそのURLをどう扱っているかをSearch Consoleで確認しましょう。
そのうえで、ページへアクセスできるか、検索から除外する設定や代表URLの指定に問題はないか、ページの内容は足りているか、という順番で原因をしぼり込みます。
最後に、直したあとの状態をもう一度確かめます。
この記事では、Webにくわしくない方でも確認できる範囲と、自分で直せないときに制作者へ伝える情報を整理します。
1. インデックス状況を正しく確認する
最初に、Googleで検索して出てくるかどうかだけで判断するのはやめましょう。
検索結果に出てこない理由は、まだ登録されていない場合だけとは限らないためです。
ページごとの状態は、Search Consoleの「URL検査」で確認できます。
次の手順で操作してください。
- Google Search Consoleを開く
- 画面のいちばん上にある検索窓に、確認したいページの完全な公開URLを貼り付ける
- Enterキーを押して、検査結果を表示する
URL検査で分かることは、大きく二つに分かれます。
一つは、Googleが直近に取得してインデックスへ保存した情報です。
もう一つは、「公開 URL をテスト」を押して、現在公開中のURLをその場で調べる「ライブテスト」の結果です。
保存済みの情報とライブテストの結果は、同じとは限りません。
たとえばページを修正した直後は、保存済みの結果に修正前の古い状態が表示されることがあります。
一方、ライブテストでは修正後の状態を確認できます。
検査結果には「正規URL」という言葉も出てきます。
正規URLとは、内容が同じか非常によく似た複数のURLの中から、検索結果の代表として扱うURLのことです。
GoogleのURL検査ツール公式ヘルプを参考に、次の項目を確認しましょう。
- 検査したURLが、確認したい公開ページのURLと一致しているか
- Googleのインデックスへ登録されているか
- 未登録の場合、どんな理由が表示されているか
- 「前回のクロール」に、いつの日時が表示されているか
- 「クロールを許可？」と「インデックス登録を許可？」が、どちらも「はい」になっているか
- 「Google が選択した正規 URL」に、どのURLが表示されているか
- その正規URLが、「ユーザーが指定した正規 URL」と一致しているか
Search Consoleの画面表示は、時期によって変わることがあります。
同じ名前の項目が見当たらないときは、上の公式ヘルプで最新の画面を確かめてください。
ライブテストを使うと、現在公開しているページへGoogleがアクセスできるかを確かめられます。
ただし公式ヘルプでは、ライブテストを行っても、そのURLが正規URLとして選ばれるかどうかまでは予測できないと案内されています。
検査結果は、「登録済み」「未登録」の表示だけを見て終わりにしないでください。
検査した対象URL、表示された理由、「前回のクロール」の日時、正規URLをセットでメモしておきましょう。
一つのページを詳しく調べたいときはURL検査、サイト全体の登録傾向を知りたいときは「ページ インデックス登録レポート」と、目的で使い分けてください。
レポートは、Search Consoleの左側メニューから開けます。
2. ページへアクセスできるか
次に、自分がブラウザで見ている画面と、Googlebot(Googleがページを読み取るために動かしているプログラム)が受け取っている内容を、分けて確認しましょう。
ブラウザでは正常に表示されていても、サーバーがGooglebotへはエラーや別のページを返していることがあるためです。
具体的には、次の点を確認してください。
- ページが見つからないことを示す404や、サーバー側の不具合を示す5xxなどのエラーが返っていないか
- 意図しないURLへリダイレクト(別のURLへ自動で転送する設定)されていないか
- リダイレクトが何度も続いたり、同じURLへ戻ったりしていないか
- 公開したつもりのページが、下書き、非公開、予約公開のままになっていないか
- 制作中に使っていたテスト環境用の認証が、公開後も残っていないか
特に見落としやすいのがリダイレクトです。
検索へ出したいURLが、古いURLや別のページへ転送され続けていることがあります。
会員限定ページや個人情報を含むページは、検索結果に出したいからといって認証を外してはいけません。
URL検査の画面で「公開 URL をテスト」を押すと、Googlebotが実際に受け取った応答(HTTPレスポンス)と、最終的にたどり着いたURLを確認できます。
GoogleのURL利用可否に関する公式ヘルプでは、Googleがページを利用できなくなる主な要因として、パスワード保護、robots.txt、noindexの三つが案内されています。
robots.txtは、ページを取得してよい範囲をGooglebotなどへ伝えるファイルです。
noindexは、検索結果へ登録しないようページ側で指定する記述です。
ブラウザでは正常に見えるのに、ライブテストではページを取得できないこともあります。
その場合は、取得結果、確認した日時、HTTPレスポンス、リダイレクト先を記録して、サーバー管理者や制作者へ伝えましょう。
3. 意図せず除外していないか
ページへアクセスできると分かったら、次は、検索結果に出したいURLをGoogleが代表URLとして正しく認識できているかを見ましょう。
検索結果から外れる原因になりやすい設定と状態を整理しました。
項目 | どんなものか | 確認すること |
|---|---|---|
| 検索結果へ登録しないようGoogleへ伝える指定 | 検索へ出したいページに残っていないか |
robots.txt | Googlebotなどがアクセスしてよい範囲を指示するファイル | 重要ページや表示に必要なファイルの取得を止めていないか |
| 検索結果の代表として扱ってほしいURLを示す指定 | 関係のない別ページを代表URLに指定していないか |
リダイレクト | アクセスを別のURLへ自動で転送する設定 | 検索へ出したいURLが転送元になっていないか |
重複URL | 同じか非常によく似た内容へ、複数のURLでアクセスできる状態 | パラメータや末尾の違いでページが分かれていないか |
それぞれの詳しい役割と設定方法は、Googleのnoindex公式資料、robots.txt公式資料、canonicalに関する公式資料で説明されています。
注意したいのは、robots.txtとnoindexを同時に使う場合です。
robots.txtでページの取得そのものを止めると、Googleはページの中身を読めません。
そのため、ページ内に書いたnoindexもGoogleへ伝わらなくなります。
検索に出ないからといって設定をすべて外すのではなく、そのURLを検索へ出したいのか、似た内容の別URLへまとめたいのかを先に決めてから対応してください。
商品一覧の絞り込み条件、URL末尾の違い、印刷用ページなど、同じ内容へ複数のURLでアクセスできるサイトもあります。
そうしたサイトでは、重複URLとリダイレクトの整理が特に重要になります。
設定を自分で直せない場合は、制作者へ相談しましょう。
そのときは、次の4つをあわせて伝えてください。
- 対象URL
- そのURLを検索へ出したいのか、別のURLへまとめたいのか
- 代表にしたいURL
- URL検査の結果
4. ページの内容とサイト内リンクを確認する
Googleがページを取得でき、検索から除外する設定も見つからない場合は、ページの内容とサイト内のつながりを見直しましょう。
公開している状態でも、すべてのURLが必ずインデックス登録されるわけではありません。
そのページが次のような状態になっていないか確認してください。
- タイトルだけで本文がほとんどない
- サイト内の別ページと内容がほぼ同じ
- 商品名や地域名だけを変えた似たページが大量にある
- エラー画面ではないが、実質的に「情報がありません」としか伝えていない
- どのメニュー、一覧、記事からもリンクされていない
- 読んでもページの目的が分からず、読者が知りたい答えも見つからない
- 料金や営業時間など変わりやすい情報が古いまま、現在の内容と一致していない
ただし、文章を長くすればインデックス登録されるという意味ではありません。
そのページを一つのページとして独立させる理由があるか、読者が目的を果たせる情報がそろっているかを確認しましょう。
似た内容のページが複数あるなら、中心となるページへまとめるか、それぞれの役割を分けるかを検討してください。
検索から見つけてほしいページへは、内容が関連する別ページから内部リンクを張りましょう。
Googleもリンクに関する公式資料で、検索に出したいページへは、同じサイト内の別ページから少なくとも一つリンクを張るようすすめています。
どのページからリンクを張ればよいかは、「内部リンクでSEOはどう変わる？」で詳しく説明しています。
5. 修正後は再確認して待つ
原因を直したら、公開中のURLをもう一度確認しましょう。
まず、同じURLをブラウザで開きます。
本文、公開状態、正規URLの指定、内部リンクが意図どおりになっているかを見てください。
次に、URL検査の画面で「公開 URL をテスト」を押して、ライブテストを行いましょう。
これで、Googleの取得やインデックス登録を妨げる問題が残っていないかを確認できます。
問題が解消していれば、同じ画面にある「インデックス登録をリクエスト」から、そのURLの再クロールを依頼できます。
ページ数が多い場合は、一つずつリクエストするより、サイトマップ(サイト内のURL一覧をまとめたファイル)を使う方法もあります。
正規URLを載せたサイトマップを整えて、Search Consoleの左側メニューにある「サイトマップ」から送信しましょう。
Googleの再クロール依頼に関する公式資料では、クロールに数日から数週間かかることがあると案内されています。
リクエストをしても、すぐに登録される保証や、検索結果へ表示される保証はありません。
同じURLへ短時間に何度もリクエストしても、クロールが速くなるわけではありません。
修正した直後に未登録と表示されても、それだけで失敗と判断しないでください。リクエストした日、「前回のクロール」の日時、状態の変化を記録しながら待ちましょう。
確認の記録には、次の情報を残しましょう。
- 対象URL
- 最初に表示された未登録の理由
- 修正した内容と日付
- ライブテストの結果
- 登録リクエストまたはサイトマップ送信の日付
- 再確認日と新しい状態
時間がたっても状態が変わらない場合は、同じところを何度も直すのはいったんやめましょう。
URL検査と「ページ インデックス登録レポート」を開いて、表示される理由が変わっていないかを確認してください。
サイト全体に関わる技術的な問題、サーバー障害、意図しないURLの大量生成が起きている場合は、ここまでの記録を添えて制作者やSEOの専門家へ相談しましょう。
まとめ
インデックスされないページを確認する順番を振り返ります。
- URL検査で、登録状態、未登録の理由、「前回のクロール」、正規URLを確認する
- 公開しているURLへ、認証やエラーに妨げられずGoogleがアクセスできるか確認する
noindex、robots.txt、canonical、重複URLのどれが原因になっているかを切り分ける- そのページを独立させる理由になる内容と、サイト内からたどれる内部リンクを確認する
- 修正後はライブテストを行い、必要に応じて再クロールを依頼し、経過を記録する
まず一つやるなら、未登録になっているURLをSearch ConsoleのURL検査にかけてみましょう。
表示された理由と「前回のクロール」の日時をメモするところから始めてみてください！
関連記事
