クロールとは?
Googlebotは、サイト内のページを巡回してGoogleの検索結果に登録するべきページかどうかを判定しています。
一定期間にGooglebotが巡回できる量(クロールバジェット)は決まっていて、検索結果に表示されないページもたくさんあります。
ここで実施したいことは、有効なページへの巡回(クロール)を増やすことです。検索結果に表示されないページへのクロールを減らすことで実現できます。
クロールバジェットとは?
一定期間にGooglebotが巡回できる量です。
このクロールバジェットがあることにより、検出済み未登録といって、Googlebotが認知はしていますが未巡回ページが存在します。
これらのページは存在していてもGoogle検索結果には存在していない状況です。
Webサイト運営者としては、もっとたくさんのページをクロール(巡回)してほしいところですが、Googleはクロールを減らす方向のようなのです。
GoogleのアナリストであるGary Illyes(ゲイリー・イリーズ)氏は、2024年4月GoogleアナリストのSNSアカウントにて、「Googleはサステナブルの観点から100%再生可能エネルギー使用を4年連続達成している。AIの急速な発展によってGoogleの使用する電気量は一気に拡大していく中、クロール量をさらに減らす必要がある」と言及しています。
このようにGoogleクローラが巡回出来る量はさらに減少する可能性が高い中、私たちはどのような対策ができるでしょうか。
理想のサイトマップとは?
Googleクローラが巡回したものがすべて登録判定されることが理想ですが、残念ながらそれはできません。
そこで、Googlebotに信頼されるサイトマップを送信し「クロールしてほしい」ページを伝えます。
次にページ内にGooglebotに向けたメッセージを書いて、巡回と判定のサポートをします。
no indexタグを利用して「ココは登録しないで」や、canonicalタグを利用して「ココはAページと同じ内容だよ」などになります。robots.txtを使ってGooglebotに向けて、「巡回しないで欲しい」旨の指示書も提出します。
このようにクローラが判断しやすいようにすることで有効なクロールを増やしていきます。
総ページ数が100万URL以上の大規模Webサイトを運営されている方は、
サイトマップを活用しインデックスされるページ数を増やすことで、新規ページの早期検出とクロール率を向上させSEO流入機会が増える可能性が高いでしょう。
新規ページ検出率は、
定期的に商品が入れ替わるサイトにとって、インデックスに大きな影響を与えます。
サーチコンソールのココをチェック
1.サーチコンソール左メニューから「ページ」を開く
2.ページがインデックスに登録されなかった理由を確認
3.「クロール済み‐インデックス未登録」や「検出‐インデックス未登録」が多い場合は、クローラビリティの改善が必要になります。
SEOもお気軽にご相談ください
テクニカルSEOを得意とするGiRAFFE&Co.がニフティライフスタイルへグループ入りしたことにより、
「Google」「Criteo」「Indeed 」などの配信に必要なデータフィードの構築支援サービス「DFO」以外にもご提案できる内容が広がりました。
ご興味がある方はぜひお気軽に資料をご確認ください。