クロールバジェットとは?重要なのでしょうか?

クロールバジェットとは、Googleが一定期間内にクロールできる、かつクロールしたいと考えているWebサイト上のURL数のことです。決定要因は2つあります。クロール容量の上限(サーバーが処理できるクロール量)と、クロール需要(Googleがコンテンツをどれだけクロールしたいか)です。特に大規模なサイトや更新頻度の高いサイトで重要になり、ページが発見されない、あるいはインデックスされないリスクがあります。

クロールバジェットは、コンテンツが順位を獲得する以前に、Googleがそもそもそのコンテンツを認識できるかどうかを左右します。小規模なマーケティングサイトの多くでは問題になりませんが、プロダクト、機能、ドキュメントのページが広範囲に及ぶSaaS企業では、クロールバジェットの無駄遣いによって、本来表示されるべきページが検索結果で見えない状態になりかねません。

クロールバジェットは何によって決まるのか?

Googleはクロールバジェットを2つの要素の組み合わせで定義しています。Googleがサイトのクロールに充てる時間とリソースの量は一般にサイトのクロールバジェットと呼ばれ、主に2つの要素、すなわちクロール容量の上限とクロール需要によって決まります。

クロール容量の上限は技術的な上限値です。Googleはサーバーに過度な負荷をかけずにサイトをクロールしたいと考えているため、Googleのクローラーはクロール容量の上限を算出します。これは、サイトのクロールに使用できる同時並行接続の最大数と、取得間の待機時間を指します。サーバーが遅い、あるいはエラーが多い場合は、この数値が直接小さくなります。

クロール需要は、Googleの関心の度合いにあたる要素です。クロール需要の決定に大きく影響する要因のひとつが、認識されているインベントリです。運営者から指示がない場合、Googleはサイト上で把握しているURLのすべて、またはほとんどをクロールしようとします。そのうち多くが重複ページや重要性の低いページだと、Googleのクロール時間の多くが無駄になります。このほか、人気、鮮度、コンテンツの品質も算出に影響します。

クロールバジェットは一度決まったら固定される数値ではありません。サイトの変化に応じて変動し、Googleはドメイン単位ではなくホスト名単位で算出します。たとえば、メインのマーケティングサイトとドキュメント用のサブドメインは2つの異なるホスト名として扱われ、それぞれ別個のクロールバジェットを持ちます。マーケティングサイトとは別にドキュメント用のサブドメインを運用しているSaaS企業にとって、この違いは重要です。

SaaS企業にとってクロールバジェットが重要な理由は?

クロールバジェットは、すべてのWebサイトが気にする必要があるものではありません。新しいページが公開当日にクロールされる傾向にあるなら、ウェブマスターが注力する必要はなく、URLが数千件に満たないサイトであれば、ほとんどの場合は効率的にクロールされます。Google自身のガイダンスでも、懸念が当てはまるのは特定のサイトに限られています。

SaaSプラットフォームは、注意が必要な側に該当することがよくあります。プロダクトページ、連携一覧、ユースケースページ、料金プランのページは急速に増え、それぞれが別々のURLとして、限られた同じクロール枠を奪い合います。適切な構造がないままインベントリが一定の規模を超えると、ページはすぐにクロールされず、順番待ちの状態になり始めます。

クロールバジェットを超過した場合の実際の影響は、特定のレポートに表れます。コンテンツに十分な価値やユーザーの需要がない場合、Googleはクロール済みでもそのページを検索結果に表示しません。クロールされていないページはインデックス登録の評価対象にすらならず、ページ内のコンテンツがどれほど優れていても、順位を争うことができません。

これは順位そのものとは別の概念です。クロール頻度が上がっても、検索結果での順位が必ずしも上がるわけではありません。Googleは数百のシグナルで順位を決めており、クロールは検索結果に表示されるために必要ですが、それ自体はランキングシグナルではないためです。クロールバジェットが左右するのは発見とインデックス登録の速度であり、インデックス後にページがどの順位になるかではありません。成長中のSaaS企業にとって、この発見の段階は、他のあらゆるSEO施策が最初に通らなければならない関門です。SeedlingのSaaSチーム向けオーガニック成長のアプローチでは、この関門を基盤となるヘルスチェックとして位置づけています。順位を狙って作ったページがそもそもクロールされなければ、コンテンツ戦略もキーワード戦略も成果につながらないからです。

クロールバジェットを無駄にする要因とは?

Googleは、検索上の価値を生まないまま、クロール容量を静かに消費してしまうURLパターンがあると明言しています。よくある原因は次のとおりです。

• ファセットナビゲーションとセッションパラメータ。ファセットナビゲーションは通常、サイト内の重複コンテンツになります。セッションIDや、ページを並べ替えたり絞り込んだりするだけのURLパラメータは、新しいコンテンツを提供しません。
• 重複コンテンツ。重複コンテンツを統合するとは、それをなくして、クロールを一意のURLではなく一意のコンテンツに集中させることです。
• ソフト404ページ。ページが存在しなくなった場合は、ソフト404のまま放置せず、404コードを返してください。
• 近道としてのnoindexタグ。noindexを近道として頼らないでください。Googleは一度そのページをリクエストし、noindexメタタグまたはHTTPレスポンスのヘッダーを確認してから除外するため、クロール時間が無駄になります。
• 目的を誤ったrobots.txtの使用。他のページのためにクロールバジェットを一時的に再配分する目的でrobots.txtを使わないでください。Googleにまったくクロールさせたくないページをブロックするために使いましょう。サイトの処理上限にすでに達していない限り、Googleは新たに空いたクロールバジェットを他のページに振り向けません。

SaaSサイトでは特に、JavaScriptを多用したレンダリングがよく原因になります。クライアントサイドでレンダリングされる料金表、機能一覧、プロダクト説明などは、Googlebotがページを評価する前にコンテンツのレンダリングへ余分なリソースを使うことになりがちで、サイト内の他のすべてのクロールが遅くなります。

クロールバジェットを確認して最適化するには?

Google Search Consoleが主要な診断ツールです。「設定」にある「クロール統計」レポートでは、過去90日間のクロール状況を確認できます。これにログファイル分析を組み合わせると、GooglebotがどのURLに時間を使っているのか、そのうちビジネス上本当に重要なのはどれかが正確にわかります。

最もわかりやすい警告サイインは、Search Consoleの特定のステータスです。Googleによると、クロールバジェットの問題が特に関係するのは、定期的に更新されるページを大量に持つサイト、更新が非常に頻繁な中規模から大規模のサイト、そして「検出 - インデックス未登録」と表示されるページの割合が高く、クロールが非効率であることを示すサイトです。価値があるとわかっているページを含めてこのステータスの件数が増えている場合は、視認性を制限しているのが他の要因ではなく、実際にクロールバジェットであることを示す最も強いシグナルです。

問題を診断したら、Googleは対処法を2つに絞っています。クロールバジェットを増やす方法は、クロールに対するサーバーの処理能力を高めること、そしてより重要なのは、検索ユーザーにとってのサイト内コンテンツの価値を高めることだけです。Googleは、人気、ユーザーにとっての価値、独自性、サーバーの処理能力に基づいてクロールリソースを決めているためです。実際には、サーバーの応答時間を改善する、canonicalタグで重複URLを統合する、XMLサイトマップをインデックス可能なページだけに整理する、内部リンクを強化して優先ページに到達しやすくする、といった対応になります。

よくある誤解:クロールが増えれば順位も上がるのか?

多くのチームは、Googleにより積極的にクロールさせれば検索パフォーマンスが自動的に向上すると考えがちです。しかし、この前提は仕組みが逆になっています。クロールはインデックス登録の前提であり、インデックス登録は順位付けの前提ですが、それぞれの段階を左右する基準は別々です。コンテンツ自体が品質と関連性の基準を満たしていなければ、頻繁にクロールされても順位がつかないことはあります。

より有用な考え方は、クロールバジェットを順位を動かすレバーではなく、門番として捉えることです。クロールの無駄を解消しても、検索結果での順位向上が保証されるわけではありません。保証されるのは、本当に優れたページが評価される公平な機会を得られることです。プロダクトページや機能ページを急速に増やしているSaaS企業にとって、この違いはテクニカルSEOへの投資の優先順位付けに反映されるべきです。まずGoogleが見るべきものをすべて確実に見られる状態にし、そのうえで、安定してインデックスされるようになった重要なページに、コンテンツ制作と権威性の構築を集中させましょう。