誤解されているGooglebot、社内SaaSとしてのクロールインフラの実態
ゲイリーとマーティンが Search Off the Record ポッドキャストで Googlebot および Google のクロールインフラが実際にどのように機能するかをわかりやすく説明した。
「Googlebot」タグアーカイブ
Googlebotの2MB制限とは？ クロール制約とSEOベストプラクティスまとめ
Googlebot がクロールするファイルサイズの 2MB 上限の仕組みについて検索セントラルブログで Gary Illyes 氏が解説した。
急増するAI生成コンテンツはGoogleのレンダリングを変化させるのか？
生成 AI の発達により、これまで以上に大量のコンテンツがウェブに発行されるようになった。こうした状況は、Googlebot のレンダリングに影響を与えているのだろうか？
Google、クローラーのリストにGoogle-InspectionToolを追加。URL検査ツールやリッチリザルトテストのUA
Google-InspectionTool というユーザーエージェントをクローラーのリストに Google は追加した。Google-InspectionTool は、リッチリザルト テストや URL 検査ツールが使用するユーザーエージェントだ。
Google、クローラーのドキュメントを再構成。3タイプに分類、GoogleOtherとは？
Google は、クローラーを解説する技術ドキュメントを再構成した。
Googlebotは最初の15MBまでしかクロールしない制限はJavaScriptとCSSにも個別に適用される
Googlebot は、HTML ファイルの最初の 15MB までの部分をクロールし、15MB を超えた部分はクロールしない。この制限が JavaScript や CSS にも適用されること適用されることが技術ドキュメントでより明確に記述された。
Googlebotは米国外からもクロールできる（ただし稼働していないかも？）#SearchCentralLive
Google は現在、米国外からもクロールできる準備が整っている。
Googlebotの15MBクロール制限によくある質問とその回答
「Googlebot は、HTML ファイルの最初の 15 MB のコンテンツまでをクロールしそれ以降をクロールしない」という仕様に関して、Google は FAQ を検索セントラルブログに公開した。
Googlebotがクロールするのは最初の15MBまでのコンテンツ。それ以降はクロールせず
Googlebot がクロールの対象とするのはコンテンツの最初の 15MB までだ。
Google、クロールのサステナビリティを2022年は改善したい。リフレッシュクロールの頻度をもっと効率よく
「クロールとインデックスのサステナビリティを 2022 年は改善していきたい」、Google の ゲイリー・イリェーシュ氏はポッドキャストでこのように話した。