クロールの統計情報レポートについて解説するヘルプ記事を Google は更新した。Googlebot がサイトをクロールする際に robots.txt ファイルをリクエストして使用する仕組みの説明がより詳細になった。