英GoogleのAde Oshineye氏（デベロッパーアドボケイト）は2015年1月27日、モバイルサイトが Googlebot のクロールを拒否している場合に、デスクトップ版検索結果と同様に、robots.txt によりブロックされている旨のメッセージを検索結果のスニペット欄（説明文表示欄）に表示するようにしたことを公式に発表した。