robots.txt の仕様を標準化する取り組みに Google は着手した。25 年前に考案された Robots Exclusion Protocol (REP) は事実上の標準ではあったが統一されたインターネット標準ではなかった。

投稿 Google主導のもと、Robots Exclusion Protocol (REP) がインターネット標準に は 海外SEO情報ブログ に最初に表示されました。