ウェブページをアーカイブ（取得、保存）する Wayback Machine が robots.txt に従わなくなる仕様変更を検討中。

- Wayback Machineがrobots.txtを無視するようになるかも？ -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM by Kenichi Suzuki