クローラのアクセスを何も拒否しないのでrobots.txtが必要ないサイトではrobots.txtをどうするといいのだろうか？1.何も記述しないrobots.txtを設置する、2.「User-Agent: *, Disallow:」を記述する、3.robots.txtを置かない。どれが適切か？

- クローラをブロック“しない”時のrobots.txtの設定 -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM