Googlebotはrobots.txtの500KBのところまでしか読まない。500KBを超えた部分は省略されてしまうかもしれない。robots.txtは妥当なサイズに抑えておくべき。

- robots.txtのファイルサイズは最大500KBまで -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM