robots.txt は、検索エンジンのクロールを拒否する仕組みであって、インデックスを拒否する仕組みではない。そうかと言って、インデックス拒否にまったく役立たないということでもない。ああああああああああああああああああああああ