「robots.txt」タグアーカイブ

AI目的で検索エンジンがウェブをクロールするのを制御するための新しい手段の策定にGoogleが着手

投稿日時: 投稿者:
急速に発展する AI と研究利用に対して、検索エンジンによるコンテンツのクロールをパブリッシャーが制御するための新しい方法を模索するための公開ディスカッションを Google は開始した。

Google、クロールの統計情報レポートのヘルプ記事を更新。Googlebot がサイトをクロールする際に robots.txt ファイルをリクエストして使用する仕組みをより詳細に説明

投稿日時: 投稿者:
クロールの統計情報レポートについて解説するヘルプ記事を Google は更新した。Googlebot がサイトをクロールする際に robots.txt ファイルをリクエストして使用する仕組みの説明がより詳細になった。

robots.txtはインデックス拒否に使える？使えない？

投稿日時: 投稿者:
robots.txt は、検索エンジンのクロールを拒否する仕組みであって、インデックスを拒否する仕組みではない。そうかと言って、インデックス拒否にまったく役立たないということでもない。ああああああああああああああああああああああ

robots.txtの5xxエラーは30日を境にクロールの処理が変わる

投稿日時: 投稿者:

REP のインターネット標準化に伴い、Google が公開している robots.txt の技術ドキュメントに更新し、500 番台のエラーを返すときの処理が変わった――30 日まではクロールしないが、30日を超えるとクロールを再開することもある。

投稿 robots.txtの5xxエラーは30日を境にクロールの処理が変わる は 海外SEO情報ブログ に最初に表示されました。

robots.txtでのnoindexをGoogleが完全にサポートしなくなる、2019年9月1日から

投稿日時: 投稿者:

robots.txt の noindex 構文のサポートを終了することを Google は告知した。REP のインターネット標準化にともなう決定だ。

投稿 robots.txtでのnoindexをGoogleが完全にサポートしなくなる、2019年9月1日から は 海外SEO情報ブログ に最初に表示されました。

Google主導のもと、Robots Exclusion Protocol (REP) がインターネット標準に

投稿日時: 投稿者:

robots.txt の仕様を標準化する取り組みに Google は着手した。25 年前に考案された Robots Exclusion Protocol (REP) は事実上の標準ではあったが統一されたインターネット標準ではなかった。

投稿 Google主導のもと、Robots Exclusion Protocol (REP) がインターネット標準に は 海外SEO情報ブログ に最初に表示されました。

検索結果にページ情報が表示されないときの説明文をGoogleが変更

投稿日時: 投稿者:

robots.txt でクロールがブロックされているページが Google の検索結果に表示されたときは、その理由の説明がスニペットに掲載される。この説明文を Google は変更した。「このページの情報はありません。」という一文が表示される。

- 検索結果にページ情報が表示されないときの説明文をGoogleが変更 -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM by Kenichi Suzuki

robots.txtを使ったほうがいい時と使わないほうがいい時

投稿日時: 投稿者:

Googleのジョン・ミューラー）氏からの説明に補足を交えながら、一般的に言える、robots.txtを使う場面と使わない場面について解説する。

- robots.txtを使ったほうがいい時と使わないほうがいい時 -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM by Kenichi Suzuki